빠른 모델, 느린 증거: 에이전트 하네스의 System-1 결정 모델을 나란히 놓고 다시 잰 연구

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses는 arXiv에 공개된 연구로 식별자 2610.02267을 갖고 있습니다. 원문은 제목 아래 링크로 연결해 두었습니다. 이 연구가 내세우는 주장은 한 문장으로 정리됩니다. 에이전트 하네스 안에 들어가는 작고 빠른 System-1 결정 모델을 바이트 단위로 동일한 입력 위에서 나란히 비교하고 스스로 감사까지 했더니 빠른 판단이 언제 통하고 언제 무너지는지가 드러났다는 것입니다.

왜 이 논문을 끝까지 읽었냐면요

안녕하세요, 패트릭입니다. 저는 평소에 에이전트 데모를 보면 화려한 최종 답보다 그 앞에 있는 작은 선택들이 먼저 눈에 들어옵니다. 어떤 모델을 부를지, 어떤 도구를 고를지, 검색 결과를 믿을지 말지 같은 결정이죠. 이런 결정은 한 번의 작업 안에서 수없이 반복되는데, 매번 거대한 모델을 부르면 비용이 감당되지 않으니까요.

이 논문이 눈에 들어온 이유도 바로 그 지점이었습니다. 저자들이 겨냥한 것은 거대 모델 자체가 아니라 하네스 안에 박혀서 빠르게 찍어내는 작은 결정 모델이었습니다. 한 번의 forward pass로 클래스 확률을 내놓는 가벼운 판단기라고 할까요. 생각해보면 사람도 비슷하게 삽니다. 중요한 결정 앞에서는 천천히 따지지만, 자잘한 선택은 직관으로 빨리 처리하죠. 에이전트도 그렇게 살 수 있을까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 승패표가 아니라 실험 태도였습니다. 18개 공개 출처에서 모은 7,283개 기본 케이스에 6,640개 강건성 변형을 더했고, 두 모델에는 바이트 단위로 동일한 입력을 먹였습니다. 조건을 맞추지 않은 비교는 비교가 아니라는 태도가 처음부터 분명했습니다. 그래서 숫자를 보기 전에 이미 마음이 기울었죠. 이 정도면 결과가 나빠도 배울 게 있겠다고요.

하네스는 매번 작은 결정을 내려야 합니다

에이전트 하네스가 한 가지 일을 끝내는 과정을 가만히 들여다보면 큰 모델이 한 번에 해치우는 그림이 아닙니다. 오히려 작업은 잘게 쪼개져 있고, 그 사이사이에 작고 정형화된 질문이 계속 끼어듭니다. 이번에는 어떤 모델을 호출할까, 이 도구가 맞을까, 검색된 문서가 질문과 관련이 있을까 같은 물음이죠. 이런 질문에 답하는 모듈이 바로 System-1 결정 모델입니다.

여기서 System-1이라는 말은 심리학에서 빌려온 비유인데요. 천천히 따지는 System-2와 달리 한 번에 직관적으로 판단하는 경로를 뜻합니다. 에이전트에서는 거대 LLM이 매번 깊게 생각하는 대신, 작은 모델이 한 번의 forward pass로 확률을 내놓고 하네스가 그 답을 받아 다음 단계로 넘어가는 구조입니다. 말하자면 교통정리 담당이죠. 교통정리가 빠르면 전체 흐름이 빨라지고, 교통정리가 틀리면 뒷차가 죄다 엉뚱한 길로 갑니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 판단기를 작게 만들면 빨라지는데, 그 판단이 얼마나 믿을 만한가요. 특히 도구가 수십 개로 늘어나거나 선택지 순서가 바뀌는 사소한 조건에서도 판단이 흔들리지 않나요. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 빠른 것이 능사가 아니라 어디서 빠른 것이 안전한지가 궁금했기 때문입니다. 이 논문은 그 질문을 정면으로 붙잡고 11개 결정 지점을 따로 떼어 평가했습니다.

그렇다면 어떻게 공정하게 비교할 수 있을까요. 그 이야기로 넘어가 보죠.

같은 입력을 두 모델에 나란히 넣어봤습니다

이 연구의 평가 설계는 겉으로 보면 단순합니다. 같은 입력을 두 모델에 나란히 넣고 누가 더 맞히는지 보는 것이죠. 그런데 실제로 해보면 같은 입력이라는 말이 생각보다 어렵습니다. 공백 하나, 줄바꿈 하나, 토큰 순서가 달라져도 작은 모델의 답이 바뀔 수 있으니까요. 그래서 저자들은 바이트 단위로 동일한 입력을 쓰는 쌍대 평가를 택했습니다. Laya와 Jev라는 두 결정 모델이 정확히 같은 문제를 풀게 한 것입니다.

규모도 작지 않습니다. 18개 공개 출처에서 모은 7,283개 기본 케이스에 순서 바꾸기와 후보 늘리기 같은 6,640개 강건성 변형을 더했습니다. 그러니까 한 모델의 점수를 따로 재고 다른 모델의 점수를 따로 재서 나중에 비교한 게 아니라, 같은 문제 묶음 위에서 발을 묶고 달린 셈이죠. 저는 이런 설계를 보면 마음이 놓입니다. 모델이 아니라 평가가 먼저 단단해야 결과도 믿을 수 있으니까요.

결과는 한쪽으로 기울었습니다. 11개 결정 지점 가운데 9곳에서 Jev가 Laya보다 유의미하게 정확했고, 격차는 10.8에서 46.0퍼센트포인트에 달했습니다. 일반 파일에만 남겼을 때와 달리 여기는 격차가 숫자로 또렷하게 남았는데요. 어떤 지점에서는 두 배 가까운 차이가 났습니다. 그런데 이야기가 여기서 끝나면 그냥 빠른 모델 자랑으로 끝나겠죠. 진짜 재미있는 부분은 그다음이었습니다. 이긴 쪽도 진 곳이 있었기 때문입니다.

게이트 점수가 정답이 되지는 않습니다

에이전트를 만들다 보면 정확도라는 말을 너무 쉽게 씁니다. 게이트를 잘 골랐다는 말과 최종 답이 좋다는 말을 섞어 쓰기 쉽다는 뜻인데요. 이 논문에서 제가 멈칫한 대목도 바로 여기였습니다. 저자들이 스스로 밝힌 감사 결과에 따르면, 처음에는 게이트 정확도를 마치 최종 품질인 것처럼 보고했던 구간이 있었습니다. 게이트 정확도가 98퍼센트라고 해서 최종 답도 98점인 줄 알았던 것이죠. 다시 재보니 실제 최종 품질은 58퍼센트였습니다.

이 차이는 생각보다 중요합니다. 문지기가 사람을 잘 골라 세웠다고 해서 그 건물 안에서 일이 잘 굴러간다는 보장은 없기 때문입니다. 게이트는 앞단에서 길을 터주는 역할이고, 그 뒤에는 검색 품질, 도구 실행 결과, 최종 생성 단계가 줄줄이 딸려 있습니다. 앞단이 98점을 받아도 뒷단에서 점수를 깎아 먹으면 최종 체감은 58점이 될 수 있는 것이죠. 운영 측면에서 보면 이 구분을 흐리는 순간 비용 계산도 함께 흐려집니다.

저는 여기서 조금 조심해서 읽을 필요가 있다고 봅니다. 98이라는 숫자가 거짓이었다는 말이 아니라 그 숫자가 가리키는 범위를 잘못 읽었다는 말이기 때문입니다. 게이트만 보면 잘 돌아가는 것처럼 보이지만, 최종 답까지 따라가 보면 다른 풍경이 펼쳐집니다. 그렇다면 우리 평가는 무엇을 재고 있었을까요. 이 질문은 뒤에 나오는 비용 감사와 임계값 이야기로 그대로 이어집니다.

순서가 바뀌자 답도 따라 바뀌었습니다

이제 모델의 속살로 들어가 보죠. Laya는 선택지 순서에 유난히 민감했습니다. 선택지의 순서를 뒤집었더니 답의 30퍼센트가 바뀌었습니다. 10개 중 3개가 순서만 바꿨다고 달라진 셈인데, 이 정도면 내용을 보고 고른 것인지 자리를 보고 고른 것인지 헷갈릴 수준이죠. 사람은 시험지에서 1번이 답인 경우가 많다고 느끼면 무의식중에 1번을 고르기도 하는데, 작은 모델도 비슷한 버릇을 보인 셈입니다.

후보가 많아지면 문제는 더 또렷해집니다. 가장 가까운 이웃 50개를 도구 후보로 늘어놓자 Laya의 정확도는 31퍼센트까지 떨어졌습니다. 반면 정답 도구가 하나뿐인 문항 묶음에서는 Jev가 98퍼센트를 지켰습니다. 같은 50개 후보 앞에서 한쪽은 무너지고 한쪽은 버틴 것이죠. 이유는 여러 가지로 읽을 수 있습니다. 후보 사이의 미묘한 차이를 가르는 표현력이 달랐을 수도 있고, 긴 후보 목록을 한 번에 처리하는 방식이 달랐을 수도 있습니다. 다만 결과만 놓고 보면 운영의 아침을 지키는 쪽은 분명했습니다. 도구가 늘어나는 현실에서는 버티는 쪽이 필요하기 때문입니다.

여기서 재미있는 질문이 생깁니다. 우리는 평소에 도구가 많아지면 에이전트가 똑똑해질 거라고 기대합니다. 그런데 판단기가 후보를 가려내지 못하면 도구가 많아질수록 오히려 길을 잃습니다. 냉장고에 재료가 가득한데 요리 초보만 있는 꼴이죠. 재료가 문제가 아니라 고르는 눈이 문제인 셈입니다. 그래서 저는 이 대목을 단순한 정확도 비교 이상으로 읽었습니다. 작은 판단기의 자리가 어디까지인지를 보여주는 장면이었기 때문입니다.

둘 다 찍기 수준에 머문 것도 있었습니다

솔직히 말하면, 아니 솔직하다는 말 대신 기록을 그대로 옮기면, 이 평가에서 두 모델이 나란히 고개를 숙인 지점도 있었습니다. 제로샷 모델 라우팅에서는 Laya도 Jev도 우연 수준을 넘지 못했습니다. 어떤 모델을 부를지 한 번에 고르는 일이 그만큼 어렵다는 뜻이죠. RAG 관련성 게이트에서도 두 모델은 비겼습니다. 검색된 문서가 질문과 관련 있는지 가르는 일에서는 우열이 갈리지 않은 것입니다.

이 결과는 마음에 들지만, 여기까지 일반화하기에는 조건을 더 봐야 합니다. 제로샷이라는 말이 말해주듯, 예시도 없이 처음 보는 상황에서 어떤 모델이 나을지 고르는 것은 작은 판단기에게 가혹한 주문일 수 있습니다. 사람으로 치면 처음 본 동료 둘을 놓고 누가 이 일을 잘할지 첫인상만으로 고르는 것과 비슷하죠. 맞히기 어렵다고 해서 판단기가 쓸모없다는 뜻은 아닙니다. 다만 빠른 직관이 통하는 자리와 통하지 않는 자리를 구분해야 한다는 뜻입니다.

저는 그래서 이 무승부와 동반 부진이 오히려 논문을 믿게 만들었다고 봅니다. 잘된 것만 골라 보여주는 평가는 대개 어딘가에서 부풀려져 있기 마련인데, 여기서는 안 되는 것도 안 된다고 적혀 있으니까요. 그렇다면 빠른 판단이 통하지 않는 자리는 어떻게 메워야 할까요. 임계값과 감사 이야기가 그 답의 일부를 갖고 있습니다.

23.9퍼센트가 4.3퍼센트가 되기까지

비용 이야기로 넘어가 보죠. 에이전트 보고서를 읽다 보면 절감률이라는 숫자가 자주 등장합니다. 이 논문에도 처음에는 23.9퍼센트라는 절감률이 적혀 있었습니다. 그런데 스스로 감사를 하고 나니 실제 절감률은 4.3퍼센트였습니다. 빠진 비용이 하나 있었기 때문인데요. 사전 검사에 드는 비용을 빼먹고 계산했던 것입니다.

이 대목은 길게 보면 결국 정직함의 문제로 돌아옵니다. 사전 검사는 공짜가 아닙니다. 어떤 모델을 부를지 고르기 위해 미리 돌리는 추론도 연산이고 돈입니다. 그런데 그 비용을 분모나 분자에서 빼버리면 절감률이 부풀려집니다. 장바구니에서 쿠폰으로 깎인 금액만 보고 배송비를 빼먹은 셈이죠. 계산기를 두드리면 23.9퍼센트가 나오지만, 지갑에서 나간 돈을 다시 세면 4.3퍼센트만 남습니다. 운영팀 입장에서는 뒤쪽 숫자가 진짜입니다.

저희가 새로운 AI 구조를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 그래서 저는 이 감사 대목을 논문의 장식으로 보지 않았습니다. 오히려 9승 2무 같은 승패표보다 더 오래 남을 장면이라고 봅니다. 숫자를 바로잡는 일은 멋이 없지만, 그 일을 공개적으로 해내는 팀은 믿을 수 있으니까요. 문제는 그다음입니다. 이렇게 바로잡은 숫자마저도 새 환경에서는 또 달라질 수 있다는 점입니다.

임계값은 표본 안에서만 통했습니다

작은 판단기를 실제로 굴리려면 기준선이 필요합니다. 확률이 얼마 이상이면 통과, 미만이면 다른 모델을 부르는 식의 임계값이죠. 이 연구에서는 표본 안에서 고른 임계값이 새 표본에서는 통하지 않았습니다. 목표로는 놓침을 5퍼센트 안에 묶고 싶었는데, 새 데이터에서는 놓침이 최대 17퍼센트까지 벌어졌습니다. 연습장에서는 잘 맞던 커트라인이 실전에서는 헐거워진 셈입니다.

주입 공격을 가려내는 실험에서도 비슷한 교훈이 남았습니다. 처음에는 채널에 따라 오탐 양상이 달라 보이는 효과가 있었습니다. 그런데 채널 고유의 내용으로 다시 짜서 시험하자 그 효과는 사라졌습니다. 채널이 문제인 줄 알았더니, 알고 보니 채널에 실려 있던 내용의 치우침이 문제였던 것이죠. 겉으로 보면 채널 탓 같지만, 속을 들여다보면 내용 탓이었던 셈입니다. 이런 뒤집힘은 평가를 오래 해본 사람에게는 낯설지 않습니다. 조건을 하나만 바꾸면 효과가 증발하는 경우는 자주 있으니까요.

그렇다면 임계값은 무용할까요. 저는 그렇게 보지 않습니다. 다만 임계값을 고정된 정답처럼 다루면 안 된다는 뜻으로 읽었습니다. 분포가 바뀌면 기준선도 함께 움직여야 하고, 그 움직임을 감시하는 장치가 따로 있어야 합니다. 온도계 눈금을 한 번 그어놓고 사계절 내내 같은 옷을 입을 수는 없는 것과 같습니다. 가을에 맞춘 눈금으로 겨울을 재면 몸이 떨릴 수밖에 없죠. 이 논문이 남긴 17퍼센트라는 숫자는 그래서 단순한 실패 기록이 아니라 운영 지침에 가깝습니다. 기준선은 살아 있어야 한다는 지침 말입니다.

그래서 설계한다면 무엇을 바꿔야 할까요

여기까지 읽고 나면 질문이 바뀝니다. 어떤 모델이 이겼냐는 질문에서, 이긴 모델을 어디에 써야 하냐는 질문으로 말이죠. 9곳에서 이긴 Jev를 쓴다고 해도 제로샷 라우팅과 RAG 게이트에서는 여전히 해법이 비어 있습니다. 순서 민감도와 후보 개수 문제는 Laya에게만 해당되는 숙제가 아니라 작은 판단기 일반의 숙제에 가깝습니다. 저는 이 지점에서 설계자의 마음으로 돌아가게 됩니다.

실제 시스템 관점에서 보면 답은 세 갈래로 갈라집니다. 먼저 판단이 흔들리는 자리에서는 빠른 판단을 혼자 두지 않는 것입니다. 순서를 섞어 여러 번 묻거나 후보를 미리 좁혀주는 식의 장치가 필요합니다. 다음으로는 게이트 점수와 최종 품질을 따로 재는 것입니다. 98과 58을 같은 숫자인 것처럼 말하지 않고, 앞단과 뒷단을 나눠서 보는 것이죠. 마지막으로는 비용 계산에 사전 검사를 빠짐없이 넣는 일입니다. 23.9가 아니라 4.3에서 출발해야 다음 최적화가 헛돌지 않습니다.

이런 이야기를 하면 흔히 오해가 생깁니다. 작은 판단기를 쓰지 말자는 말로 들릴 수 있기 때문입니다. 하지만 이 논문이 말하는 것은 그 반대에 가깝습니다. 쓰되 어디에 쓸지를 가리자는 것이죠. 망치가 좋다고 해서 나사까지 망치로 조이지 않는 것과 같습니다. 빠른 모델은 빠른 자리에, 느린 검증은 흔들리는 자리에 두는 것이 이 연구가 가리키는 방향입니다. 그렇다면 남은 질문은 하나입니다. 흔들리는 자리를 미리 알아내는 눈을 어떻게 만들 것인가 하는 점이죠.

제가 앞으로 보고 싶은 것은 흔들림을 재는 눈입니다

마지막으로 제가 앞으로 보고 싶은 것을 적어두겠습니다. 저는 정확도 표보다 흔들림 표가 더 궁금합니다. 순서가 바뀌면 얼마나 바뀌는지, 후보가 10개에서 50개로 늘면 어디서 꺾이는지, 분포가 바뀌면 임계값이 얼마나 따라가야 하는지를 보여주는 표 말입니다. 이 논문이 30퍼센트와 31퍼센트와 17퍼센트를 남긴 것처럼요. 이런 숫자는 당장 자랑하기에는 초라해 보이지만, 밤사이 트래픽이 바뀌거나 아침에 새 도구가 추가돼도 시스템을 멈추지 않게 해줍니다.

또 하나 보고 싶은 것은 채널 실험 같은 반전의 기록입니다. 처음에는 통하는 것처럼 보이다가 조건을 바꾸자 사라진 효과들 말입니다. 그런 기록이 쌓이면 다음 설계자는 같은 함정에 빠지지 않습니다. 일종의 오답 노트처럼요. 연구가 정답만 내놓는 것이 아니라 어디서 틀리기 쉬운지도 함께 내놓을 때, 현장에서는 훨씬 쓸모가 커집니다.

이 논문이 남긴 장면들을 오래 기억하고 싶습니다. 빠른 판단이 통하는 자리에서는 시원하게 빨랐고, 통하지 않는 자리에서는 솔직하게 무너졌으며, 숫자가 부풀려진 대목에서는 스스로 고쳐 적었습니다. 그렇다면 우리의 하네스는 지금 어디에 빠른 판단을 두고 있을까요. 그리고 그 판단이 흔들릴 때 붙잡아줄 느린 증거는 준비되어 있을까요. 그 질문에 답하는 일부터가 다음 설계의 시작이라고 봅니다.