만점이 된 벤치마크 이후에도 모델 실력을 가늠할 수 있을까

이번에 살펴볼 논문은 arXiv에 공개된 Evaluating Model Capabilities After Benchmark Saturation이며 원문 링크는 제목 아래에 붙어 있습니다. 이 논문이 던지는 주장은 한 문장으로 정리됩니다. 벤치마크 점수가 포화되어도 풀이 과정의 기록인 transcript에는 여전히 다음 실력을 예측하는 신호가 남아 있고 이를 제대로 읽으면 평가 수명을 늘릴 수 있다는 것입니다.

저는 이 논문을 읽자마자 예전 코드 리뷰 장면이 떠올랐습니다. 테스트를 전부 통과한 두 제출물을 앞에 두고 어느 쪽이 더 단단한 코드인지 가려내야 하는 순간이 있죠. 점수표만 보면 둘 다 만점이라 차이가 안 보이는데 막상 변경 이력이나 풀이 과정을 펼치면 한쪽은 우연히 맞힌 흔적이 보이고 다른 한쪽은 구조를 이해하고 풀었다는 흔적이 보입니다. 그렇다면 벤치마크도 같은 방식으로 다시 읽을 수 있지 않을까요. 오늘은 그 질문을 끝까지 따라가 보겠습니다.

모두 만점을 받으면 시험지는 무슨 소용일까

벤치마크가 포화된다는 말은 여러 모델이 거의 완벽한 점수에 도달해서 시험지가 더는 모델 사이 차이를 가려내지 못하는 상태를 뜻합니다. 표면적으로 보면 축하할 일처럼 보입니다. 모델이 좋아졌다는 증거니까요. 그런데 평가를 책임지는 입장에서는 오히려 곤란해집니다. 누가 더 나은지, 어디까지 믿고 맡길 수 있는지 말해주는 눈금이 사라지기 때문입니다.

이 문제는 안전성 논의로 이어지면 더 예민해집니다. 프론티어 정책이나 안전 주장은 대개 특정 역량이 어느 선을 넘었는지 측정하는 일에서 출발하는데 점수가 천장에 붙어버리면 그 선을 넘었는지 아닌지 판단하기가 어려워집니다. 그래서 현장에서는 새 시험지를 급하게 만들거나 기존 시험지를 더 어렵게 고치는 방식으로 대응해 왔습니다. 그런데 새 시험지를 만드는 일은 생각보다 비용이 크고 매번 처음부터 검증해야 하는 부담이 있죠.

저는 이 대목에서 조금 멈칫했습니다. 점수가 천장에 닿았다고 해서 그 시험에서 얻을 정보가 정말 다 떨어진 걸까요. 학생이 만점을 받았을 때 선생님이 답안지 말고 풀이 과정을 들여다보는 이유가 있지 않습니까. 어떤 식으로 접근했고 어디에서 망설였고 어떤 도구를 꺼냈는지를 보면 다음에 더 어려운 문제가 나왔을 때 어떻게 할지 짐작할 수 있으니까요. 이 논문은 바로 그 직관을 모델 평가로 가져옵니다.

정답 도장보다 풀이 과정이 말을 더 많이 한다

우리가 보통 벤치마크에서 뽑아내는 값은 이진 정답 여부입니다. 맞혔는지 틀렸는지, 그 두 가지 중 하나죠. 그런데 벤치마크 문항 하나를 모델이 풀 때마다 그 뒤에는 훨씬 더 긴 기록이 남습니다. 어떤 추론 문장을 거쳤는지, 중간에 어떤 계산을 했는지, 도구를 호출했다면 무엇을 어떤 순서로 불렀는지가 전부 transcript 안에 들어 있습니다.

생각해보면 사람 평가도 비슷하게 작동합니다. 수학 시험에서 답만 맞힌 학생과 풀이 과정이 탄탄한 학생은 다음 시험에서 같은 점수를 받지 않는 경우가 많죠. 듣기 평가에서도 찍어서 맞힌 경우와 맥락을 듣고 맞힌 경우는 이후 실력 차이가 드러납니다. 그래서 이 논문이 주목하는 지점은 꽤 상식적입니다. 점수는 버리는 정보가 너무 많으니 풀이 기록 자체를 평가 재료로 쓰자는 것이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 풀이 기록이 길다고 해서 그 안에 항상 좋은 신호만 있는 것은 아니기 때문입니다. 말이 길어진다고 실력이 좋아지는 것도 아니고 문장이 유창하다고 추론이 정확한 것도 아닙니다. 그렇다면 transcript 안에서 진짜 실력과 연결된 부분은 어디일까요. 그리고 그 신호를 숫자로 뽑아내는 방법은 무엇일까요. 이 질문이 이 논문의 나머지 절반을 이끕니다.

지난 시험지로 다음 실력을 맞히는 실험

연구진이 택한 검증 방식은 저에게는 꽤 설득력 있게 다가왔습니다. 과거로 돌아가서 이미 끝난 일을 모르는 척하고 예측해 보는 회고 시뮬레이션이기 때문입니다. 예전 벤치마크와 예전 모델 릴리스를 시간 순서대로 늘어놓은 뒤 이미 포화된 옛 문항들의 풀이 기록만으로 아직 공개되지 않았던 어려운 문항에서의 실력을 맞힐 수 있는지 시험합니다.

이 설계가 좋은 이유는 평가 방법을 속이기 어렵게 만들기 때문입니다. 만약 어떤 분석 방법이 미래 정보를 슬쩍 엿본다면 회고 시뮬레이션에서 바로 들통이 나죠. 반대로 과거 시점에서 구할 수 있는 정보만으로 미래 성적을 잘 맞힌다면 그 방법은 실제로 쓸모가 있다고 말할 수 있습니다. 마치 주식 백테스트처럼 과거 데이터로 전략을 돌려보고 미래에 통할지를 가늠하는 셈입니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 맥락에서 이 논문의 실험 설계는 점수 하나를 두고 다투는 대신 풀이 기록이라는 더 넓은 증거를 테이블 위에 올립니다. 그렇다면 그 증거를 읽는 구체적인 방법은 무엇이었을까요.

점수 대신 기록을 읽는 몇 가지 방식

논문에서는 transcript에서 신호를 뽑아내는 여러 분석 방식을 비교합니다. 큰 그림으로 보면 풀이 기록을 직접 점수화하거나 서로 비교해서 우열을 가리는 흐름이 있습니다. 점수 예측의 기준선은 포화된 벤치마크 점수만 쓰는 방식인데 이 기준선은 말 그대로 천장에 붙은 점수라서 모델 사이 차이를 거의 말해주지 못합니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 pairwise judging이었습니다. 두 모델의 풀이 기록을 나란히 놓고 어느 쪽이 더 탄탄한지 가려내는 방식인데 여러 비교 방법 중에서 가장 좋은 예측 성능을 냈기 때문입니다. 포화된 점수만 쓰는 기준선과 비교하면 예측 오차가 5.3분의 1 수준으로 줄었습니다. 숫자로만 보면 꽤 큰 폭이죠. 일반 파일에 남은 기록과 시스템 프롬프트에 남은 기록이 전혀 다른 무게를 갖듯이 풀이 기록을 어떻게 읽느냐에 따라 뽑아내는 정보량이 달라진다는 점을 보여줍니다.

왜 이런 차이가 생길까요. 절대 점수를 매기는 일은 기준이 흔들리기 쉽습니다. 8점과 9점의 경계가 매번 달라지죠. 반면 둘을 나란히 놓고 고르는 일은 상대적인 차이에 집중하게 만듭니다. 어느 풀이가 더 직접적인지, 불필요한 우회는 없는지, 도구 호출 순서가 합리적인지가 비교 속에서 더 또렷해집니다. 일종의 상대평가가 절대평가보다 변별력을 살린 셈입니다.

나란히 놓고 보면 보이는 것들

pairwise judging이 잘 작동한 이유를 조금 더 파고들어 보겠습니다. 포화된 문항에서는 두 모델이 둘 다 정답을 맞히기 때문에 정답 여부만 보면 동점입니다. 하지만 풀이 기록을 펼치면 동점이 깨집니다. 한쪽은 가설을 세우고 검증하는 흐름이 분명한데 다른 한쪽은 같은 답에 도달했어도 우회하거나 확신 없는 문장이 섞여 있기 때문입니다.

여기서 재미있는 질문이 생깁니다. 심사하는 주체는 그 차이를 어떻게 알아챌까요. 논문의 흐름으로 보면 심사 역시 모델이 맡는데 심사 모델이 풀이의 구조를 읽어내는 셈입니다. 이 대목은 얼핏 순환논리처럼 보일 수도 있습니다. 모델이 모델을 평가해서 무슨 의미가 있느냐는 것이죠. 그런데 회고 시뮬레이션의 결과가 말해주는 바는 분명합니다. 이런 식의 비교가 실제로 미래의 어려운 문항 성적을 더 잘 맞혔다는 것입니다. 평가자가 완벽하지 않아도 비교 구조 자체가 신호를 끌어올린 셈이죠.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 점수가 아니라 과정을 비교하면 평가의 해상도가 올라간다는 점이기 때문입니다. 시험지가 쉬워져서 모두가 만점을 받는 상황에서도 풀이의 질은 여전히 벌어질 수 있습니다. 그 벌어짐을 포착하는 렌즈가 바로 pairwise 비교였던 것이죠.

기록 안에서도 어디에 신호가 몰려 있을까

다음으로 살펴볼 지점은 transcript 안에서 신호의 위치입니다. 풀이 기록 전체에 정보가 골고루 퍼져 있는지 아니면 특정 구간에 몰려 있는지를 따져본 것입니다. 논문의 관찰에 따르면 역량과 연결된 정보는 기록 여러 구간에 흩어져 있지만 특히 추론 부분과 도구 호출 부분에 더 짙게 모여 있습니다.

이 결과는 실제 시스템 관점에서 보면 꽤 자연스럽게 읽힙니다. 최종 답 문장은 다듬어진 결과물이라서 그럴듯하게 보이기 쉽지만 추론 구간에서는 가설을 어떻게 세우고 무엇을 버렸는지가 드러나기 때문입니다. 도구 호출도 마찬가지입니다. 어떤 도구를 언제 어떤 인자와 함께 불렀는지를 보면 문제 분해 능력이 보입니다. 마치 요리사의 완성된 접시보다 조리 과정 영상이 실력을 더 잘 보여주는 것과 비슷하죠.

그렇다면 이 흐름은 평가 설계에 어떤 힌트를 줄까요. transcript를 통째로 읽는 것도 의미가 있지만 분석 예산이 한정되어 있다면 추론과 도구 호출 구간에 먼저 렌즈를 맞추는 편이 효율적이라는 것입니다. 다만 여기서 성급한 일반화는 경계해야 합니다. 신호가 몰려 있다는 말은 다른 구간에 신호가 없다는 뜻이 아니기 때문입니다. 전체 흐름과 특정 채널을 함께 보는 균형이 필요해 보입니다.

2025년 초 추론 모델 앞에서 삐끗한 예측

이 논문에서 제가 솔직히 마음에 들었던 대목은 실패를 숨기지 않았다는 점입니다. transcript 분석의 예측력이 분포 변화 앞에서는 항상 통하지 않았기 때문입니다. 특히 2025년 초에 등장한 첫 추론 모델들을 과소평가하는 장면이 나옵니다. 과거 세대의 풀이 스타일로 학습된 예측 렌즈가 새로운 추론 스타일을 제대로 읽지 못한 셈이죠.

이 장면은 꽤 사람 같기도 합니다. 선생님이 예전 우등생들의 풀이 스타일에 익숙해져 있다가 전혀 새로운 방식으로 푸는 전학생을 만나면 처음에는 그 실력을 낮게 보는 경우와 비슷합니다. 풀이가 길어졌다고 깊어진 것도 아니고 짧아졌다고 얕아진 것도 아닌데 익숙한 패턴에서 벗어났다는 이유만으로 점수를 깎는 것이죠. 평가자의 눈이 과거에 맞춰져 있으면 새로운 능력은 과소평가되기 쉽습니다.

문제는 그다음입니다. 이런 빗나감이 일시적인 적응 문제인지 아니면 transcript 분석 자체의 구조적 한계인지 가려야 하기 때문입니다. 논문의 태도는 전자에 가깝습니다. 신호 자체는 남아 있지만 그 신호를 꺼내는 방법이 분포 변화에 단단해야 한다는 것이죠. 그래서 벤치마크 수명을 늘리려면 정확도에 기대는 방식이 아니라 transcript 신호를 단단하게 뽑아내는 전용 방법이 필요하다는 결론으로 이어집니다.

안전 주장과 프론티어 정책이 흔들리는 지점

이제 시야를 조금 넓혀 보겠습니다. 벤치마크가 포화되면 무엇이 곤란해질까요. 단순히 순위표가 재미없어지는 정도가 아닙니다. 안전 사례와 프론티어 정책의 근거가 약해지기 때문입니다. 어떤 모델이 어느 역량 임계값을 넘었는지 말할 수 있어야 규범도 세우고 대응도 하는데 눈금 자체가 무뎌지면 그 판단이 늦어질 수 있습니다.

표면적으로 보면 새 벤치마크를 만들면 될 일처럼 보입니다. 실제로는 그렇지 않습니다. 새 시험지를 만들 때마다 무엇이 어려운지 정의하고 오염을 막고 난이도를 검증해야 하는데 이 과정은 시간과 비용이 많이 듭니다. 더구나 모델 발전 속도가 빠르면 새로 만든 시험지도 금방 천장에 닿을 수 있습니다. 시험지를 계속 갈아끼우는 방식은 장기적으로 지속하기 어렵죠.

그래서 transcript를 다시 읽는 접근은 정책적으로도 의미가 있습니다. 이미 치른 시험에서 버려지던 정보를 재활용해서 평가 수명을 늘릴 수 있기 때문입니다. 물론 이 방법이 새 시험지를 완전히 대체할 수는 없습니다. 다만 기존 자산을 더 오래 쓰고 새 시험지가 필요해지는 시점을 늦출 수 있다면 그 자체로도 가치가 있죠. 평가 예산을 어디에 쓸지 고르는 문제에서 선택지가 하나 더 생긴 셈입니다.

수명을 늘린다는 말의 실제 뜻

벤치마크 수명을 늘린다는 표현은 얼핏 시험지를 아껴 쓴다는 정도로 들릴 수 있습니다. 그런데 논문이 말하는 수명 연장은 그런 절약 차원이 아닙니다. 정확도라는 하나의 숫자에만 기대지 않고 풀이 기록 속 신호를 단단하게 읽어내는 전용 장치를 갖추는 일에 가깝습니다.

여기서 잠깐 오해를 바로잡고 싶습니다. transcript 분석이 만능 열쇠라는 뜻이 아니기 때문입니다. 풀이 기록을 읽는다고 해서 모델의 모든 잠재 역량이 드러나는 것은 아닙니다. 어떤 능력은 쉬운 문항의 풀이에서는 아예 발현되지 않을 수도 있고 어떤 능력은 도구 환경이 바뀌어야 드러날 수도 있습니다. transcript 분석은 기존 시험지의 정보 추출 효율을 높이는 방법이지 시험지의 한계를 없애는 마법이 아닙니다.

그렇다면 무엇을 갖춰야 할까요. 저는 세 가지가 필요하다고 봅니다. 먼저 비교 구조처럼 해상도를 높이는 읽기 방식이 필요합니다. 다음으로 추론과 도구 호출 같은 신호 밀도가 높은 구간을 우선 보되 전체 맥락을 놓치지 않는 설계가 필요합니다. 마지막으로 분포 변화 앞에서 렌즈를 다시 맞추는 절차가 필요합니다. 2025년 초의 과소평가 사례가 말해주듯이 렌즈는 한 번 맞추고 끝나는 장치가 아니기 때문입니다.

저는 다음 장면이 궁금해졌습니다

제가 앞으로 보고 싶은 것은 이 방법이 실제 평가 운영에 들어갔을 때의 모습입니다. 연구 환경의 회고 시뮬레이션을 넘어 매주 새 모델이 올라오는 평가 파이프라인에서 transcript 분석이 어떤 비용으로 어떤 신호를 주는지 궁금하기 때문입니다. pairwise 비교는 정확하지만 비교 횟수가 늘어나면 비용도 함께 늘어납니다. 어떤 쌍을 비교할지 어떻게 묶을지에 따라 운영 효율이 크게 달라질 수 있죠.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 심사 주체의 편향은 어떻게 관리할까요. 길게 쓴 풀이를 좋게 보는 버릇이나 특정 도구 사용 패턴을 선호하는 버릇이 있다면 그 편향이 평가에 스며들 수 있기 때문입니다. 또한 풀이 스타일을 의도적으로 꾸미는 최적화가 등장하면 어떻게 될까요. 시험을 위한 풀이와 실제 역량이 어긋나는 순간 transcript 신호의 믿음도 함께 흔들릴 수 있습니다.

개인적으로 인상 깊었던 점은 점수 이후를 보게 만든다는 데 있습니다. 만점이 끝이 아니라 시작이라는 발상의 전환이죠. 답안지가 아니라 풀이 과정을 읽는 습관은 모델 평가뿐 아니라 우리가 사람을 평가하는 방식에도 시사점을 줍니다. 결과표 한 줄로 사람을 줄 세우기 전에 그 과정에 어떤 흔적이 남았는지 한 번 더 들여다보는 일이니까요. 그렇다면 사람의 역할은 무엇일까요. 저는 평가의 눈금을 더 촘촘하게 만드는 일이라고 봅니다. 시험지를 바꾸는 것만이 아니라 읽는 방식을 바꾸는 일이기도 하다는 것을 이 논문은 조용히 보여줍니다.