에이전트 평가를 하나의 항구에 모으다: Harbor Adapters와 Harbor-Index

이번 글에서 다루는 논문은 Harbor Adapters and Harbor-Index: Infrastructure and a Curated Meta-Dataset for Large-Scale Agentic Evaluation이며, arXiv에 arXiv:2609.04298로 공개된 연구입니다. 원문 링크는 제목 아래에 붙어 있습니다.

이 논문의 주장은 80개가 넘는 에이전트 벤치마크를 하나의 통합 인프라로 포팅하고 그 위에서 8개 모델을 대규모로 비교한 뒤 난이도와 다양성과 품질을 기준으로 추린 82개 과제의 Harbor-Index를 내놓으면 어떤 모델과 하네스 조합도 30퍼센트를 넘지 못하는 어려운 평가 기준을 세울 수 있다는 것이며, 이 글에서는 왜 에이전트 평가가 흩어져 있었는지와 어댑터가 무엇을 통일하는지, 대규모 비교가 무엇을 밝혔는지, 그리고 선별된 82개 과제가 왜 의미 있는지를 차례로 풀어봅니다.

에이전트 평가는 왜 흩어져 있었나

에이전트 벤치마크의 숫자는 빠르게 늘었습니다. 코딩 보조를 재는 과제 묶음이 있고, 웹 탐색을 재는 묶음이 있고, 도구 사용과 장기 계획과 다단계 추론을 재는 묶음이 따로 있습니다. 숫자만 보면 풍요로워 보입니다. 그런데 막상 여러 벤치마크에서 하나의 에이전트를 돌려보려는 팀의 입장에서 보면 풍요가 아니라 분절이 먼저 눈에 들어옵니다. 과제마다 실행 환경이 다르고, 에이전트와 과제를 연결하는 방식이 다르고, 점수를 매기는 절차가 다릅니다. 새로운 에이전트를 하나 만들 때마다 각 벤치마크의 문을 따로 두드려야 합니다. 환경 의존성을 설치하고, 하네스 접합부를 맞추고, 채점 스크립트의 버전을 맞추는 일이 반복됩니다.

이 분절이 생기는 이유는 에이전트 과제의 성격 자체에 있습니다. 언어 모델의 단답형 질문은 텍스트 한 줄로 주고받을 수 있습니다. 그러나 에이전트 과제는 환경을 요구합니다. 터미널이 필요할 수도 있고, 브라우저가 필요할 수도 있고, 파일 시스템과 코드 저장소와 테스트 러너가 필요할 수도 있습니다. 환경을 띄우는 방법이 벤치마크마다 다릅니다. 컨테이너로 묶은 것도 있고, 클라우드 샌드박스를 요구하는 것도 있고, 특정 도구의 특정 버전에 기대는 것도 있습니다. 환경이 곧 과제의 일부이기 때문에 환경을 통일하지 않으면 평가도 통일되지 않습니다. 각 벤치마크가 자신의 환경에 맞춰 자라난 것은 자연스러운 일이지만, 그 결과로 평가자는 여러 개의 섬을 오가야 하는 처지가 됩니다.

또 하나의 분절은 에이전트 연결부에 있습니다. 어떤 벤치마크는 특정한 에이전트 뼈대와 단단히 결합되어 있습니다. 과제를 풀려면 그 벤치마크가 상정한 하네스를 써야 합니다. 하네스란 모델이 환경과 상호작용하는 방식을 정하는 틀입니다. 어떤 도구를 어떤 형식으로 호출할지, 관찰 결과를 어떻게 모델에게 돌려줄지, 몇 번의 시도를 허용할지를 정합니다. 벤치마크와 하네스가 한 몸이면 모델의 능력과 하네스의 편의가 뒤섞입니다. 점수가 올랐을 때 그것이 모델이 똑똑해져서인지 하네스가 친절해서인지 알기 어렵습니다. 비교의 공정성이 흔들리는 지점입니다.

그래서 현장의 평가는 종종 타협으로 끝납니다. 몇 개의 대표 벤치마크만 골라 돌리거나, 각 벤치마크의 기본 하네스 그대로 점수를 받아 적거나, 환경 문제로 일부 과제를 건너뛰는 식입니다. 그러면 숫자는 나오지만 해석이 약해집니다. 우리 에이전트가 정말로 넓은 범위의 일을 잘하는지, 아니면 고른 몇 개의 과제에서만 잘하는지 알 수 없습니다. 이 논문이 출발점에서 짚는 어려움이 바로 이것입니다. 늘어나는 에이전트 벤치마크를 평가하는 일이 복잡한 환경과 에이전트 통합 요구 때문에 점점 더 어려워지고 있다는 사실입니다. 이 진단은 많은 실무자가 고개를 끄덕일 만합니다. 벤치마크는 풍년인데 평가는 흉년인 상태이기 때문입니다.

Harbor Adapters는 무엇을 통일하는가

이 논문이 내놓는 첫 번째 결과물은 Harbor Adapters라는 통합 평가 인프라입니다. 이름 그대로 항구의 접안 시설을 떠올리면 이해가 쉽습니다. 서로 다른 모양의 배들이 하나의 항구에 들어오려면 규격화된 접안 설비가 필요합니다. Harbor Adapters는 80개가 넘는 에이전트 벤치마크를 포팅하여 임의의 에이전트를 평가할 수 있게 만드는 설비입니다. 포팅이라는 말의 뜻을 분명히 해두겠습니다. 벤치마크를 베끼는 일이 아니라, 원래 과제의 뜻을 살리면서 공통된 평가 틀 위에서 돌 수 있도록 옮기는 일입니다. 과제의 환경과 채점 방식은 유지하되, 에이전트와의 연결부는 통일된 규격으로 맞춘다는 뜻입니다.

이 통일이 중요한 이유는 평가의 단위를 바꾸기 때문입니다. 기존에는 벤치마크가 평가의 단위였습니다. 어떤 벤치마크에서 몇 점을 받았는지가 보고의 기본 형태였습니다. 어댑터가 있으면 에이전트가 평가의 단위가 됩니다. 하나의 에이전트를 여러 벤치마크에 그대로 올려놓고 성적을 읽을 수 있습니다. 연구자의 질문이 달라집니다. 이 벤치마크에서 누가 1등인가라는 질문에서, 이 에이전트가 넓은 과제 분포에서 어디까지 가는가라는 질문으로 바뀝니다. 평가의 시야가 과제 하나에서 과제 생태계로 넓어지는 셈입니다.

임의의 에이전트를 평가한다는 표현에도 주목할 필요가 있습니다. 특정한 뼈대에 묶이지 않은 에이전트도 같은 틀에서 돌릴 수 있다는 뜻입니다. 연구팀이 새로 만든 실험적 에이전트든, 외부에서 가져온 상용 하네스 기반 에이전트든, 같은 접안 설비에 연결하면 됩니다. 이렇게 되면 비교의 폭이 넓어집니다. 모델끼리 비교할 수 있고, 하네스끼리 비교할 수 있고, 모델과 하네스의 조합끼리 비교할 수 있습니다. 평가 인프라가 비교의 가능성을 여는 셈입니다. 인프라라는 말이 거창하게 들릴 수 있지만, 실제로 인프라가 하는 일은 가능성을 여는 것입니다. 매번 환경을 새로 깔고 접합부를 새로 맞추는 수고를 덜어주면, 그 시간만큼 더 많은 비교를 돌릴 수 있습니다.

물론 이런 통일에 대한 의심도 자연스럽습니다. 서로 다른 벤치마크를 하나의 틀에 밀어 넣으면 원래 과제의 맛이 사라지는 것 아닌가 하는 의심입니다. 웹 탐색 과제의 브라우저 상태와 코딩 과제의 테스트 러너를 같은 인터페이스로 감싸면 세부 의미가 뭉개질 수 있다는 걱정입니다. 이 의심에 대한 논문의 답은 다음 절에서 다루는 검증 절차입니다. 포팅했다는 선언이 아니라 포팅된 결과가 원본에 충실하다는 증거를 함께 내놓는다는 점이 이 연구의 태도를 보여줍니다. 통일의 선언보다 통일의 품질이 먼저라는 입장입니다.

포팅의 품질을 어떻게 믿을 것인가

80개가 넘는 벤치마크를 옮겼다는 말은 양의 선언입니다. 그러나 평가 인프라에서 양보다 먼저 물어야 할 것은 질입니다. 옮긴 과제가 원본과 같은 것을 재고 있는가. 채점 기준이 원래 의도대로 작동하는가. 환경 차이가 점수에 스며들지 않았는가. 이런 질문에 답하지 않으면 통일된 점수는 모래 위의 숫자가 됩니다. 논문은 이 지점을 가볍게 넘기지 않습니다. 적용된 벤치마크들을 엄격한 코드 리뷰와 동등성 실험으로 검증하여 원본에 대한 충실도를 지켰다고 보고합니다.

코드 리뷰라는 말을 풀어보겠습니다. 옮기는 과정에서 작성된 코드를 사람이 다시 읽는 절차입니다. 환경 설정이 원래 과제의 조건을 그대로 반영하는지, 채점 로직이 원래 규칙을 그대로 따르는지, 에이전트에게 주어지는 관찰과 도구가 원래 범위를 벗어나지 않는지를 눈으로 확인합니다. 자동화된 테스트만으로는 잡히지 않는 의미의 어긋남을 잡는 장치입니다. 예를 들어 제한 시간을 환경마다 다르게 해석했다거나, 허용된 도구 목록을 넓게 잡았다거나, 원래는 금지된 지름길을 열어주었다거나 하는 실수는 코드를 읽는 사람의 눈이 잡아내기 쉽습니다. 엄격하다는 수식어가 붙은 만큼, 형식적인 검토가 아니라 실질적인 검토가 이루어졌다는 뜻으로 읽힙니다.

동등성 실험은 그 다음 단계입니다. 옮긴 과제에서의 실행 결과가 원본에서의 실행 결과와 같은 방향을 가리키는지를 실험으로 확인합니다. 완전히 같은 숫자가 나오는지를 묻는 것이 아닙니다. 환경과 실행 조건이 조금씩 다를 수밖에 없기 때문입니다. 묻는 것은 순위의 보존과 경향의 일치에 가깝습니다. 원본에서 어렵던 과제가 옮긴 뒤에도 어렵고, 원본에서 쉽던 과제가 옮긴 뒤에도 쉬우며, 강한 기준선이 약한 기준선을 앞서는 관계가 유지되는지를 봅니다. 이런 동등성이 확인되면 어댑터 위의 점수를 원본의 점수와 같은 언어로 읽을 수 있습니다. 숫자의 자릿수가 아니라 숫자의 뜻이 통한다는 뜻입니다.

이 검증 태도가 중요한 이유는 평가 인프라의 신뢰가 누적되는 방식 때문입니다. 한두 개의 벤치마크를 옮길 때는 연구자가 직접 눈으로 챙길 수 있습니다. 그러나 80개를 넘기면 개인의 주의력으로는 감당이 안 됩니다. 절차가 신뢰를 대신해야 합니다. 코드 리뷰라는 사람의 눈과 동등성 실험이라는 숫자의 눈을 함께 쓰는 것은 그래서 설득력이 있습니다. 사람의 눈은 의미의 어긋남을 잡고, 숫자의 눈은 체계적인 쏠림을 잡습니다. 두 개의 눈이 서로 다른 종류의 오류를 잡아냅니다. 이 논문을 읽을 때 저는 이 대목에서 안심했습니다. 양의 선언 뒤에 질의 절차가 붙어 있었기 때문입니다.

8개 모델과 54개 벤치마크의 대규모 비교

인프라가 준비되면 다음은 그것을 쓰는 일입니다. 논문은 8개의 모델을 54개의 벤치마크에서 평가하는 대규모 연구를 수행했습니다. 숫자를 하나씩 뜯어보겠습니다. 먼저 8개의 모델은 능력의 층위를 가로지르도록 고른 것으로 보고됩니다. 최상위권의 강한 모델부터 상대적으로 가벼운 모델까지 스펙트럼을 담은 구성입니다. 특정 구간의 모델만 모아놓고 잔치를 벌이는 구성이 아니라, 층위마다 대표가 서 있는 구성이라는 뜻입니다. 이렇게 층위를 펼치면 질문의 결이 달라집니다. 누가 1등인가를 넘어서, 능력의 층위가 과제 분포의 어디에서 갈리는지를 물을 수 있습니다.

다음으로 54개의 벤치마크라는 규모입니다. 포팅된 80여 개 가운데 실제 대규모 비교에 쓰인 것이 54개라는 뜻으로 읽힙니다. 단일 벤치마크의 우연을 넘어서는 규모입니다. 하나의 과제 묶음에서는 우연히 잘할 수도 있고, 하나의 과제 묶음에서는 우연히 무너질 수도 있습니다. 54개를 펼치면 우연의 자리가 줄어듭니다. 에이전트의 강점과 약점이 분포의 모양으로 드러납니다. 어떤 층위의 모델은 넓게 고르게 가고, 어떤 층위의 모델은 특정 영역에서만 뾰족하게 가는 식입니다. 평가의 목적이 서열 매기기에서 지도 그리기로 바뀌는 지점입니다.

이 규모의 비교가 가능했다는 사실 자체가 인프라의 성능을 증명합니다. 54개의 서로 다른 환경을 매번 손으로 띄웠다면 연구 기간 안에 비교를 마치기 어려웠을 것입니다. 어댑터가 있으니 같은 에이전트를 여러 항구에 차례로 접안시키는 일이 절차가 됩니다. 연구자는 환경 설치가 아니라 결과 해석에 시간을 쓸 수 있습니다. 인프라 논문이 흔히 빠지는 함정은 인프라만 만들고 쓰는 장면을 보여주지 않는 것입니다. 이 논문은 그 함정을 피합니다. 인프라를 만들고 그 위에서 실제로 큰 비교를 돌려 보여줍니다. 쓰는 장면이 곧 인프라의 사용 설명서가 되는 셈입니다.

한 가지 경계도 함께 적어두겠습니다. 54개라는 숫자가 크다고 해서 모든 에이전트 능력을 담은 것은 아닙니다. 포팅된 벤치마크들의 분포가 곧 평가의 시야이며, 시야 밖에 있는 능력은 잴 수 없습니다. 예를 들어 아주 새로운 형태의 상호작용이나 아주 긴 시간 지평의 과제가 기존 벤치마크들에 없다면, 그 능력은 이 비교의 지도 밖에 남습니다. 그럼에도 54개라는 폭은 단일 벤치마크 보고보다 훨씬 정직합니다. 하나의 섬이 아니라 군도의 지도를 내놓는 일이기 때문입니다.

모델의 능력과 하네스의 효과를 가르는 설계

이 대규모 연구에서 가장 눈여겨볼 대목은 실험 설계입니다. 모든 모델을 Terminus-2라는 공통 하네스로 돌리고, 동시에 세 가지 고유 하네스 가운데 하나와도 함께 돌렸다는 점입니다. 이 설계의 의도는 모델의 능력과 하네스의 효과를 분리하는 데 있습니다. 앞서 말한 대로 에이전트 점수는 모델과 하네스의 합작품입니다. 같은 모델도 하네스가 바뀌면 점수가 바뀝니다. 도구의 형식이 달라지고, 관찰의 양이 달라지고, 시도 횟수의 운용이 달라지기 때문입니다. 그래서 단일 조건의 점수만 보면 해석이 흐릿해집니다. 잘한 것이 모델 덕인지 하네스 덕인지 가릴 수 없습니다.

공통 하네스 조건은 이 흐릿함을 걷어내는 장치입니다. 모든 모델을 Terminus-2라는 같은 틀에 올려놓으면 하네스 조건이 고정됩니다. 이때 점수의 차이는 모델 쪽에 가깝게 읽힙니다. 물론 완전히 순수한 모델 능력만 남는 것은 아닙니다. 공통 하네스가 특정한 스타일의 모델에게 유리할 수도 있기 때문입니다. 그러나 최소한 비교의 발판은 평평해집니다. 같은 발판 위에서의 차이는 해석할 가치가 있습니다. 누가 더 멀리 가는지를 발판 탓 없이 물을 수 있습니다.

고유 하네스 조건은 반대 방향의 정보를 줍니다. 각 모델을 세 가지 고유 하네스 가운데 하나와 함께 돌리면, 그 모델이 현장에서 실제로 쓰이는 모습에 가까운 점수가 나옵니다. 모델 개발사가 자신의 모델에 맞춰 다듬은 하네스는 모델의 장점을 끌어내도록 설계되어 있습니다. 이 조건에서의 점수는 모델과 하네스의 조합이 도달할 수 있는 현실적인 상한에 가깝습니다. 공통 하네스에서의 점수와 고유 하네스에서의 점수를 나란히 놓으면 두 개의 이야기가 읽힙니다. 하나는 모델 자체의 이야기이고, 다른 하나는 조합의 이야기입니다.

이 이중 조건 설계가 실무적으로 중요한 이유는 구매와 도입의 결정이 조합의 단위로 이루어지기 때문입니다. 현장에서 쓰는 것은 모델 단독이 아니라 모델과 하네스의 묶음입니다. 어떤 코딩 보조 도구를 도입할지를 고를 때 사람들은 모델 이름이 아니라 제품의 체감을 비교합니다. 그 체감은 조합의 점수에 가깝습니다. 반면 연구자가 다음 모델을 설계할 때는 모델 자체의 점수가 필요합니다. 하네스의 화장발을 걷어낸素顔에 가까운 숫자가 필요합니다. 두 독자에게 두 개의 숫자를 주는 설계라는 점에서 이 연구는 정직합니다. 하나의 점수로 두 종류의 질문에 답하려 하지 않기 때문입니다.

Harbor-Index라는 82개 과제의 선별품

인프라와 대규모 비교에 이어 이 논문의 두 번째 결과물은 Harbor-Index입니다. 적용된 과제들 가운데서 어렵고 다양하며 품질이 높은 82개의 과제를 29개의 벤치마크에서 추려 묶은 것입니다. 숫자의 의미를 짚어보겠습니다. 82라는 수는 하루 안에 돌릴 수 있는 규모이면서도 29개의 출처를 담을 만큼 넓습니다. 전체 54개 벤치마크 평가를 매번 돌리기 부담스러운 팀에게는 가벼운 대표 묶음이 필요합니다. 대표 묶음이 되려면 두 가지 조건을 만족해야 합니다. 가벼우면서도 전체의 맛을 잃지 않아야 합니다. 82개라는 크기와 29개 출처라는 폭은 그 균형을 겨냥한 선택으로 읽힙니다.

어렵다는 기준이 첫 번째 축입니다. 너무 쉬운 과제는 변별력이 없습니다. 여러 모델이 모두 맞히면 순위를 가를 수 없습니다. 그래서 어려운 과제를 남기는 방향으로 거릅니다. 다양하다는 기준이 두 번째 축입니다. 한 종류의 과제만 모으면 편향된 잣대가 됩니다. 코딩만 82개를 모으면 코딩 잣대가 되고, 웹 탐색만 모으면 탐색 잣대가 됩니다. 29개의 벤치마크에 걸친 구성은 잣대의 편향을 줄이는 장치입니다. 품질이 높다는 기준이 세 번째 축입니다. 지문이 모호하거나 채점이 불안정하거나 환경이 깨지기 쉬운 과제는 아무리 어려워도 잣대로 쓸 수 없습니다. 어려움과 다양성 위에 품질을 얹는 삼중 기준이 이 선별품의 정의입니다.

메타 데이터셋이라는 표현도 짚고 넘어갈 필요가 있습니다. 새로 만든 과제가 아니라 기존 벤치마크들에서 추린 과제라는 뜻입니다. 창작이 아니라 큐레이션입니다. 이 선택에는 분명한 장점이 있습니다. 각 과제의 출처와 채점 방식이 이미 검증되어 있고, 과제마다 원래의 맥락이 있습니다. 완전히 새로운 과제를 82개 만드는 것보다 기존의 좋은 과제를 가려 뽑는 편이 품질 관리에 유리합니다. 물론 단점도 있습니다. 기존 과제들의 분포를 벗어날 수 없다는 점입니다. 전혀 새로운 능력을 재는 과제는 이 묶음에 들어올 수 없습니다. 그러나 평가 기준으로서의 쓰임새를 생각하면 큐레이션은 합리적인 선택입니다. 검증된 재료로 어려운 시험지를 만드는 일이기 때문입니다.

이 선별품이 겨냥하는 쓰임새는 분명합니다. 강한 모델들의 변별입니다. 쉬운 시험지에서는 상위권이 모두 만점에 몰려 순위를 가릴 수 없습니다. 어려운 시험지에서는 점수가 벌어집니다. 82개의 어려운 과제는 상위권 모델들 사이의 간격을 드러내는 자가 됩니다. 다음 절에서 다루는 큐레이션 절차와 그 다음 절의 점수 분포가 바로 이 쓰임새를 뒷받침합니다.

난이도 선별과 감사와 수정 고리의 큐레이션

82개의 과제가 어떻게 골라졌는지를 보는 일은 이 논문의 신뢰를 가늠하는 일입니다. 논문은 적용된 과제 묶음에서 출발하여 난이도 선별과 기계 및 사람 감사, 그리고 감사와 수정의 반복 고리를 거쳐 Harbor-Index를 다듬었다고 설명합니다. 각 단계를 풀어보겠습니다. 난이도 선별은 말 그대로 쉬운 과제를 걷어내는 단계입니다. 대규모 비교의 점수 분포를 보면 어떤 과제가 변별력이 있는지가 드러납니다. 모두가 맞히는 과제는 시험지에서 빠집니다. 모두가 틀리는 과제도 생각해볼 필요가 있습니다. 변별이 아니라 불가능을 재는 문항일 수 있기 때문입니다. 남는 것은 강한 모델도 자주 틀리지만 아주 가끔은 맞히는, 변별의 결이 살아 있는 과제들입니다.

기계 감사와 사람 감사는 품질의 이중 잠금장치입니다. 기계 감사는 빠르고 넓게 훑습니다. 지문의 모호성이나 채점의 허점이나 환경의 불안정성 같은 결함을 대량으로 훑어낼 수 있습니다. 그러나 기계의 눈은 기계의 편향을 함께 가져옵니다. 특정한 표현을 문제 삼거나 특정한 실패를 과소평가할 수 있습니다. 사람의 눈은 그 반대편에 있습니다. 느리지만 맥락을 읽습니다. 과제의 의도가 살아 있는지를 봅니다. 채점 기준이 과제의 뜻과 어긋나지 않는지를 봅니다. 두 개의 눈을 함께 쓰는 것은 앞에서 본 어댑터 검증의 이중 구조와 같은 철학입니다. 서로 다른 종류의 오류를 서로 다른 눈으로 잡는다는 생각입니다.

감사 후 수정 고리는 이 절차의 백미입니다. 감사에서 결함이 발견되면 과제를 버리는 데서 그치지 않고 고쳐서 다시 감사합니다. 버리기만 한다면 선별은 쉬워집니다. 그러나 좋은 과제를 살리는 일은 어려워집니다. 지문의 한 문장을 다듬으면 모호함이 걷히고, 채점 조건을 하나 바로잡으면 안정성이 올라갑니다. 수정과 재감사를 반복하면 버려질 뻔한 과제가 시험지에 남을 만한 과제로 바뀝니다. 이 고리가 있다는 것은 큐레이션이 단순한 솎아내기가 아니라 다듬기라는 뜻입니다. 원석을 고르는 일을 넘어서 원석을 세공하는 일까지 포함한다는 뜻입니다.

이 절차를 현장의 관점에서 보면 시험지 제작 위원회의 모습과 겹칩니다. 좋은 시험 문제는 한 번에 나오지 않습니다. 초안을 내고, 검토하고, 고치고, 다시 검토하는 과정을 거칩니다. Harbor-Index의 큐레이션은 그 과정을 82개의 문항에 대해 투명하게 돌린 것에 가깝습니다. 절차가 투명하면 결과에 대한 신뢰가 생깁니다. 점수가 낮게 나왔을 때 과제 탓을 하기 어려워집니다. 과제의 어려움을 의심하기 전에 모델의 한계를 먼저 보게 됩니다. 어려운 잣대가 권위를 얻는 방식이 바로 이것입니다. 만드는 과정이 정직하면 재는 결과도 정직하게 읽힙니다.

30퍼센트의 벽이 말하는 것

이제 점수를 보겠습니다. Harbor-Index에서 평가된 어떤 모델과 하네스 조합도 30퍼센트의 정답률을 넘지 못했고, 가장 강한 조합인 Codex 환경의 GPT-5.5가 28.0퍼센트에 도달했다고 보고됩니다. 이 숫자를 어떻게 읽어야 할까요. 먼저 잣대의 관점에서 보면 변별의 여지가 넉넉하다는 뜻입니다. 만점에 가까운 시험지는 상위권을 가릴 수 없습니다. 30퍼센트 아래에 모두가 모여 있다는 것은 천장이 한참 위에 있다는 뜻입니다. 앞으로의 모델들이 이 시험지에서 점수를 올릴 여지가 크다는 뜻이기도 합니다. 잣대로서의 수명이 길다는 뜻입니다.

다음으로 현재 에이전트들의 수준을 솔직하게 보여준다는 점입니다. 82개의 과제는 기존 벤치마크들에서 가져온 것입니다. 완전히 새로운 종류의 불가능한 문제가 아닙니다. 각 과제는 원래의 벤치마크 안에서는 풀릴 만한 문제였습니다. 그런데 어렵고 다양한 것들만 모아놓으니 강한 조합도 30퍼센트에 닿지 못합니다. 이 간극이 시사하는 바가 큽니다. 개별 벤치마크에서 높은 점수를 받는 것과 넓은 분포에서 고르게 잘하는 것은 다른 일이라는 점입니다. 한 섬의 챔피언이 군도에서는 고전하는 모습입니다. 에이전트 연구가 좁은 최적화를 넘어 넓은 일반화로 가야 한다는 신호로 읽힙니다.

28.0퍼센트라는 최고점의 구성도 눈여겨볼 대목입니다. 강한 모델과 손발이 맞는 하네스의 조합이 최고점을 냈다는 점입니다. 모델의 층위도 중요하고 하네스의 조율도 중요하다는 뜻입니다. 앞에서 본 이중 조건 설계의 해석과 맞물립니다. 공통 하네스에서의 점수가 모델의 본모습이라면, 최고점의 조합은 현장의 총력에 가깝습니다. 총력을 다해도 30퍼센트에 닿지 못한다는 사실이 이 시험지의 어려움을 증명합니다. 동시에 조합의 중요성을 일깨웁니다. 좋은 모델을 좋은 하네스에 올리는 일이 점수에 실질적인 차이를 만든다는 점입니다.

이 결과를 비관으로 읽을 필요는 없습니다. 오히려 기준으로 읽는 편이 생산적입니다. 30퍼센트의 벽은 현재의 위치를 찍는 측량점입니다. 측량점이 있어야 이동을 잴 수 있습니다. 1년 뒤의 모델들이 이 시험지에서 어디까지 올라오는지를 보면 에이전트 분야의 진전을 한눈에 읽을 수 있습니다. 개별 벤치마크의 점수 인플레이션에 가려진 진짜 진전을 가려내는 장치가 되는 셈입니다. 어려운 시험지의 미덕은 지금의 점수가 낮다는 데 있지 않습니다. 앞으로의 점수 상승이 뜻을 갖게 된다는 데 있습니다.

공개된 것들이 여는 가능성

논문은 어댑터와 평가 결과와 심층 분석, 그리고 Harbor-Index를 공개 산출물로 내놓았다고 밝힙니다. 공개의 목록을 하나씩 짚어보겠습니다. 어댑터의 공개는 다른 팀이 같은 틀에서 평가를 돌릴 수 있다는 뜻입니다. 환경을 처음부터 다시 깔 필요가 없습니다. 포팅 과정에서 밟은 지뢰를 다시 밟을 필요가 없습니다. 새로운 에이전트를 만들면 접안 설비에 연결하기만 하면 80여 개의 벤치마크가 평가의 항구가 됩니다. 진입 장벽이 낮아지면 비교의 수가 늘어납니다. 비교의 수가 늘어나면 분야의 지도가 정밀해집니다.

평가 결과의 공개도 못지않게 중요합니다. 8개 모델과 54개 벤치마크의 점수표는 그 자체로 데이터입니다. 다른 연구자가 자신의 모델을 같은 틀에서 돌린 뒤 이 점수표와 나란히 놓을 수 있습니다. 새로 잴 필요 없이 과거의 점수를 기준으로 삼을 수 있습니다. 심층 분석의 공개는 해석의 출발점을 나눠주는 일입니다. 어떤 영역에서 층위가 갈리는지, 어떤 하네스 효과가 크게 나타나는지 같은 관찰을 공유하면 후속 연구가 같은 탐색을 반복하지 않아도 됩니다. 해석의 중복을 줄이고 다음 질문으로 빨리 넘어갈 수 있습니다.

Harbor-Index의 공개는 가벼운 잣대를 나누는 일입니다. 82개의 과제면 계산 부담이 크지 않습니다. 새로운 모델이 나올 때마다 빠르게 돌려볼 수 있습니다. 논문의 주장이 재현 가능한 형태로 손에 잡힌다는 뜻이기도 합니다. 30퍼센트의 벽이라는 말이 숫자의 선언이 아니라 돌려볼 수 있는 시험지가 됩니다. 누군가 이의를 제기하면 같은 시험지를 돌려보면 됩니다. 논쟁이 말의 영역에서 실험의 영역으로 옮겨옵니다. 공개가 논쟁의 품질을 올리는 셈입니다.

공개가 항상 장밋빛인 것은 아닙니다. 시험지가 공개되면 시험지에 대한 과적합이 뒤따를 수 있습니다. 82개의 과제를 외우다시피 학습하면 점수는 오르지만 능력은 그대로일 수 있습니다. 이는 어려운 잣대가 공개될 때 항상 따라오는 그림자입니다. 그럼에도 공개의 이익이 크다고 봅니다. 과적합의 위험은 시험지를 주기적으로 갱신하는 운영으로 다스릴 수 있습니다. 비공개 잣대는 과적합을 막을지 몰라도 분야의 속도를 늦춥니다. 누구나 같은 자로 잴 수 있을 때 분야는 빨리 움직입니다. 이 논문이 공개를 택한 것은 속도를 택한 것으로 읽힙니다.

무엇이 남았고 다음에 무엇을 물을 것인가

이 연구의 경계도 분명히 해두겠습니다. 포팅된 벤치마크들의 분포가 평가의 시야라는 점은 앞에서 말했습니다. 시야 밖의 능력은 잴 수 없습니다. 또한 동등성 실험이 충실도를 뒷받침한다고 해도 원본과 완전히 같은 것을 잰다는 보장은 없습니다. 환경의 미세한 차이가 특정한 종류의 에이전트에게 유리하게 작용할 수 있습니다. 대규모 비교의 설계가 이중 조건으로 하네스 효과를 분리하려 했지만, Terminus-2라는 공통 하네스 자체의 편향이 완전히 사라지는 것은 아닙니다. 모든 잣대에는 잣대의 모양이 남습니다.

앞으로 보고 싶은 것도 분명합니다. 첫째는 선별품의 갱신 주기입니다. 82개의 과제가 지금은 어렵지만 모델들이 올라오면 언젠가는 쉬워집니다. 잣대의 수명을 늘리려면 정기적인 재선별이 필요합니다. 난이도 선별과 감사와 수정 고리를 주기적으로 돌려 새로운 82개를 추리는 운영이 뒤따라야 합니다. 둘째는 분포의 확장입니다. 기존 벤치마크에 없는 새로운 상호작용 형태가 등장하면 포팅의 대상도 넓어져야 합니다. 80여 개의 수가 고정된 성벽이 아니라 자라나는 항만으로 남아야 합니다. 셋째는 하네스 효과의 심층 분석입니다. 어떤 종류의 하네스 도움이 어떤 종류의 과제에서 크게 나타나는지를 알면 에이전트 설계의 지침이 됩니다. 모델을 키우는 일과 하네스를 다듬는 일의 분업이 분명해지는 셈입니다.

마지막으로 남는 문장은 짧습니다. 에이전트를 재려면 항구가 필요하고, 항구가 있으면 지도가 그려지고, 지도가 있으면 갈 길이 보입니다. 이 논문은 항구의 접안 설비와 군도의 축소 지도를 함께 내놓았습니다. 강한 조합도 30퍼센트에 닿지 못한다는 측량점을 찍고, 그 측량점을 누구나 쓸 수 있도록 열어두었습니다. 평가가 분절된 섬들의 이야기로 남을지, 하나의 항구에서 오가는 이야기로 바뀔지는 이제 쓰는 사람들의 몫입니다. 같은 자로 재고 같은 시험지로 겨루는 일이 쌓이면, 에이전트 분야의 진전은 느낌이 아니라 숫자로 읽히게 될 것입니다.