Iris: 검색 프론티어를 오르는 법

노시욱 (Patrick Rho) · AI 연구 해설

arXiv에 공개된 Iris: Climbing to the Search Frontier(arXiv:2609.04304)를 읽었습니다. 이 연구가 내세우는 주장은 검색 에이전트를 데이터 파이프라인부터 훈련 레시피까지 함께 설계하고 SFT와 강화학습을 번갈아 오르면 단일 에이전트만으로 검색 벤치마크의 최전선에 도달할 수 있다는 것입니다. 원문 링크는 제목 아래에 붙어 있습니다.

이 글은 그 등반 과정을 천천히 따라가 보려는 기록입니다. 앞부분에서는 문제를 어떻게 거꾸로 만드는지, 단서를 어떻게 가리는지, 배울 만한 문제만 어떻게 고르는지를 봅니다. 뒷부분에서는 궤적을 어떻게 다듬고 실시간 검색에 맞춰 강화학습을 어떻게 돌리는지, 길어진 실행을 어떻게 살리고 두 단계를 어떻게 번갈아 오르는지를 봅니다. 마지막에는 숫자를 읽고 단일 에이전트라는 선택의 의미를 짚은 뒤 공개된 레시피가 남기는 질문을 정리합니다. 숫자는 결과이고 과정은 등반로입니다. 이 글에서는 등반로에 오래 머물겠습니다.

왜 지금 검색 프론티어인가

검색은 언어 모델에게 가장 오래된 시험대 가운데 하나입니다. 모델이 아는 것과 모르는 것을 가르는 선이 검색에서 드러나기 때문입니다. 닫힌 책 상태에서는 그럴듯한 답을 내놓던 모델이 출처를 요구받는 순간 흔들립니다. 반대로 검색을 붙이면 답의 품질이 달라지지만 새로운 문제가 생깁니다. 무엇을 검색할지, 검색 결과를 어떻게 읽을지, 언제 멈추고 답할지를 정해야 합니다. 검색 에이전트라는 말은 이 세 가지 결정을 묶어서 부르는 이름입니다. 쿼리를 던지고 문서를 읽고 다음 행동을 고르는 순환을 스스로 돌리는 시스템이라는 뜻입니다.

그런데 이 순환을 잘 돌게 만드는 일은 생각보다 어렵습니다. 단일 검색으로 답이 나오는 질문은 이미 많이 풀렸습니다. 남은 것은 여러 페이지를 엮어야 답이 나오는 질문입니다. 한 페이지에서 다음 페이지로 넘어가는 고리가 끊기면 에이전트는 헤맵니다. 검색어를 조금만 잘못 잡아도 관련 없는 문서의 늪에 빠집니다. 문서를 길게 읽으면 맥락이 터지고 짧게 읽으면 단서를 놓칩니다. 이런 실패는 모델 크기만 키운다고 사라지지 않습니다. 행동을 가르치는 데이터와 행동을 다듬는 보상이 함께 바뀌어야 합니다.

Iris가 흥미로운 지점은 바로 여기입니다. 더 큰 모델을 내놓았다는 선언보다 등반로를 통째로 공개했다는 사실이 먼저 눈에 들어옵니다. 데이터 파이프라인과 훈련 레시피를 함께 내놓았다는 대목이 그렇습니다. 보통은 결과표가 먼저 나오고 방법은 나중에 단편적으로 알려집니다. 이번에는 순서가 다릅니다. 문제를 만드는 법, 문제를 고르는 법, 궤적을 다듬는 법, 보상을 주는 법이 한 묶음으로 나옵니다. 규모 이야기도 함께 나옵니다. Iris-mini는 35B-A3B 규모이고 Iris-pro는 397B-A17B 규모입니다. 작은 쪽과 큰 쪽이 같은 등반로를 밟았다는 점이 중요합니다. 레시피가 특정 규모에만 붙어 있는 요령이 아니라 규모를 가로지르는 절차라는 뜻이기 때문입니다.

저희가 새로운 검색 연구를 볼 때도 점수표보다 훈련 과정을 먼저 봅니다. 어떤 문제를 먹였는지, 어떤 행동에 보상을 주었는지, 어디서 멈추고 어디를 밀어붙였는지를 봅니다. 점수는 정상 사진입니다. 과정은 등반로 지도입니다. 정상 사진은 멋있지만 다음 등반에 도움이 되지 않습니다. 지도가 있어야 다음 팀이 따라올 수 있습니다. Iris는 지도 그리기에 공을 들인 연구로 읽힙니다. 그래서 이 글에서도 점수 이야기는 뒤로 미루고 앞부분을 데이터와 훈련에 할애하겠습니다.

문제를 거꾸로 만들기: 하이퍼링크에서 출발하는 역구성

Iris의 데이터 파이프라인은 출발점이 독특합니다. 질문을 먼저 쓰고 답을 찾는 순서가 아닙니다. 웹 페이지의 연결 구조에서 출발해서 질문을 거꾸로 짓는 순서입니다. 시드 페이지 하나를 고르고 그 페이지가 가리키는 바깥 링크들을 모읍니다. 그 묶음에서 개체 그래프를 뽑아낸 뒤 여러 개체를 엮는 다중 홉 사슬을 만듭니다. 사슬이 곧 문제의 뼈대가 됩니다. 답을 아는 상태에서 문제를 짓는 셈입니다. 시험 문제를 낼 때 정답과 근거를 먼저 정해두고 질문을 쓰는 방식과 닮았습니다.

이 방식이 좋은 이유는 근거의 연결이 처음부터 보장되기 때문입니다. 보통 질문을 먼저 만들면 근거 찾기가 나중 일로 밀립니다. 질문은 그럴듯한데 근거가 한 페이지에 없거나 여러 페이지에 흩어진 채로 이어지지 않는 경우가 생깁니다. 역구성은 순서를 바꿉니다. 연결된 페이지 묶음이 먼저 있고 그 위에서 질문을 짓습니다. 답에 이르는 고리가 끊어질 걱정이 줄어듭니다. 하이퍼링크라는 구조물이 이미 사람의 손으로 엮어둔 길이기 때문입니다. 위키처럼 서로를 가리키는 문서 묶음은 그 자체로 추론 사슬의 재료 창고입니다.

여기서 한 걸음 더 들어가 보겠습니다. 시드 페이지와 바깥 링크라는 말은 단순해 보이지만 설계할 대목이 많습니다. 어떤 페이지를 시드로 고를지, 바깥 링크를 몇 단계까지 따라갈지, 개체 그래프에 무엇을 남기고 무엇을 버릴지를 정해야 합니다. 시드가 너무 유명하면 문제가 쉬워집니다. 모두가 아는 페이지에서는 에이전트가 외운 답으로 건너뛸 수 있기 때문입니다. 링크를 너무 넓게 펼치면 그래프가 지저분해집니다. 관련 없는 개체가 끼어들고 사슬이 억지가 됩니다. 반대로 너무 좁게 펼치면 문제가 단조로워집니다. 한두 홉짜리 질문만 찍혀 나옵니다. 좋은 역구성은 이 사이의 어딘가에 있습니다. 다양하면서도 이어지는 사슬을 뽑아내는 감각이 필요합니다.

또 하나 생각할 지점은 사슬을 짓는다는 말의 뜻입니다. 개체를 나열하는 것과 사슬을 짓는 것은 다릅니다. 나열은 순서가 없어도 됩니다. 사슬은 순서가 생명입니다. 첫 번째 고리가 두 번째 고리를 가리키고 두 번째 고리가 세 번째 고리를 열어야 합니다. 각 단계마다 에이전트가 검색해야 할 이유가 있어야 합니다. 한 번의 검색으로 전체가 풀리면 사슬이 아닙니다. 각 고리가 다음 검색을 부르는 구조라야 진짜 다중 홉 문제입니다. Iris가 다중 홉 사슬을 앞세운다는 대목은 이런 구조를 의도적으로 찍어내겠다는 선언으로 읽힙니다. 우연히 어려운 문제가 나오기를 기다리지 않고 어렵게 이어지는 문제를 설계해서 찍어내겠다는 뜻입니다.

문자열 매칭을 막기: 모든 비정답 개체의 서술형 재작성

역구성 다음에 오는 장치가 이 연구의 손맛이 느껴지는 대목입니다. 정답이 아닌 모든 개체를 서술형 참조로 다시 쓴다는 규칙입니다. 이름 그대로를 단서로 주지 않고 설명 문구로 바꿔서 준다는 뜻입니다. 예를 들어 인물 이름이나 지명이나 작품 제목을 그대로 적지 않고 그 대상을 가리키는 서술로 바꿉니다. 그러면 어떤 문자열을 그대로 검색창에 복사해서 답에 이를 수 없게 됩니다. 단서를 문자열 매칭으로 풀 수 없게 만드는 장치입니다.

왜 이런 장치가 필요할까요. 검색 에이전트의 평가는 속임수에 취약하기 때문입니다. 문제 문장에 답과 이어지는 고유명사가 그대로 들어 있으면 에이전트는 추론이 아니라 복사에 능해집니다. 문제 문장을 잘게 쪼개서 검색창에 붙여 넣으면 답이 나옵니다. 점수는 오르지만 실력은 그대로입니다. 벤치마크가 측정하려는 것은 이런 복사가 아니라 엮기입니다. 여러 문서를 읽고 의미를 이어서 답에 이르는 능력입니다. 서술형 재작성은 복사의 지름길을 막고 엮기의 오솔길만 남기는 차단막입니다. 돌아가라는 뜻이 아니라 제대로 가라는 뜻입니다.

이 규칙을 실제로 적용하는 일은 말처럼 쉽지 않습니다. 어디까지를 개체로 볼지, 정답 개체와 비정답 개체를 어떻게 가를지, 서술이 얼마나 자세해야 하는지를 정해야 합니다. 서술이 너무 자세하면 사실상 이름을 돌려 말하는 것에 그칩니다. 에이전트가 서술 속 힌트를 그대로 검색하면 다시 복사가 됩니다. 서술이 너무 흐리면 문제 자체가 풀리지 않습니다. 사람이 읽어도 누구를 가리키는지 알 수 없는 문장이 됩니다. 좋은 서술형 참조는 가운데 어딘가에 있습니다. 읽으면 뜻이 통하고 검색창에 그대로 붙여도 답이 바로 나오지 않는 서술입니다. 뜻은 통하게 하고 문자열은 통하지 않게 하는 줄타기입니다.

저는 이 대목을 읽으면서 평가 설계의 오래된 고민을 떠올렸습니다. 문제를 어렵게 만드는 방법에는 두 가지가 있습니다. 하나는 지식을 더 요구하는 것이고 다른 하나는 행동을 더 요구하는 것입니다. 전자는 외운 것이 많은 쪽이 유리합니다. 후자는 찾아서 엮는 쪽이 유리합니다. 검색 에이전트가 겨뤄야 할 쪽은 후자입니다. 서술형 재작성은 전자 쪽의 지름길을 막고 후자 쪽의 길만 남기는 선택입니다. 암기 싸움을 탐색 싸움으로 바꾸는 규칙 변경입니다. 이런 규칙 하나가 데이터 전체의 성격을 바꿉니다. 같은 페이지 묶음에서 뽑아낸 문제라도 재작성 규칙이 있으면 에이전트가 배워야 할 행동이 달라집니다. 무엇을 외울지가 아니라 어떻게 찾을지를 배우게 됩니다.

닫힌 책과 열린 증거 사이: 배울 만한 문제만 남기기

문제를 만들었으면 다음은 고르는 일입니다. Iris는 여기서 분명한 기준을 내세웁니다. 참조 모델이 닫힌 책 상태에서는 풀지 못하지만 뒷받침 증거를 주면 풀 수 있는 질문만 훈련에 들인다는 규칙입니다. 두 조건이 함께 걸립니다. 외워서 풀 수 있는 문제는 버립니다. 증거를 줘도 못 푸는 문제도 버립니다. 증거가 있으면 풀리는데 외우기만 해서는 안 풀리는 문제만 남깁니다. 배움의 자리가 정확히 그 사이에 있다는 판단입니다.

이 기준이 예리한 이유는 양쪽 실패를 함께 막기 때문입니다. 첫 번째 실패는 너무 쉬운 문제를 먹이는 일입니다. 모델이 이미 아는 문제를 반복하면 행동이 늘지 않습니다. 검색할 이유가 없는데 검색하는 척만 배웁니다. 시간과 연산이 헛돕니다. 두 번째 실패는 너무 어려운 문제를 먹이는 일입니다. 증거를 줘도 못 푸는 문제는 지금 단계의 모델에게 벽입니다. 벽에 머리를 박는 반복은 궤적만 길어지게 하고 보상은 주지 않습니다. 배울 만한 문제는 이 사이의 좁은 띠에 있습니다. 혼자서는 못 풀지만 자료가 있으면 풀리는 문제, 검색과 읽기라는 행동이 차이를 만드는 문제입니다.

여기서 참조 모델이라는 말의 역할이 궁금해집니다. 누가 기준이 되느냐에 따라 남는 문제의 성격이 달라지기 때문입니다. 기준이 너무 약하면 쉬운 문제도 어렵다고 찍힙니다. 기준이 너무 강하면 배울 만한 문제까지 어렵지 않다고 버려집니다. 좋은 기준 모델은 훈련 대상과 적절한 거리에 있어야 합니다. 조금 앞서거나 나란히 걷는 정도가 적당합니다. 너무 멀리 앞서면 잣대가 가혹해지고 너무 뒤처지면 잣대가 헐거워집니다. Iris가 참조 모델을 둔다는 대목은 문제 선별을 감각이 아니라 절차로 다루겠다는 뜻으로 읽힙니다. 사람이 일일이 읽고 고르는 대신 모델의 성패 패턴으로 거르는 자동 체를 두겠다는 선언입니다.

또 하나 곱씹을 대목은 증거를 준다는 말의 뜻입니다. 뒷받침 증거를 함께 주면 풀린다는 것은 문제의 답이 근거 안에 있다는 뜻입니다. 답이 근거 밖에 있으면 증거를 줘도 못 풉니다. 이 조건은 문제의 정합성을 검사하는 셀이기도 합니다. 역구성으로 만든 사슬이 실제로 이어지는지, 서술형 재작성이 문제를 망가뜨리지 않았는지를 확인하는 시험입니다. 증거를 줬는데도 못 풀면 사슬 어딘가가 끊어졌거나 서술이 너무 흐려졌을 가능성이 큽니다. 그래서 이 선별 단계는 단순한 난이도 조절이 아니라 파이프라인 전체의 품질 검사이기도 합니다. 앞에서 만든 것을 뒤에서 검증하는 닫힌 고리가 여기서 한 번 돕니다.

궤적과 턴을 함께 다듬기: 지도학습 전의 두 겹 필터

선별된 문제로 에이전트를 돌리면 궤적이 쌓입니다. 검색하고 읽고 다시 검색하고 답하는 일련의 기록입니다. Iris는 이 궤적을 지도학습에 넣기 전에 두 겹으로 거른다고 합니다. 궤적 단위 필터와 턴 단위 필터입니다. 전체 기록이 쓸 만한지 먼저 보고 그 안에서 각 행동 한 걸음 한 걸음이 쓸 만한지 다시 봅니다. 전체가 좋아도 중간에 나쁜 걸음이 끼어 있으면 그 자리를 손봅니다. 전체가 나쁘면 통째로 버립니다.

왜 두 겹이어야 할까요. 에이전트의 기록은 길고 울퉁불퉁하기 때문입니다. 답은 맞았는데 과정이 엉망인 경우가 있습니다. 우연히 좋은 검색어가 걸렸거나 막판에 운 좋게 답을 건진 경우입니다. 이런 궤적을 통째로 가르치면 나쁜 습관까지 함께 배웁니다. 반대로 답은 틀렸는데 중간 검색은 훌륭한 경우도 있습니다. 좋은 탐색이 막판 판단에서 미끄러진 경우입니다. 이런 궤적을 통째로 버리면 좋은 행동까지 함께 버립니다. 두 겹 필터는 이 둘을 가르는 손길입니다. 궤적 단위에서는 방향을 보고 턴 단위에서는 걸음을 봅니다. 방향이 맞는 기록 안에서 좋은 걸음만 골라 가르치겠다는 뜻입니다.

여기서 잠시 현장의 감각을 떠올려 보겠습니다. 에이전트 궤적을 직접 들여다본 분들은 아실 겁니다. 기록이 얼마나 지저분한지, 같은 답에 이르는 길도 얼마나 가지각색인지 말입니다. 어떤 궤적은 검색어를 세 번 고쳐 쓰고 답에 이릅니다. 어떤 궤적은 첫 검색에 답 근처까지 갔다가 쓸데없는 확인을 열 번 반복합니다. 겉으로 보면 둘 다 정답입니다. 가르칠 가치는 다릅니다. 전자는 고치는 법을 보여주고 후자는 헤매는 법을 보여줍니다. 턴 단위 필터는 이런 차이를 가르는 돋보기입니다. 어느 검색이 전진을 만들었고 어느 읽기가 시간을 썼는지를 가려냅니다. 돋보기가 좋으면 지도학습의 밀도가 올라갑니다. 같은 문제 수로 더 많은 행동 요령을 가르칠 수 있습니다.

이 단계의 또 다른 의미는 다음 단계인 강화학습의 출발선을 고르게 다지는 일입니다. 지도학습은 에이전트에게 기본 걸음걸이를 가르칩니다. 걸음걸이가 엉망이면 강화학습이 헤맵니다. 보상을 쫓아 이상한 춤을 추기 시작합니다. 반대로 걸음걸이가 단단하면 강화학습은 방향을 트는 데 집중할 수 있습니다. 두 겹 필터는 출발선의 돌을 고르는 작업입니다. 울퉁불퉁한 돌을 빼내고 밟을 만한 돌만 남깁니다. 등반로에 비유하면 베이스캠프를 정비하는 일입니다. 정상 공략보다 덜 멋있지만 등반의 성패는 여기서 갈리는 경우가 많습니다.

실시간 검색에 맞선 강화학습: 클러스터 안의 심판과 요약기

지도학습으로 걸음걸이를 다잡았으면 다음은 실전입니다. Iris의 정책은 실시간 검색에 맞서 강화학습으로 최적화됩니다. 미리 따둔 문서 묶음 안에서 도는 강화학습이 아니라 살아 있는 검색에 쿼리를 던지며 배우는 방식입니다. 보상 판정기와 관찰 요약기는 훈련 클러스터 안에서 함께 제공됩니다. 바깥 서비스에 매번 묻지 않고 클러스터 안에서 판단과 요약을 돌리는 구조입니다.

이 설계가 중요한 이유는 속도와 일관성 때문입니다. 실시간 검색은 느리고 들쭉날쭉합니다. 바깥 검색 지연이 길어지면 학습 걸음이 기다림에 묶입니다. 보상 판정이 바깥에 있으면 판정 기준이 흔들리거나 호출이 막힐 때마다 학습이 섭니다. 클러스터 안에 심판과 요약기를 들여놓으면 순환이 빨라지고 안정됩니다. 에이전트가 검색하고 읽으면 요약기가 관찰을 다듬고 심판이 보상을 매깁니다. 이 고리가 클러스터 안에서 빨리 돕니다. 바퀴가 빨리 돌면 같은 시간에 더 많은 시행착오를 겪습니다. 시행착오가 학습의 연료이므로 바퀴 속도는 곧 학습 속도입니다.

여기서 보상 판정기라는 말 앞에 잠시 멈추겠습니다. 검색 에이전트에게 무엇을 보상으로 줄지는 설계의 핵심입니다. 답이 맞았는지만 보면 과정이 망가질 수 있습니다. 빨리 맞히는 것에만 보상을 주면 읽기를 건너뜁니다. 많이 읽는 것에 보상을 주면 헤매는 것에 보상을 주는 셈이 됩니다. 좋은 보상기는 답과 과정을 함께 봅니다. 답이 맞았는지, 근거가 이어지는지, 불필요한 걸음이 없었는지를 함께 잰다고 상상할 수 있습니다. 연구가 보상 판정기를 훈련 클러스터 안에 두었다는 대목은 보상을 바깥의 변덕에 맡기지 않고 안쪽의 기준으로 붙잡아 두겠다는 뜻으로 읽힙니다. 잣대를 손에 쥐고 흔들리지 않게 들고 있겠다는 선언입니다.

관찰 요약기도 곱씹어 볼 만합니다. 검색 결과는 길고 지저분합니다. 그대로 정책에 먹이면 맥락이 터지고 학습이 느려집니다. 요약기는 관찰을 다듬어서 정책에게 건넵니다. 무엇을 남기고 무엇을 버릴지가 요약기의 실력입니다. 너무 많이 버리면 단서가 사라지고 너무 적게 버리면 소음이 남습니다. 요약기를 클러스터 안에 두었다는 것은 이 다듬기를 학습 순환의 일부로 끌어들였다는 뜻입니다. 읽기의 품질을 바깥의 우연에 맡기지 않고 안쪽의 절차로 관리하겠다는 선택입니다. 검색과 읽기라는 두 다리 가운데 읽기 쪽 다리를 튼튼히 하는 공사입니다.

길어진 실행을 살리기: 요청 단위 중단과 앞부분 이어달리기

강화학습을 실시간 검색에 걸면 실행이 길어지는 일이 잦아집니다. 검색이 꼬리를 물고 이어지고 읽기가 길어지면서 궤적이 늘어집니다. Iris는 여기서 과하게 긴 롤아웃을 요청 단위로 중단하고 확정된 앞부분부터 다시 이어간다고 합니다. 통째로 버리지 않고 살릴 만한 앞부분은 살려서 이어가는 방식입니다. 등반으로 치면 무리한 단독 공략을 중간 캠프에서 멈추고 확보한 로프는 그대로 둔 채 다음 시도를 잇는 모습입니다.

이 장치가 실용적인 이유는 버려지는 연산을 줄여주기 때문입니다. 긴 롤아웃을 통째로 버리면 앞부분의 좋은 탐색까지 함께 버립니다. 처음 몇 걸음은 멀쩡했는데 뒷부분에서 헤맨 경우가 많기 때문입니다. 앞부분을 확정 짓고 거기부터 이어가면 좋은 탐색은 살리고 나쁜 뒷부분만 잘라낼 수 있습니다. 연산의 낭비가 줄어듭니다. 학습 신호의 밀도도 올라갑니다. 실패 기록의 산더미에서 건질 만한 앞부분을 건져 올리는 인양 작업입니다.

조금 더 들어가면 확정된 앞부분이라는 말의 뜻이 궁금해집니다. 어디까지를 확정으로 볼지가 설계입니다. 너무 짧게 잡으면 매번 처음부터 다시 시작하는 셈이 됩니다. 너무 길게 잡으면 나쁜 걸음까지 확정으로 굳혀버립니다. 좋은 절단점은 앞부분의 행동이 믿을 만한지를 가르는 잣대에 달렸습니다. 검색이 전진을 만들었는지, 읽기가 단서를 남겼는지를 보고 자릅니다. 자르는 칼이 무디면 살릴 것을 버리고 버릴 것을 살립니다. 칼이 예리하면 학습의 효율이 올라갑니다. 이 대목은 얼핏 사소해 보이지만 대규모 강화학습에서는 이런 사소한 효율이 모여 성패를 가릅니다. 클러스터가 크고 실행이 길수록 중단과 재개의 설계가 전체 속도를 좌우합니다.

또 하나 생각할 지점은 요청 단위라는 말입니다. 한 번의 에이전트 실행을 통째로 보지 않고 요청 단위로 쪼개서 관리한다는 뜻으로 읽힙니다. 통째로 보면 길어진 실행은 실패 한 건입니다. 쪼개서 보면 살릴 앞부분과 버릴 뒷부분으로 나뉩니다. 보는 단위를 바꾸면 버려질 것이 자원이 됩니다. 현장에서 자원을 아끼는 감각과 맞닿아 있습니다. 연산이 비쌀수록 버리는 법보다 살리는 법이 중요해집니다. 이 장치는 그런 감각을 절차로 옮긴 모습입니다.

SFT와 강화학습을 번갈아 오르기: 가장 어렵게 풀린 것과 가장 효율적으로 풀린 것

이제 등반로의 핵심 고개인 SFT-RL 클라이밍에 도착합니다. 지도학습과 강화학습을 번갈아 가며 오르는 절차입니다. 한 단계로 끝내지 않고 두 단계를 엇갈려 밟으며 올라갑니다. 이때 쓰는 재료가 특정됩니다. 가장 어렵게 풀린 궤적과 가장 효율적으로 풀린 궤적입니다. 어렵게 풀린 것은 배울 게 많은 기록이고 효율적으로 풀린 것은 따라 할 본보기입니다.

왜 번갈아 오를까요. 한 단계만 밀어붙이면 막히는 지점이 생기기 때문입니다. 지도학습만 반복하면 모범 답안 따라 하기에 머뭅니다. 본 적 없는 상황에서는 헤맵니다. 강화학습만 반복하면 보상의 눈앞 이익에 갇힙니다. 당장 점수가 오르는 얕은 꾀를 배웁니다. 둘을 번갈아 밟으면 서로의 약을 보완합니다. 지도학습이 기본기를 다지면 강화학습이 그 위에서 탐색합니다. 강화학습이 새로운 길을 찾으면 지도학습이 그 길을 기본기에 새깁니다. 오르막과 평지를 번갈아 걷는 산행과 같습니다. 오르막에서 고도를 올리고 평지에서 호흡을 고릅니다.

여기서 재료 선택이 눈길을 끕니다. 가장 어렵게 풀린 기록을 쓴다는 것은 쉬운 성공을 반복하지 않겠다는 뜻입니다. 어렵게 풀었다는 것은 에이전트가 헤매다가 간신히 답에 이르렀다는 뜻입니다. 그 기록 안에는 헤맴과 탈출이 함께 들어 있습니다. 어디서 막혔고 어떻게 빠져나왔는지가 담겼습니다. 이런 기록을 가르치면 탈출법이 전수됩니다. 반대로 가장 효율적으로 풀린 기록은 쓸데없는 걸음이 없는 길입니다. 어디를 건너뛰고 어디에 집중했는지가 담겼습니다. 이런 기록을 가르치면 지름길이 전수됩니다. 탈출법과 지름길을 함께 가르치는 셈입니다. 고생담과 모범 답안을 함께 교재로 쓰는 셈입니다.

이 절차를 길게 보면 등반 고도가 스스로 올라가는 구조입니다. 어려운 성공이 다음 단계의 교재가 되고 그 교재로 다져진 정책이 더 어려운 성공을 찾습니다. 교재의 수준과 정책의 수준이 함께 올라갑니다. 고정된 교재로 고정된 시험을 치르는 구조가 아닙니다. 풀어낸 것 가운데 값진 것을 골라 교재로 삼고 그 교재로 다음 고개를 넘는 순환입니다. 클라이밍이라는 이름이 잘 어울립니다. 한 번에 정상에 서는 도약이 아니라 발붙일 곳을 하나씩 만들며 오르는 등반입니다. 이 대목이야말로 제목이 말하는 오르기의 실체로 읽힙니다.

숫자를 읽는 법: 네 벤치마크와 두 규모의 기록

자, 이제 정상 사진을 볼 차례입니다. 보고된 숫자는 이렇습니다. 맥락 관리가 켜진 상태에서 Iris-mini는 BrowseComp, BrowseComp-ZH, DeepSearchQA, HLE 순서로 82점대 초반, 84점대 후반, 86점대 후반, 52점대 초반을 기록했습니다. Iris-pro는 같은 순서로 88점대 후반, 85점대 초반, 92점대 후반, 56점대 중반을 기록했습니다. 작은 규모와 큰 규모가 나란히 놓여 있고 네 개의 시험대가 함께 놓여 있습니다. 숫자를 하나씩 뜯어보기 전에 이 배치부터 읽겠습니다. 하나의 시험대가 아니라 네 개, 하나의 규모가 아니라 두 개를 함께 보여준다는 것은 재현의 폭을 넓히려는 배치입니다.

각 시험대의 성격을 떠올려 보겠습니다. BrowseComp 계열은 여러 페이지를 엮어야 풀리는 탐색형 질문으로 이름난 시험대입니다. 중국어판이 함께 있다는 점이 눈길을 끕니다. 언어를 가로질러 탐색 능력이 통하는지를 묻는 배치이기 때문입니다. DeepSearchQA는 이름 그대로 심층 탐색을 묻는 시험대입니다. 한 번의 검색으로 끝나지 않고 파고들어야 답이 나오는 문제들이 포진합니다. HLE는 어려운 여러 분야 질문을 모은 시험대로 점수 자체가 낮게 나오는 편입니다. 50점대라는 숫자는 낮아 보이지만 이 시험대의 맥락에서는 높은 쪽에 속합니다. 시험대마다 잣대가 다르므로 점수끼리 직접 비교하는 일은 조심해야 합니다.

두 규모의 차이를 읽어보겠습니다. 작은 쪽이 이미 높은 자리에 있고 큰 쪽이 그 위를 덮습니다. 작은 쪽의 기록만 떼어놓고 봐도 단일 에이전트의 성적표로는 눈에 띄는 수준입니다. 큰 쪽은 세 시험대에서 더 위로 올라가고 중국어 시험대에서는 작은 쪽과 엇비슷한 자리를 지킵니다. 저는 이 대목을 규모가 만능이 아니라는 신호로 읽습니다. 규모를 키우면 대체로 오르지만 오르는 폭이 시험대마다 다릅니다. 어떤 시험대에서는 크게 오르고 어떤 시험대에서는 제자리입니다. 규모가 실력을 밀어 올리는 것은 맞지만 길의 모양은 시험대가 정합니다. 등반로마다 고도의 오름이 다른 것과 같습니다.

맥락 관리가 켜졌다는 단서도 놓치지 않겠습니다. 긴 탐색에서는 맥락이 터지기 쉽습니다. 읽은 문서가 쌓이고 검색 기록이 길어지면 정책이 앞부분을 잊습니다. 맥락 관리는 이 망각을 늦추는 장치입니다. 무엇을 남기고 무엇을 접어둘지를 정하는 일입니다. 이 단서가 켜진 상태의 기록이라는 말은 실전 설정을 염두에 둔 측정이라는 뜻으로 읽힙니다. 맨몸이 아니라 장비를 갖춘 상태의 기록입니다. 장비가 실력의 일부라는 점을 감안하고 읽어야 합니다. 반대로 말하면 장비 없이 맨몸으로 섰을 때의 기록이 궁금해지는 대목이기도 합니다. 다음에 공개될 분석에서 장비의 기여가 따로 잴 수 있기를 바랍니다.

단일 ReAct라는 선택: 곁가지 없이 오르는 길

모든 결과는 단일 ReAct 에이전트에서 나왔다고 합니다. 하위 에이전트도 없고 시험 시점의 검증 절차도 없습니다. 이 문장은 짧지만 무게가 있습니다. 요즘 검색 시스템의 유행은 나누기입니다. 큰 일을 잘게 쪼개서 여러 하위 에이전트에 맡기고 마지막에 모읍니다. 답이 나오면 검증기를 한 번 더 돌립니다. 나누면 점수는 오르기 쉽습니다. 대신 구조가 복잡해지고 어디서 좋아졌는지 알기 어려워집니다. Iris는 그 유행과 반대로 갑니다. 하나의 에이전트가 검색과 읽기와 답하기를 스스로 잇는 길을 고릅니다.

이 선택이 좋은 첫 번째 이유는 귀인이 분명해지기 때문입니다. 점수가 오르면 그 공이 정책과 훈련에 돌아갑니다. 구조의 힘이 아니라 배움의 힘이라는 뜻입니다. 점수가 안 오르면 고칠 곳도 분명합니다. 하위 에이전트의 역할 분담을 탓하기 전에 정책의 행동을 뜯어봅니다. 연구의 질문이 또렷해집니다. 복잡한 기계로 점수를 올리는 일이 아니라 단순한 기계로 배움을 증명하는 일이 됩니다. 등반에 비유하면 산소와 고정 로프를 줄이고 자기 다리로 오르는 선택입니다. 기록의 값어치가 달라집니다.

두 번째 이유는 재현과 이식입니다. 단일 에이전트는 옮기기 쉽습니다. 하위 에이전트가 여럿이면 실행 환경이 복잡해지고 호출 비용이 늘어납니다. 검증 절차가 시험 시점에 붙으면 측정 조건이 늘어나고 비교가 어려워집니다. 단일 구조는 이런 짐이 없습니다. 같은 정책을 가져다 같은 방식으로 돌리면 됩니다. 공개된 레시피와 만나면 효과가 커집니다. 레시피가 단순한 기계에 대한 것이므로 따라 하기가 쉽습니다. 연구실의 장비를 그대로 가져오지 않아도 생각의 뼈대를 빌릴 수 있습니다. 단순함은 나눔의 벗입니다.

물론 이 선택에도 값을 치르는 자리가 있습니다. 단일 에이전트는 긴 탐색에서 길을 잃기 쉽습니다. 나눠서 맡기면 각 조각이 짧아지지만 혼자 다 하면 기록이 길어집니다. 맥락 관리가 그래서 함께 언급되는지도 모릅니다. 혼자 오르는 길에는 짐 꾸리기가 중요합니다. 무엇을 들고 무엇을 버릴지가 성패를 가릅니다. 시험 시점 검증이 없다는 것도 양날입니다. 측정 조건은 깨끗해지지만 실전에서는 검증 한 번이 답의 신뢰를 올리는 경우가 많습니다. 연구의 선택을 실전의 정답으로 바로 옮기기 전에 이 간극을 따져봐야 합니다. 단순한 기계로 증명한 배움이 복잡한 현장에서 어떻게 버티는지가 다음 질문입니다.

공개된 레시피 이후에 남는 것들

Iris가 데이터 파이프라인과 훈련 레시피를 함께 내놓았다는 사실은 점수만큼이나 오래 남을 대목입니다. 공개는 선언이 아니라 초대입니다. 다른 팀이 같은 등반로를 밟아보고 어디가 튼튼하고 어디가 흔들리는지를 밝혀내는 과정이 시작됩니다. 역구성의 시드 선정이 얼마나 민감한지, 서술형 재작성의 농도가 결과에 얼마나 영향을 주는지, 두 겹 필터의 잣대가 어떻게 달라지는지가 하나씩 드러날 것입니다. 공개된 것부터가 연구의 끝이 아니라 대화의 시작입니다.

저희가 이런 공개물을 볼 때 함께 보는 질문들을 적어봅니다. 첫째, 비용 구조입니다. 실시간 검색에 맞선 강화학습은 순환이 빠르면 빠를수록 좋지만 순환을 빨리 돌리려면 클러스터 안의 심판과 요약기가 튼튼해야 합니다. 이 장치를 갖추는 데 드는 비용이 얼마나 되는지, 작은 팀도 같은 순환을 돌릴 수 있는지가 궁금합니다. 둘째, 언어와 분야의 넓이입니다. 중국어 시험대 기록이 함께 나왔다는 점은 반갑지만 웹 전체로 넓혔을 때 같은 절차가 통하는지는 따로 봐야 합니다. 분야가 바뀌면 링크 구조도 달라지고 서술의 농도도 달라집니다. 셋째, 보상의 눈속임입니다. 심판을 안쪽에 두면 안정적이지만 심판의 눈이 곧 정책의 하늘이 됩니다. 심판이 놓치는 허점을 정책이 파고들 가능성을 어떻게 관리했는지가 궁금합니다.

현장에 가져갈 대목을 골라보겠습니다. 당장 빌릴 수 있는 것은 문제를 고르는 눈입니다. 외워서 풀리는 일과 자료가 있으면 풀리는 일을 가르는 잣대는 팀의 일상에도 쓸 수 있습니다. 평가 문제를 만들 때 닫힌 책과 열린 자료의 성패를 함께 재보는 습관은 데이터의 질을 올립니다. 복사의 지름길을 막는 서술의 감각도 빌릴 수 있습니다. 문제 문장에 고유명사를 그대로 박아 넣기 전에 돌려 말해도 풀리는지를 물어보는 습관입니다. 긴 실행을 살리는 감각도 쓸 만합니다. 실패 기록을 통째로 버리기 전에 앞부분에 건질 탐색이 있는지를 보는 습관입니다. 이런 습관은 규모와 상관없이 팀을 단단하게 합니다.

마지막으로 남는 질문을 적으며 글을 닫습니다. 검색의 프론티어는 어디까지 오를 수 있을까. 모델이 커지고 레시피가 좋아지면 점수는 더 오를 것입니다. 그런데 점수가 오른 뒤에 남는 일은 무엇일까. 저는 답의 신뢰를 꼽겠습니다. 답이 맞았는지 너머에 근거가 이어지는지, 이어진 근거를 사람이 따라갈 수 있는지가 남습니다. 빠른 답보다 따라갈 수 있는 답이 오래 남습니다. Iris의 등반이 보여준 것은 오르는 법입니다. 다음 등반이 보여줄 것은 머무는 법인지도 모릅니다. 정상에 선 뒤에 그 자리를 믿을 만한 자리로 만드는 법, 근거의 로프를 튼튼히 매는 법이 다음 이야기로 이어지기를 바랍니다. 저는 그 다음 보고서를 기다리며 이 글의 등반 기록을 마칩니다.