맞힌 답을 살려두는 학습, Exploration-Preserving Policy Optimization이 묻는 것

Exploration-Preserving Policy Optimization은 arXiv에 2610.04011 번호로 공개된 연구이다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리된다. 검증 가능한 보상으로 추론 능력을 가르칠 때 어떤 응답에 학습 신호를 나누어주느냐에 따라 반복해서 뽑았을 때 살아남는 풀이가 달라지므로 프롬프트 기준의 놀람과 정답률로 advantage를 다시 나누어 드문 정답을 살려두겠다는 것이다. 이 글에서는 그 문제의식에서 출발해 그룹 기준 학습이 왜 흔한 풀이를 편애하는지, ExPPO가 무엇을 어떻게 다시 나누는지, 그리고 안팎의 추론 시험에서 무엇이 달라졌는지를 차례로 따라간다.

왜 맞힌 답이 다음에는 사라질까

제가 이 논문에서 가장 흥미롭게 본 부분은 출발점의 질문이었다. 검증 가능한 보상으로 학습하면 추론이 좋아진다는 이야기는 이제 낯설지 않은데, 연구진은 그 다음을 물었기 때문이다. 맞혔다는 도장이 찍힌 뒤에 그 풀이가 계속 살아남느냐는 것이죠. 한 번 맞힌 풀이가 다음 학습 뒤에도 모델 안에 남아 있느냐고 물으면 이야기는 조금 달라진다.

생각해보면 사람도 비슷하게 배웁니다. 시험에서 어떤 문제를 기발한 방법으로 풀었는데 선생님이 표준 풀이만 칭찬하면 다음부터는 표준 풀이만 쓰게 되죠. 기발한 풀이가 틀려서가 아니다. 칭찬의 배분이 한쪽으로 쏠렸기 때문이다. 모델의 강화학습도 이와 다르지 않은데, 보상이 맞았다고 해서 모든 풀이가 같은 대접을 받는 것은 아니기 때문이다. 어떻게 나누느냐가 남는 것을 결정한다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 보상이 정확하면 학습도 정확해질 것이라는 기대가 자연스럽기 때문이다. 검증 가능한 보상이라는 말 자체가 든든하게 들리죠. 답이 맞으면 1점, 틀리면 0점이라는 규칙은 깔끔하고 속일 여지도 적어 보인다. 그런데 연구진이 가리키는 곳은 보상의 정확도가 아니라 배분의 구조다. 같은 1점을 받은 응답들 사이에서도 누가 얼마나 가져가느냐가 다르다는 것이죠. 그렇다면 무엇이 그 배분을 가를까. 이 질문이 다음 장면으로 이어진다.

저는 그래서 이 논문을 점수 올리기 이야기로 읽지 않았다. 어떻게 가르치면 배운 것이 오래 남느냐는 이야기로 읽었죠. 한 번 맞히는 것과 여러 번 뽑았을 때도 맞히는 것은 다른 능력인데, 실제 쓰는 장면에서는 후자가 더 중요하기 때문이다. 여러 번 뽑아서 그중 좋은 것을 고르는 방식이 흔해진 지금, 사라지지 않고 남아 있는 풀이가 곧 성능이 된다. 운영 측면에서 보면 이 차이는 상당히 큽니다. 한 번의 정답이 아니라 반복된 시도에서 건져 올리는 정답이 비용을 가르기 때문입니다.

같은 점수를 받은 답이 왜 같은 대접을 받으면 안 될까

그룹 기준 목표가 하는 일을 먼저 풀어볼 필요가 있다. 하나의 프롬프트에 여러 응답을 뽑고 그 안에서 상대적으로 잘한 응답을 골라 가르치는 방식인데, 같은 보상을 받은 응답에게는 같은 advantage를 준다. 맞은 답끼리는 똑같이 칭찬한다는 뜻이죠. 언뜻 들으면 공정해 보인다. 차별 없이 같은 점수를 주니까요.

그런데 이 공정이 모이면 불공정이 된다. 이유를 따라가 보면 단순한데, 자주 뽑힌 풀이는 같은 점수를 여러 번 받기 때문이다. 가령 어떤 문제에 풀이 A가 열 번 중 여덟 번 나오고 풀이 B가 두 번 나온다고 해보자. 둘 다 정답이라서 같은 advantage를 받으면 A가 속한 무리는 여덟 장의 칭찬을 가져가고 B가 속한 무리는 두 장만 가져간다. 낱장으로는 같은데 묶음으로 보면 기울기가 한쪽으로 쏠리는 것이죠. 그래서 전체 학습 신호는 뽑힌 빈도에 비례해서 쌓인다.

이 이야기는 숫자를 겉으로만 보면 놓치기 쉽습니다. 평균 보상이 올랐으니 학습이 잘됐다고 읽히기 때문이다. 그런데 평균은 어떤 풀이가 살아남았는지를 말해주지 않죠. 흔한 풀이만으로 평균을 채워도 숫자는 오른다. 드문 풀이가 조용히 사라져도 숫자는 그대로 오르는데, 이 사라짐은 당장의 점수표에 잡히지 않기 때문이다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 무엇이 지워졌는지를 보지 않으면 다음 단계의 성능을 오해하게 되니까요.

그렇다면 이 흐름은 어디에서 끊을 수 있을까. 답을 다르게 주는 것이 아니라 나누는 방식을 바꾸는 쪽에 있다. 같은 점수라도 같은 몫이 아니게 만드는 것이죠. 말로 하면 간단한데 실제로는 까다롭다. 검증자의 판정을 뒤집지 않으면서도 드문 쪽에 숨을 불어넣어야 하기 때문이다. 틀린 답을 띄워주자는 이야기가 아니라 맞은 답 안에서 배분을 고치자는 이야기인데, 이 구별이 바로 다음 발상의 자리다.

자주 뽑힌 풀이가 신호를 독식하는 장면

앞의 이야기를 조금 더 구체적인 장면으로 옮겨보자. 월요일 아침에 한 팀이 같은 문제를 여러 가지 방식으로 풀었다고 해보자. 다수파는 익숙한 공식으로 풀었고 소수파는 돌아가는 길로 풀었는데 둘 다 답은 맞았다. 그런데 돌아가는 길은 다음에도 쓸모가 있을지 모른다. 다음 문제에서는 익숙한 공식이 막힐 수 있기 때문이다. 그럼에도 평가가 다수파의 횟수만큼만 쌓이면 소수파의 풀이는 다음 회의에서 언급조차 되지 않는다. 틀려서 버려진 것이 아니라 세가 작아서 잊힌 것이죠.

모델에서도 같은 일이 벌어진다. 그룹 안에서 같은 보상을 받은 응답들은 같은 크기의 업데이트를 받는데, 자주 등장한 방식은 그 업데이트를 여러 개로 받는다. 그래서 다음번에 샘플을 뽑으면 그 방식이 더 자주 나온다. 더 자주 나오니 또 더 많은 신호를 가져간다. 이렇게 한 바퀴 돌 때마다 흔한 쪽은 더 흔해지고 드문 쪽은 더 드물어지는데, 연구진이 말하는 지점이 바로 이 되먹임이다. 학습이 진행될수록 분포가 뾰족해지고, 뾰족해진 분포가 다음 학습을 다시 뾰족하게 만드는 것이죠.

여기서 재미있는 질문이 생깁니다. 뾰족해지는 것이 늘 나쁜 것일까. 어떤 과제에서는 오히려 좋을 수 있다. 답이 하나뿐이고 그 답으로 가는 길이 정해져 있다면 흔들림 없이 그 길을 가는 편이 낫기 때문이다. 그런데 추론 과제는 대개 그렇지 않은데, 같은 답이라도 길이 여러 개이고 어떤 길은 다음 문제로 이어지며 어떤 길은 막다른 곳에서 끝나기 때문이다. 길을 일찍 닫아버리면 나중에 그 길이 필요할 때 다시 열기 어렵다. 저는 그래서 이 문제를 효율의 문제가 아니라 보존의 문제로 읽었다. 무엇이 옳으냐가 아니라 무엇을 남겨두느냐의 문제이기 때문이다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 분포가 뾰족해지면 한 번 뽑는 비용은 싸진다. 답이 빨리 나오니까요. 하지만 여러 번 뽑아서 고르는 비용은 오히려 비싸질 수 있는데, 매번 같은 답만 나오면 뽑는 횟수를 늘려도 소용이 없기 때문이다. 그렇다면 싼 쪽과 비싼 쪽 중 어디를 택할까. 답은 쓰는 방식에 달려 있다. 여러 번 뽑아서 쓰는 쪽이라면 남겨두는 편이 이긴다.

드물지만 맞는 길을 살려두겠다는 발상

이제 ExPPO라는 이름이 등장한다. Exploration-Preserving Policy Optimization의 줄임말인데, 이름 그대로 탐색을 보존하는 정책 최적화라는 뜻이다. 가벼운 advantage 조정 규칙이라고 연구진이 설명하는데, 기존 학습을 뒤엎는 큰 수술이 아니라 신호를 나누는 손길을 바꾸는 정도라는 것이죠. 저는 이 낮춤이 마음에 들었다. 구조를 새로 짓겠다가 아니라 배분을 고치겠다는 선언이기 때문이다.

발상을 한 줄로 풀면 이렇게 된다. 같은 프롬프트 안에서 놀랍고 드문 응답일수록, 그리고 그 프롬프트가 적당히 어려운 경우일수록, 맞힌 쪽에 더 많은 몫을 준다는 것이다. 반대로 누구나 쉽게 맞히는 문제에서는 굳이 드문 쪽을 띄울 필요가 적다. 이미 모두가 답을 아니까 보존할 것이 없기 때문이다. 어려운데도 누군가 다른 길로 맞혔다면 그 길은 귀하다. 다음에 또 필요할지 모르니까 남겨두는 것이죠. 생각해보면 좋은 선생님의 태도와 비슷합니다. 일종의 오답 노트처럼요. 틀린 것을 고치는 데만 쓰지 않고 드문 정답을 따로 표시해두는 셈이다.

그런데 여기서 오해할 만한 지점이 있다. 드문 것을 띄운다는 말이 틀린 답까지 띄운다는 뜻으로 들릴 수 있기 때문이다. 연구진의 답은 분명한데 그렇지 않다는 것이다. 검증자가 맞다고 한 쪽과 틀리다고 한 쪽의 부호는 그대로 둔다. 맞은 것은 맞은 쪽으로, 틀린 것은 틀린 쪽으로 밀되, 그 안에서 크기를 다시 나눈다. 방향은 바꾸지 않고 강도만 조정하는 것이죠. 그래서 검증의 판정이 흐려지지 않는다. 드문 오답을 살려주는 일이 벌어지지 않게 막아둔 셈이다.

그렇다면 이 발상은 어디에 기대고 있을까. 놀람이라는 감각에 기대고 있다. 모델이 보기에 뜻밖인 응답일수록 분포의 바깥쪽에 있다는 신호로 읽는 것이다. 바깥쪽에 있는데도 맞았다면 그 응답은 사라지기 쉬운 귀한 증거가 된다. 이 감각을 프롬프트마다 상대적으로 잰다는 점도 눈에 띈다. 전체 평균과 비교하는 것이 아니라 같은 질문 안에서 비교하니까요. 질문마다 어려움이 다른데 한 자로 재면 엉뚱한 조정이 들어가기 때문이다. 같은 질문 안에서 누가 드문지를 묻는 편이 훨씬 정직하다.

놀람과 정답률로 기울기를 다시 나누는 법

이제 손이 실제로 움직이는 방식을 따라가 보자. ExPPO는 두 가지 재료를 쓴다. 하나는 길이로 나눈 응답별 놀람이고, 다른 하나는 프롬프트 통과율이다. 놀람이라는 말은 모델이 그 응답을 얼마나 뜻밖이라고 느끼는지를 뜻하는데, 길수록 당연히 쌓이는 양을 길이로 나누어 길다고 불이익을 받지 않게 한다. 통과율은 그 질문을 몇 개나 맞혔는지를 뜻하는데, 질문이 얼마나 쉬운지를 보여주는 눈금이 된다.

왜 길이를 나누는지가 먼저 궁금할 수 있다. 긴 풀이는 토큰이 많아서 놀람의 합이 커지기 쉬운데, 그 자체로 드물다고 말하기는 어렵기 때문이다. 장황해서 놀란 것과 발상이 달라서 놀란 것은 다르죠. 길이로 나누면 문장 길이의 효과가 걷히고 발상의 드묾이 더 또렷해진다. 저는 이 손질이 논문의 세심한 구석이라고 봅니다. 드묾을 잰다고 하면서 길이 편향을 그대로 두면 긴 답만 띄워주는 규칙이 되기 때문이다. 나누는 한 번의 손질로 규칙의 성격이 달라진다.

통과율이 들어가는 이유도 이어서 볼 수 있다. 모두가 맞히는 쉬운 질문에서는 드문 응답을 띄울 이유가 적다. 이미 분포가 넓어도 답을 찾는 데 지장이 없기 때문이다. 반대로 모두가 틀리는 질문에서는 띄울 대상 자체가 없다. 맞힌 응답이 없으니까요. 그래서 조정이 가장 크게 작동하는 자리는 중간 지대인데, 몇몇은 맞히고 몇몇은 틀리는 그 어중간한 어려움에서 드문 정답의 가치가 가장 커진다. 통과율은 바로 그 어중간함을 재는 자가 된다.

여기까지 읽고 복잡하게 느껴지신 분도 계실 것 같습니다. 그런데 막상 계산으로 보면 가벼운 덧손질에 가깝다. 기존 advantage 위에 프롬프트 안에서 잰 상대값을 얹는 방식이기 때문이다. 모델을 새로 만들거나 보상을 새로 정의할 필요가 없죠. 저는 그래서 이 장치를 연구실 점수 이상으로 평가했다. 붙이기가 쉬운 장치는 현장에서 살아남고, 현장에서 살아남는 장치가 결국 오래 쓰이기 때문이다.

부호를 지키면서 전체 크기를 유지하는 이유

조정을 말할 때 가장 먼저 걱정되는 것은 판정이 뒤집히는 일이다. 맞은 답이 틀린 것처럼 학습되고 틀린 답이 맞은 것처럼 학습되면 그 규칙은 쓸 수 없다. ExPPO는 그래서 경계를 둔다. 조정의 폭에 상한을 두고 방향을 바꾸지 않게 묶어두는 것이죠. 맞은 쪽은 어디까지나 맞은 쪽으로 남고, 틀린 쪽은 틀린 쪽으로 남는다. 크기는 바뀌어도 부호는 그대로 두는 셈이다.

두 번째 걱정은 전체 신호의 크기가 흔들리는 일이다. 어느 프롬프트에서는 신호가 부풀고 어느 프롬프트에서는 신호가 쪼그라들면 학습이 울퉁불퉁해진다. 연구진은 공유된 정규화로 이 울퉁불퉁함을 다스리는데, 각 프롬프트 그룹의 전체 advantage 크기가 크게 달라지지 않게 맞춘다는 뜻이다. 한 질문에서 몫을 다시 나누더라도 그 질문이 전체 학습에서 차지하는 무게까지 바꾸지는 않는 것이죠. 파이의 크기는 두고 조각을 다시 써는 셈이다.

이 두 장치는 겉으로 보면 소소합니다. 실제로는 그렇지 않습니다. 규칙을 고칠 때 가장 많이 망가지는 부분이 바로 이 지점이기 때문이다. 방향이 뒤집히거나 총량이 흔들리면 어떤 좋은 발상도 학습을 망가뜨린다. 그런데 ExPPO는 그 위험한 부분을 먼저 잠그고 들어간다. 그래서 조정이 들어가도 기존 학습의 골격이 유지되는데, 저는 이 순서를 좋게 봤다. 무엇을 더할지보다 무엇을 지키는지를 먼저 정했기 때문이다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이런 잠금장치가 학습 속도를 늦추지는 않을까. 상한을 두면 드문 정답을 확 띄워주고 싶은 순간에도 손이 묶이기 때문이다. 연구진의 선택은 빠름보다 안정에 가깝다. 한 번에 크게 바꾸기보다 매 걸음마다 조금씩 남기는 쪽이죠. 저는 이 선택이 추론 학습의 성격과 맞는다고 봅니다. 추론은 한 번의 큰 점프보다 여러 걸음의 누적이니까요. 매번 조금씩 남기는 편이 끝에서는 더 멀리 간다.

엔트로피와 발견이 언제 늘어나는지에 대한 조건식

논문이 숫자에만 기대지 않는 대목이 여기 있다. 연구진은 엔트로피와 정답 모드 발견이 언제 늘어나는지에 대한 국소 조건을 유도한다. 응답 수준의 신용 배분과 샘플된 모드의 업데이트에서 출발하는 식인데, 말이 어려우니 장면으로 풀어보자. 지금 분포 안에서 어떤 풀이 무리가 갓 칭찬을 받았을 때, 그 무리의 다음 등장 확률이 얼마나 오르느냐를 따지는 것이다. 드문 무리에게 준 몫이 흔한 무리에게 준 몫보다 충분히 크면 분포가 덜 뾰족해지고, 덜 뾰족해진 분포에서는 다음번에 드문 쪽이 뽑힐 확률이 올라간다. 그 한 걸음이 쌓이면 발견으로 이어지는 것이죠.

이 조건식이 좋은 이유는 처방을 주기 때문이다. 무조건 드문을 띄우라는 구호가 아니라 언제 띄워야 효과가 있는지를 가려준다. 가령 드문 응답이 너무 드물어서 뽑히지도 않으면 그곳에 신호를 얹어도 소용이 적다. 손이 닿지 않는 곳에 상을 걸어둔 셈이기 때문이다. 반대로 이미 충분히 뽑히는 곳에 신호를 얹으면 분포만 흔들린다. 그래서 조건은 크기와 위치를 함께 본다. 어디에 얼마나 얹어야 다음 샘플이 바뀌는지를 묻는 것이죠. 저는 이런 조건이 있어야 발상이 기술이 된다고 봅니다. 느낌이 아니라 계산이 되니까요.

여기서는 조금 조심해서 읽을 필요가 있는데, 조건식이 보장을 뜻하지는 않기 때문이다. 국소라는 말이 붙은 이유가 여기에 있다. 지금 걸음에서 무엇이 좋아지는지를 말해주지, 끝까지 가면 어떻게 될지를 약속하지는 않죠. 학습은 여러 걸음의 연속인데 한 걸음의 좋음이 항상 끝의 좋음으로 이어지지는 않기 때문이다. 그런데도 조건이 쓸모가 있는 것은 방향을 잃지 않게 해주기 때문이다. 매 걸음마다 분포가 어디로 기울었는지를 알면 다음 손질을 정할 수 있죠. 나침반이 지도가 아니어도 걸을 수 있게 돕는 것과 비슷합니다.

그렇다면 이 식은 실험과 어떻게 만날까. 다음 장면의 숫자들은 이 식이 가리킨 방향대로 움직였는지를 보여준다. 식이 맞다면 드문 정답이 더 자주 살아남고, 더 자주 살아남은 분포에서는 다음 정답이 더 잘 보여야 한다. 식과 실험이 같은 방향을 가리킬 때 발상은 이야기가 아니라 장치가 된다.

안팎의 시험에서 커버리지가 함께 오른다는 말의 뜻

이제 결과 이야기로 넘어가보자. 연구진은 학습에 쓰인 안쪽 영역과 학습에 쓰지 않은 바깥 영역에서 추론 커버리지가 함께 좋아졌다고 전한다. 전체 응답 정확도도 함께 올랐다고 덧붙이는데, 이 둘을 같이 읽어야 한다. 정확도는 한 번 뽑았을 때 맞힐 확률에 가깝고, 커버리지는 여러 번 뽑았을 때 적어도 한 번은 맞힐 확률에 가깝기 때문이다. 둘이 함께 오른다는 것은 한 번의 솜씨와 여러 번의 폭이 함께 늘었다는 뜻이죠.

이 대목에서 흔히 하는 오독이 있다. 바깥 영역의 점수가 올랐다는 말을 외워서 일반화가 됐다고만 읽는 것이다. 물론 일반화도 맞는데, 연구진이 더 힘을 주는 곳은 보존이라는 해석이다. 바깥 문제에서도 여러 풀이가 살아남아 있으니 처음 보는 문제에서도 길이 막혔을 때 돌아갈 길이 있다는 것이죠. 외운 답이 통했다기보다 남겨둔 길이 통했다는 편이 더 가깝다. 저는 이 구별이 논문의 태도를 보여준다고 봅니다. 점수를 자랑하기보다 점수가 왜 났는지를 설명하려 하기 때문이다.

개인적으로 인상 깊었던 점은 정확도와 커버리지가 따로 놀지 않았다는 것입니다. 드문 쪽을 살리면 정확도가 떨어질 것이라는 걱정이 자연스럽기 때문이다. 흔한 정답에 힘을 빼면 한 번 뽑기의 적중률이 흔들릴 수 있죠. 그런데 보고된 흐름은 그 걱정의 반대편에 있다. 폭을 넓혔는데도 한 번의 솜씨가 무너지지 않았다는 것은 드문 정답 살리기가 헛손질이 아니었다는 뜻이다. 오히려 분포가 건강해지면 한 번 뽑기도 덩달아 좋아질 수 있다는 것이죠. 생각해보면 당연한 면도 있다. 여러 길이 살아 있으면 그중 하나를 고르는 일도 쉬워지니까요.

그렇다면 이 결과를 어디까지 믿어야 할까. 저는 숫자의 크기보다 결이 같다는 점을 본다. 안쪽과 바깥쪽이 같은 방향으로 움직였다는 것은 특정 문제 묶음에 맞춘 요행이 아니라는 신호이기 때문이다. 한쪽만 올랐으면 외웠다고 의심했겠지만 양쪽이 함께 올랐으니 남겼다고 읽는 편이 자연스럽다. 물론 모든 바깥 문제가 같지는 않다. 분야가 멀어질수록 효과는 달라질 수 있는데, 그 달라짐의 모양을 보는 것이 다음 실험의 몫이다.

많은 번 뽑을수록 드러나는 탐색의 흔적

큰 샘플 예산에서의 강함은 이 논문을 읽는 또 다른 눈이다. 한 번만 뽑으면 차이가 잘 안 보인다. 흔한 풀이로도 답이 나오니까요. 그런데 뽑는 횟수를 늘리면 이야기가 달라진다. 흔한 풀이만 남은 모델은 열 번을 뽑아도 같은 얼굴만 보여준다. 반면 드문 풀이를 남겨둔 모델은 뽑을수록 새로운 얼굴을 보여주는데, 그 얼굴 중에 정답이 섞여 있을 확률이 올라간다. 그래서 큰 예산에서의 커버리지는 탐색이 살아 있는지를 보여주는 거울이 된다.

이 장면을 현장의 일로 옮겨보자. 밤사이 어려운 문제를 여러 번 풀어보고 아침에 제일 좋은 것을 고르는 운영을 떠올리면 된다. 이때 모델이 매번 같은 풀이만 내놓으면 밤샘 계산은 헛일이 된다. 전기만 쓰고 답은 그대로니까요. 그런데 매번 조금씩 다른 풀이를 내놓으면 밤샘의 값이 생긴다. 시도 횟수가 곧 기회가 되기 때문이다. 연구진이 큰 예산에서의 커버리지를 따로 본 이유가 여기에 있다. 한 번의 점수가 아니라 여러 번의 쓸모를 재는 것이죠. 저는 이 대목이 실제 쓰는 사람의 언어로 점수를 말한다고 봤다.

여기서 한 가지 짚을 점이 있다. 많이 뽑는다고 무조건 좋아지는 것은 아니라는 것이다. 틀린 풀이의 다양성만 늘면 고르는 일이 더 어려워지기 때문이다. 그래서 다양성이라는 말은 뒤에 이어지는 조건과 함께 읽어야 한다. 맞는 것 안에서의 다양성이냐, 그냥 흩어짐이냐를 가려야 하죠. ExPPO가 겨냥하는 것은 전자다. 부호를 지키면서 맞은 안에서의 몫을 다시 나누니까 틀린 쪽의 소란까지 키우지는 않는다. 이 구별을 놓치면 다양성이라는 말이 헛돌게 되는데, 논문은 그 구별을 처음부터 장치에 새겨두었다.

그렇다면 큰 예산의 강함은 무엇을 증명할까. 탐색이 보존됐다는 것을 보여주지, 탐색이 무한하다는 것을 보여주지는 않는다. 언젠가는 예산을 늘려도 답이 안 나오는 문제가 남는다. 그 한계는 장치의 실패가 아니라 문제의 어려움이다. 저는 그래서 이 결과를 천장 뚫기 이야기로 읽지 않았다. 천장을 미루는 이야기로 읽었죠. 같은 예산에서 더 많이 건지고, 같은 문제를 더 적은 예산으로 건지는 쪽에 가깝기 때문이다.

정답이 여러 개인 시험에서 보이는 것들

연구진이 따로 마련한 장치가 있다. 정답이 여러 개인 통제 평가다. 하나의 질문에 답이 여럿이면 어느 답을 맞혔는지를 넘어 몇 개의 답을 건졌는지를 물을 수 있다. 이 시험에서는 정답 모드의 수확과 맞힌 답 안에서의 다양성이 함께 좋아졌다고 전한다. 하나만 맞히는 것을 넘어 여럿을 건졌고, 건진 것들이 서로 닮지 않았다는 뜻이죠.

왜 이 시험이 필요했을까. 일반 시험에서는 답이 하나라서 다양성을 재기 어렵기 때문이다. 여러 번 뽑아서 하나라도 맞으면 성공인데, 그 성공이 어떤 길로 왔는지는 가려진다. 반면 답이 여러 개인 시험에서는 길이 드러난다. 몇 개의 정답 모드를 건졌는지가 곧 탐색의 성적표가 되기 때문이다. 저는 이 시험 설계가 논문의 성격을 잘 보여준다고 봅니다. 숫자를 올리는 데서 그치지 않고 무엇을 올렸는지를 보이려 하기 때문이다.

이 장면을 학교 시험에 비유해볼 수 있다. 정답이 하나인 객관식에서는 찍어서 맞혀도 점수가 되는데, 서술형이 여러 개인 시험에서는 풀이의 폭이 그대로 드러난다. 한 가지만 아는 학생과 여러 가지를 아는 학생이 갈리는 것이죠. 모델도 마찬가지인데, 흔한 풀이만 외운 모델은 첫 번째 정답에서 멈추고 여러 풀이를 남긴 모델은 두 번째와 세 번째 정답까지 건진다. 이 차이가 바로 수확의 차이로 잡힌다. 맞힌 개수가 곧 남긴 폭의 증거가 되는 셈이다.

여기서도 과독을 경계해야 한다. 다양성이 좋아졌다는 말이 모든 답이 항상 나온다는 뜻은 아니기 때문이다. 어떤 정답 모드는 여전히 잘 안 나올 수 있다. 너무 드물거나 너무 어려우면 손이 닿지 않기 때문이다. 그런데도 방향은 분명한데, 같은 학습 뒤에 건지는 바구니가 더 넓어졌다는 것이죠. 저는 이 넓어짐을 점수보다 크게 본다. 점수는 다음 학습에서 흔들릴 수 있지만 넓어진 바구니는 다음 문제를 푸는 재료가 되기 때문이다.

앞으로 무엇을 지켜보면 좋을까

마지막 장면에서는 남은 질문을 정리해보자. 제가 앞으로 보고 싶은 것은 세 가지다. 첫째는 이 손질이 어떤 과제에서 가장 잘 먹는지다. 추론처럼 길이 여러 개인 곳에서는 힘이 셀 텐데, 답으로 가는 길이 사실상 하나인 곳에서는 효과가 옅을 수 있다. 어디에서 쓰고 어디에서 아낄지를 아는 것이 현장에서는 더 중요하기 때문이다. 둘째는 통과율의 쓰임이다. 지금은 질문의 어려움을 재는 눈금인데, 이 눈금이 학습이 진행되면서 어떻게 움직이는지를 보면 조정의 타이밍을 더 잘 이해할 수 있다. 셋째는 고르는 일과의 연결이다. 여러 번 뽑은 뒤에 무엇을 고를지는 또 다른 기술인데, 남기는 일과 고르는 일이 만나야 밤샘 계산이 제 값을 한다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 장치를 붙이면 서빙 비용이 어떻게 바뀔까. 학습 때의 손질은 가벼운데 쓰는 때의 풍경은 달라질 수 있기 때문이다. 여러 풀이가 살아 있으면 한 번 호출로 끝낼 일도 여러 번 부르게 될 수 있다. 물론 그 부름이 헛되지 않으면 값어치를 한다. 같은 예산으로 더 좋은 답을 건지면 남는 장사니까요. 저는 그래서 이 논문을 학습 이야기로만 읽지 않았다. 예산을 어디에 쓸지를 고르는 운영 이야기로도 읽었죠. 남기는 학습과 많이 뽑는 운영은 짝을 이룬다.

그렇다면 사람의 역할은 무엇일까. 남겨둘 가치를 정하는 일은 여전히 사람의 몫으로 보인다. 어떤 드묾이 귀한 다양성이고 어떤 드묾이 그냥 소음인지는 문제의 성격에 달려 있기 때문이다. 검증 가능한 보상이라는 말은 답의 맞고 틀림을 가려주지, 풀이의 값어치까지 재주지는 않는다. 값어치를 묻는 것은 결국 쓰는 사람의 일인데, 이 논문은 그 물음에 답하는 대신 물음을 던질 재료를 준다. 무엇을 남겼을 때 무엇이 달라지는지를 보여주는 것이죠. 저는 그 재료가 마음에 들었다. 답을 주는 논문보다 다음 질문을 잘 만드는 논문이 오래가기 때문이다.

다행히 따라 해볼 길도 열려 있다. 규칙 자체가 가볍고 기존 학습 위에 얹는 형태라서, 비슷한 그룹 기준 학습을 쓰는 현장이라면 한번 얹어보고 분포가 어떻게 바뀌는지를 직접 볼 수 있다. 한 번 뽑기의 점수만 보지 말고 여러 번 뽑았을 때의 커버리지를 함께 재보면 된다. 안쪽 문제와 바깥 문제에서 결이 같이 움직이는지, 큰 예산에서 힘이 붙는지, 정답이 여러 개인 경우에 바구니가 넓어지는지를 차례로 물으면 된다. 그 물음에 하나씩 답하다 보면 이 논문이 말하는 보존이라는 말이 감으로 잡힐 것이다.