갈림길에서 묻는 시험, SciPiVot이 재는 연구 판단

SciPiVot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents는 arXiv에 공개된 연구로 arXiv 번호 2610.21082로 등록되어 있다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리된다. LLM 에이전트가 몇 달씩 실험을 돌릴 수 있게 된 뒤에도 갈림길에서 방향을 고르는 판단은 따로 재야 하며, 그 판단을 실제 현장의 고침 기록으로 재면 지금 모델들은 사람보다 분명히 뒤처진다는 것이다. 이 글에서는 그 문제의식에서 출발해 248개 장면이 어디서 왔는지, 왜 기록을 주면 점수가 떨어지는지, 그리고 63.5와 73.4라는 숫자를 어떻게 받아들여야 하는지를 차례로 따라간다.

왜 몇 달씩 돌아가는 실험에도 사람이 계속 필요할까

제가 이 논문에서 가장 오래 머문 대목은 출발점의 문장이다. LLM 에이전트는 이제 사람의 감독 없이 몇 달 동안 과학 실험을 계속 돌릴 수 있다. 저자들은 거기서 멈추지 않고 판단이라는 말을 꺼낸다. 실험을 밤새 돌리는 것은 지구력에 가깝고, 어느 시점에서 계획을 꺾을지 고르는 것은 판단에 가깝죠. 그렇다면 자동 연구에서 진짜로 비싼 자원은 무엇일까. 계산 시간도 아니고 데이터도 아니라, 꺾어야 할 때 꺾는 결정이라는 것이 이 논문의 시선이다.

생각해보면 사람도 비슷하게 배웁니다. 대학원 시절을 떠올리면 실험 기술이 느는 속도와 연구 감각이 느는 속도가 따로 논다. 피펫을 다루는 손은 몇 달이면 안정되지만, 어떤 결과가 나왔을 때 다음 주를 어디에 걸지를 고르는 감각은 몇 년이 걸리죠. 지도교수가 옆에 앉아 "거기는 파지 말고 여기를 파보자"라고 말하는 장면이 바로 그 감각이 오가는 순간이다. 논문은 그 순간에 이름을 붙인다. PI 판단이라는 이름인데, 직함으로서의 교수를 뜻하기보다 갈림길에서 방향을 고르는 역할을 뜻한다.

여기서는 조금 조심해서 읽을 필요가 있다. 자동화가 실패했다는 이야기가 아니기 때문이다. 에이전트가 오래 돌릴 수 있게 된 것은 분명한 진전이다. 문제는 오래 돈다는 말과 잘 간다는 말이 다르다는 데 있다. 고속도로를 오래 달릴 수 있어도 출구를 고르지 못하면 목적지에 닿지 못하는 것과 같다. 저는 그래서 이 출발점을 연구실 점수 이상으로 평가했다. 자동 연구의 밤을 지켜주는 장치가 따로 필요하다는 말이니까요. 그렇다면 그 장치를 어떻게 시험할 수 있을까. 이 질문이 다음 장면으로 이어진다.

계획이 아니라 갈림길에서 판단을 재는 법

이 연구가 택한 방식은 얼핏 보면 수수하다. 에이전트에게 빈 종이에서 계획을 짜라고 시키지 않기 때문이다. 대신 이미 지나간 갈림길 하나를 꺼내어 두 장의 계획을 나란히 놓는다. 한 장은 원래 LLM이 짰던 계획이고, 다른 한 장은 사람이 그 자리에서 고친 계획이다. 에이전트가 볼 수 있는 것은 고치기 전까지의 과제 기록뿐이다. 그 기록만으로 둘 중 어느 쪽이 더 나은 방향인지 고르게 하죠. 정답을 맞히는 시험이 아니라 선배의 고침을 알아보는 시험이다.

이 차이는 생각보다 크다. 새로 짜라는 주문은 창의성을 재는 것 같지만, 실제로는 채점이 어렵고 운이 끼기 쉽다. 반면 둘 중 고르라는 주문은 조건이 같다. 같은 자리에서 같은 기록을 보고 어느 쪽 손을 들지를 묻기에, 판단의 방향이 그대로 드러난다. 일종의 오답 노트처럼요. 학생이 틀린 문제를 다시 푸는 게 아니라, 선생님이 고친 흔적을 보고 왜 그렇게 고쳤는지를 알아맞히는 셈이다. 그래서 점수가 말하는 바가 분명해진다. 모델이 그 장면에서 선배와 같은 쪽을 바라봤는지가 남는다.

문제는 그다음이다. 사람이 고친 쪽이 항상 옳다는 보장은 어디에 있을까. 고침에도 취향이 섞일 수 있고, 나중에 보면 원래 계획이 맞았던 경우도 생기죠. 저자들은 이 점을 피해 가지 않고 고침이 실제로 일어난 현장 기록만을 쓴다. 책상에서 만든 가짜 딜레마가 아니라, 6개월 동안 돌아가던 과제에서 사람이 직접 개입했던 자리만을 모은 것이다. 저는 이 대목에서 논문의 순서 감각이 좋다고 봤다. 판단이라는 추상적인 말을 현장의 흔적으로 바꾼 뒤에야 숫자를 꺼내기 때문이다.

26개 과제와 248개 장면을 모으는 데 6개월이 걸린 까닭

숫자부터 적어두면 전체 그림은 이렇다. 선임 연구자들이 6개 과학 분야에서 26개 과제를 6개월 동안 LLM 에이전트와 함께 돌렸고, 그 과정에서 나온 고침 가운데 248개를 추려 시험으로 만들었다. 과제당 평균으로 나누면 10개가 채 안 되는 장면이다. 이 밀도가 오히려 말을 걸어온다. 갈림길은 매일 생기지 않기 때문이다. 몇 주씩 순조롭게 돌다가 어느 날 아침에 갑자기 방향을 물을 때가 있다. 그 드문 자리를 248개 모으는 데 반년이 걸렸다는 말이다.

월요일 아침 연구실 장면을 떠올려보자. 금요일에 돌려둔 실험이 주말 사이 결과를 내놓았는데 그래프가 애매하게 꺾여 있다. 학생은 기존 계획을 밀고 가고 싶어 하고, 교수는 고개를 갸웃한다. 이 자리에서 오가는 몇 마디가 다음 한 달을 바꾼다. SciPiVot이 모은 것은 바로 이런 자리의 기록이다. 고치기 전까지의 회의록과 실험 노트, 그때까지의 계획서 같은 것들이죠. 에이전트는 그 기록만 보고 교수의 고개를 끄덕이게 만든 쪽을 골라야 한다.

그렇다면 왜 굳이 6개월 현장에서 가져왔을까. 교과서 예제로는 이 시험을 만들 수 없기 때문이다. 교과서 문제는 답이 정해져 있고 맥락이 깨끗하다. 현장의 갈림길은 다르다. 앞선 실패가 쌓여 있고, 장비 사정이 끼어 있고, 시간표가 촉박하죠. 이런 지저분함까지 묶어서 주어야 판단이 보인다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 248이라는 숫자 자체보다, 그 숫자를 현장의 시간 위에 올려놓았다는 선택이 시험의 성격을 바꾸기 때문이다. 그렇다면 현장의 냄새를 맡게 하면 모델이 더 잘 고를까. 답은 예상을 빗나간다.

기록을 주면 오히려 점수가 떨어지는 이유

개인적으로 인상 깊었던 점은 바로 이 대목이다. 중간 수준의 추론 effort에서 모든 모델이 기록 없이 고를 때보다 기록을 보고 고를 때 점수가 더 낮아졌다. 얼핏 보면 말이 안 된다. 정보가 늘면 판단이 나아져야 하는데, 오히려 미끄러졌기 때문이다. 그런데 연구실 장면으로 옮기면 감이 온다. 자료가 많다고 결정이 쉬워지지 않는 회의가 있죠. 앞선 논의가 길었던 안건일수록 처음 안을 밀어붙이는 쪽에 마음이 기운다. 기록이 판단을 돕는 대신 원래 계획을 옹호하는 재료로 쓰인 셈이다.

저자들이 포착한 방향도 같다. 기록이 주어진 조건에서 모델들은 사람의 고침보다 원래 LLM 계획을 체계적으로 더 좋아했다. 같은 LLM이 짠 글이라 말이 매끄럽고, 앞선 기록과 말이 잘 이어지기 때문이다. 매끄러움이 옳음처럼 보이는 순간이죠. 생각해보면 사람도 비슷한 실수를 한다. 문장이 잘 읽히는 보고서를 보면 내용의 허점이 늦게 보인다. 문체와 논리가 뒤섞이는 것이다. 모델은 그 함에 더 깊이 빠진 셈인데, 기록이 길어질수록 매끄러운 쪽의 손을 들어주었다.

여기서 재미있는 질문이 생깁니다. 그렇다면 기록을 안 주는 편이 공정한가. 그렇게 단순하게 말하기는 어렵다. 기록 없는 조건의 점수가 조금 높았어도, 현장의 판단은 기록 위에서 이루어지기 때문이다. 기록을 치우면 시험은 쉬워질지 몰라도 현실과 멀어지죠. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 긴 맥락을 얹을수록 모델이 원래 안을 더 좋아한다면, 에이전트에게 과거 기록을 통째로 먹이는 설계는 안전한가. 저는 이 물음이 논문이 던진 것 가운데 가장 실무적인 것이라고 봤다.

운을 찍어도 절반은 맞히는데 그 아래로 내려간다는 말의 뜻

둘 중 하나를 고르는 시험에서 우연히 찍으면 절반 정도는 맞는다. 그런데 기록이 주어진 조건에서 다섯 개 모델 가운데 네 개가 그 절반에도 못 미쳤다. 이 문장을 처음 읽으면 고개를 갸웃하게 된다. 절반보다 못 맞힌다는 게 가능할까. 동전을 던지는 시험과 다르다. 한쪽을 체계적으로 고르기 때문에 가능한 일이다. 하필 틀린 쪽을 좋아하는 버릇이 있으면 찍는 것보다 못해지죠. 동전을 던지면 절반이 맞지만, 매번 같은 문을 고집하면 그 문 뒤에 답이 없을 때 절반 아래로 내려간다.

이 대목은 숫자의 크기보다 방향으로 읽어야 한다. 모델들이 멍청해서 틀렸다기보다 취향 때문에 틀렸다는 뜻이기 때문이다. 원래 LLM 계획을 좋아하는 취향이 기록 앞에서 더 강해졌고, 그 취향이 사람의 고침과 어긋난 것이다. (참고로 이런 편향은 특정 회사 모델만의 이야기에서 그치지 않고 평가에 들어간 여러 모델에서 함께 나타났는데, 한 집안의 버릇을 넘어 요즘 모델들이 공유하는 버릇에 가깝죠.) 저는 여기서 조금 의심했습니다. 절반 아래라는 말이 모델을 놀리기 위한 장치는 아닐까 하고요. 그런데 달리 보면 절반 아래야말로 가장 정직한 신호다. 모르는 상태라기보다 거꾸로 아는 상태라는 뜻이니까요.

그렇다면 이 결과는 과장된 것일까. 여기서 균형을 잡아줄 대목이 하나 있다. 이 248개는 사람이 고쳐야 했던 자리만 모은 것이다. 원래 계획이 괜찮았던 자리는 애초에 들어 있지 않죠. 그래서 절반 아래라는 말이 모든 과학 판단을 뜻하지는 않는다. 어려운 갈림길만 모아둔 시험에서 나온 성적이라는 점을 함께 읽어야 한다. 그 점을 인정하고도 남는 말이 있다. 어려운 자리에서만큼은 지금 모델들의 취향이 사람의 취향과 어긋난다는 것이다. 이 어긋남을 어떻게 메울지가 남는다.

63.5와 73.4 사이에 놓인 간격을 어떻게 읽을까

기록 조건에서 가장 잘한 모델의 점수는 63.5였고, 같은 시험을 처음 보는 사람 연구자들의 점수는 73.4였다. 두 숫자를 나란히 놓으면 간격은 10포인트 가까이 벌어진다. 이 차이는 생각보다 묵직하다. 사람도 완벽하지 않았다는 점까지 함께 보면 더 그렇다. 처음 보는 사람도 네 문제 중 하나는 틀렸는데, 모델은 그보다 더 틀렸기 때문이다. 잘하는 사람과 잘하는 모델 사이의 거리가 숫자 하나로 찍힌 셈이다.

이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 사람의 73.4는 그 분야를 아는 연구자들이 fresh한 눈으로 본 결과다. 현장의 피로 없이 갈림길만 보고 판단한 것이죠. 반면 모델의 63.5는 중간 수준의 추론 effort에서 나온 것이다. effort를 올리면 숫자가 조금 움직일 수 있고, 세팅을 바꾸면 순서도 바뀔 수 있다. 그럼에도 간격이 가리키는 방향은 분명하다. 같은 기록을 보고도 사람이 고른 쪽과 모델이 고른 쪽이 갈렸고, 갈린 자리에서는 사람이 고친 쪽이 더 나았다는 것이다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 63.5라는 점수 자체보다, 그 점수가 어디서 깎였는지가 다음 설계를 정하기 때문이다. 쉬운 문제를 몇 개 더 맞히는 것보다 어려운 갈림길에서 취향을 고치는 일이 남았다는 뜻이죠. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 시험으로 치면 비용은 분명하다. 잘못된 갈림길 하나가 몇 주 실험을 날릴 수 있으니까요. 10포인트의 간격은 점수표의 차이보다 몇 주짜리 시간의 차이로 읽어야 한다.

다시 생각하면 나아질까

자연스러운 처방이 하나 떠오른다. 처음 고른 답을 다시 생각하게 하면 나아지지 않을까. 사람은 잠깐 멈춰서 다시 보면 실수를 줄일 때가 있으니까요. 논문은 이 처방을 그대로 시험했다. reconsideration이라는 이름으로 다시 생각할 기회를 준 것이다. 답은 시원하지 않았다. 다시 생각한다고 점수가 일관되게 오르지 않았다는 것이다.

왜 그럴까. 다시 생각이라는 약은 방향이 맞아야 듣는다. 틀린 취향을 그대로 안고 다시 읽으면 같은 답을 더 확신하게 되기 때문이다. 원래 LLM 계획이 매끄러워 보인다는 첫인상을 안고 두 번째 읽기에 들어가면, 그 매끄러움을 뒷받침하는 근거가 오히려 더 많이 눈에 들어온다. 그래서 확신만 두꺼워지고 답은 제자리다. 회의로 치면 처음 결론을 정해두고 다시 모인 회의와 같은데, 이런 회의에서는 자료는 더 쌓이지만 결론은 잘 안 바뀌죠. 저는 이 대목에서 모델의 다시 생각기도 그 함에 빠진 것으로 읽었다. 첫 판단을 되짚는 대신 첫인상을 덧칠한 셈이기 때문이다.

그렇다면 다시 생각은 쓸모가 없다는 말일까. 그렇게까지 말하기는 이르다. 어떤 자리에서는 고쳐지고 어떤 자리에서는 굳어졌을 수 있다. 평균만 보면 그 차이가 지워지기 때문이다. 저는 여기서 멈칫했다. 평균이 말하지 않는 것을 평균으로 재단하고 싶지 않았기 때문이다. 그럼에도 공개된 방향은 분명하다. 다시 생각 버튼 하나로는 갈림길의 취향이 바뀌지 않았다는 것이다. 버튼이 아니라 취향을 다루는 장치가 필요하다는 말이기도 하다. 이 지점에서 시선은 다시 사람에게로 향한다.

사람의 고침을 흉내 내는 것과 이해하는 것은 어떻게 다를까

여기까지 읽으면 이런 반문이 생긴다. 사람의 고침을 알아맞히는 게 왜 판단인가, 흉내 내기가 아닌가 하는 물음인데, 저는 이 질문이 정당하다고 봅니다. 답은 기록의 위치에 있다. 에이전트는 고침 이후의 기록을 보지 못한다. 그래서 결과를 알고 찍는 시험과는 거리가 멀다. 고치기 전까지의 기록만으로 어느 쪽이 더 나아 보이는지를 가려야 하죠. 사후 정답을 외우는 시험과 다르다는 말인데, 오히려 사전 갈림길에서 방향을 고르는 시험에 가깝다. 그러니 흉내에 가깝기보다 판단에 가깝다는 것이고, 저는 이 구분이 이 논문의 시험을 성립시키는 토대라고 읽었다.

제가 이 대목에서 가장 오래 곱씹은 부분은 고침의 성격이다. 사람의 고침은 대개 매끄럽지 않다. 문장이 덜 다듬어져 있고, 앞 기록과 톤이 어긋날 때가 있죠. 현장에서 급히 꺾은 흔적이라 그렇다. 반면 원래 LLM 계획은 말이 잘 이어진다. 시험이 묻는 것은 문장보다 방향이다. 어느 쪽으로 다음 몇 주를 걸 것인가를 묻죠. 매끄러움보다 꺾음의 이유를 읽어야 한다. 모델이 여기서 미끄러졌다는 말은 문장 점수와 방향 점수를 뒤섞었다는 뜻이다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 에이전트에게 사람의 고침을 통째로 외우게 하면 될까. 저는 그 길은 한계가 분명하다고 봅니다. 고침의 문장을 외우면 다음 갈림길에서 또 미끄러지기 때문이다. 필요한 것은 고침의 목록보다 고침의 감각이다. 왜 그 자리에서 꺾었는지, 무엇을 보고 위험하다고 판단했는지, 어떤 대가를 치르고 방향을 바꿨는지를 읽는 감각이죠. 이 감각을 어떻게 가르칠지는 아직 열려 있다. 논문은 답을 주지 않고 자리를 보여준다. 248개의 자리가 바로 그 교재다.

실험실 밖에 두면 무엇이 달라질까

한 가지 더 따져볼 것이 있다. 이 시험의 점수가 실험실 밖에서도 그대로 통할까. 저는 이 숫자보다 그 뒤의 조건이 더 궁금했다. 248개는 26개 과제에서 나온 것이라 한 과제당 장면이 많지 않고, 분야도 여섯 갈래로 나뉜다. 분야마다 갈림길의 성격이 다를 텐데, 평균 하나로 묶으면 그 결이 지워지죠. 화학의 갈림길과 생물학의 갈림길이 같은 무게일 리 없다. 그래서 평균을 읽을 때는 분야별 얼굴을 함께 떠올려야 한다.

또 하나, 이 시험은 고쳐야 했던 자리만 모았다. 현장에는 고치지 않아도 됐던 자리, 원래 계획대로 밀고 가서 잘된 자리가 훨씬 많다. 그런 자리를 빼고 재면 점수는 낮게 나온다. 마치 병원 중환자실만 보고 의사의 실력을 재는 것과 같다. 중환자실에서 고생한다고 평소 진료까지 못한다고 말할 수는 없죠. 저는 이 점을 논문의 약점보다 정직함으로 읽는다. 어려운 자리만 모아 어려운 말을 하는 것이니까요. 다만 이 성적을 인용할 때는 조건을 함께 말해야 한다. 어려운 갈림길에서, 기록을 보고 고를 때, 지금 모델들은 사람보다 뒤처진다는 식으로 말이다.

그렇다면 현장에서는 어떻게 써야 할까. 저는 이 시험을 합격증보다 체온계에 가깝게 본다. 체온계가 병명을 알려주지 않아도 몸의 상태를 알려주듯, 이 시험도 에이전트의 방향 감각이 어느 쪽으로 기우는지를 알려준다. 원래 안을 좋아하는 기울기가 있다는 것만 알아도 설계가 달라진다. 기록을 통째로 붙이는 대신 갈림길 요약부터 주거나, 매끄러움과 방향을 따로 묻게 하거나, 사람의 고침을 먼저 보여주고 이유를 묻게 하는 식으로 말이다. 숫자를 넘어 설계로 이어지는 시험이 좋은 시험이다.

그래서 다음에 지켜볼 것은 무엇일까

마지막으로 남는 것은 다음 질문이다. 저는 앞으로 보고 싶은 것이 분명하다. 기록을 줄 때 점수가 떨어지는 현상이 어디까지 일반화되는지, effort를 올리거나 기록을 다듬으면 기울기가 바뀌는지, 그리고 다시 생각의 실패가 어떤 자리에서 굳어지는지다. 이 셋은 같은 뿌리를 본다. 모델이 매끄러움을 방향으로 착각하는 버릇이 얼마나 깊은지를 묻기 때문이다. 그 뿌리를 건드리지 않으면 점수는 조금 오르내려도 기울기는 남는다.

좋은데, 이걸 어디에 올릴까. 저는 이 물음을 운영의 언어로 바꿔보고 싶다. 자동 연구 에이전트를 밤새 돌리는 팀이 있다고 해보자. 아침에 사람이 출근해서 밤의 기록을 훑는다. 이때 필요한 것은 밤의 작업 목록보다 밤이 남긴 갈림길 목록이다. 어디에서 멈칫했고, 어디에서 꺾을까 말까 했고, 어디에서 원래 안을 밀고 나갔는지를 보여주는 것이죠. SciPiVot은 그 목록을 어떻게 읽어야 하는지를 가르쳐준다. 매끄러운 보고보다 꺾음의 이유를 먼저 보라고 말한다.

그렇다면 사람의 역할은 무엇일까. 저는 이 논문을 읽고 그 답이 조금 또렷해졌다고 느낀다. 사람의 일은 매번 손으로 실험을 돌리는 것보다 갈림길에서 방향을 꺾는 일로 옮겨간다. 몇 달씩 돌아가는 실험일수록 꺾는 자리의 무게가 커지죠. 에이전트가 성실히 달리는 동안 사람은 출구를 고르는 일을 한다. 지금 모델들이 그 출구를 고르는 데 아직 서툴다는 것이 이 시험이 남긴 말이다. 다음 연구가 그 간격을 어떻게 메울지, 저는 그 장면을 기다린다.