세상은 기다려주지 않는다, 흐르는 시간 속에서 에이전트를 평가하고 가르치는 법

오늘 다룰 논문은 The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock이며, arXiv 번호 2610.20665로 공개된 연구입니다. 원문으로 이어지는 링크는 제목 아래에 걸어 두었습니다. 이 논문이 내세우는 주장은 한 문장으로 정리할 수 있는데요, 에이전트의 추론과 도구 호출에는 시간이 걸리므로 세상이 멈추지 않고 흐르는 조건에서 직접 평가해야 하고, 느린 선생이 멈춘 세상에서 복기한 내용을 빠른 학생이 살아 있는 시간에 쓸 수 있는 지침으로 바꾸는 방식으로 가르쳐야 한다는 것입니다. 이 글에서는 왜 멈춘 평가가 우리를 속일 수 있는지부터, RealtimeBench라는 평가 장치가 시간을 어떻게 되살렸는지, 그리고 TORSI라는 가르침이 복기와 실행을 서로 다른 시간대에 나눈 방식을 차례로 따라가 보겠습니다.

멈춰 있는 시험지로 살아 움직이는 선수를 뽑을 수 있을까

안녕하세요, 패트릭입니다. 저는 이 논문을 읽기 전부터 한 가지 장면이 계속 마음에 걸렸는데요, 시험지를 풀 동안 감독관이 시간을 멈춰주는 시험이 있다면 그 점수로 실전 능력을 가늠할 수 있을까 하는 의문이었습니다. 평소 에이전트 데모를 보면 모델이 조용히 생각하고 도구를 두드리며 답을 내놓을 때까지 화면은 얌전히 기다려줍니다. 그런데 실제 서비스나 게임, 로봇, 고객 응대처럼 에이전트가 들어갈 자리는 그렇게 친절하지 않죠. 상대는 기다려주지 않고 상황은 계속 바뀝니다.

그렇다면 우리가 지금까지 믿어온 벤치마크 점수는 무엇을 재고 있었던 걸까요. 멈춘 세상에서의 점수는 생각의 질을 재는 데에는 유용하지만, 생각하는 데 걸린 시간의 대가를 빼고 계산한다는 점에서 어딘가 절반만 보여주는 성적표처럼 느껴졌습니다. 저는 이 논문에서 가장 흥미롭게 본 부분이 바로 그 불편함을 정면으로 다룬 태도였습니다. 저자들은 생각의 속도를 별도의 시스템 문제로 치우지 않았고, 아예 평가의 한가운데로 끌고 들어왔습니다. 게임을 계속 흐르게 두면 에이전트의 느린 추론이 어떤 대가를 치르는지 눈으로 보여주겠다는 발상이었죠.

여기서 재미있는 질문이 생깁니다. 더 오래 생각하는 모델이 항상 더 좋은 선택을 할까요. 학교 시험이라면 그렇겠지만, 축구 경기라면 어떨까요. 공이 굴러가는 동안 선수가 서서 전술을 오래 고민하면 그 고민 자체가 실수가 됩니다. 이 논문은 에이전트 평가에도 같은 잣대를 들이댑니다. 정답을 맞히는지와 정답에 제때 도착하는지를 함께 보겠다는 것이죠.

생각하는 동안에도 세상은 계속 돌아갑니다

에이전트가 일하는 방식을 가만히 뜯어보면 시간이 새는 구멍이 여기저기 보입니다. 모델이 다음 행동을 고르기 위해 문장을 생성하는 동안에도 게임 속 캐릭터는 움직이고, 상대는 다음 수를 두고, 제한 시간은 줄어듭니다. 도구 호출도 마찬가지인데요, 검색을 하거나 코드를 실행하거나 화면을 읽어오는 호출 하나하나가 짧지 않은 지연을 만듭니다. 멈춘 평가에서는 이런 지연이 점수에 전혀 반영되지 않습니다. 모델이 10초를 쓰든 100초를 쓰든, 결국 내놓은 답만 좋으면 박수를 받죠.

하지만 흐르는 환경에서는 이야기가 달라집니다. 아무리 방향이 옳은 결정이라도 도착이 늦으면 이미 바뀐 세상에서는 엉뚱한 행동이 됩니다. 오른쪽으로 피했어야 할 타이밍에 오른쪽이라는 정답을 3초 늦게 외치면 소용이 없죠. 생각해보면 사람도 비슷하게 배웁니다. 운전할 때 백미러를 오래 들여다보는 것 자체가 위험한ように, 에이전트에게도 생각은 공짜가 아닙니다.

그래서 논문이 던지는 문제의식은 생각보다 단순하면서도 날카롭습니다. 추론은 능력을 올리지만 동시에 시간을 쓰고, 그 시간 동안 세상은 기다리지 않는다면 우리는 무엇을 최적화해야 할까요. 정확도만 높이는 것과 제때 행동하는 것은 서로 다른 기술일 수 있습니다. 저는 이 구분을 읽으면서 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않는다는 원칙이 떠올랐습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보지 않으면 숫자가 말해주지 않는 실패를 놓치기 쉽기 때문입니다.

멈추면 이기고 흐르면 지는 두 모델 이야기가 말해주는 것

논문은 이 문제를 보여주기 위해 RealtimeBench라는 평가 장치를 만들었습니다. 여섯 가지 게임 유형에 걸쳐 180개 과제를 담은 장치인데요, 가장 큰 차이는 게임을 멈추지 않는다는 점입니다. 에이전트가 추론하는 동안에도 게임은 계속 실행됩니다. 같은 과제라도 시간을 멈추고 풀 때와 시간을 흐르게 두고 풀 때의 점수를 나란히 놓고 볼 수 있게 설계된 셈이죠.

여기서 나온 비교가 꽤 인상 깊게 읽혔습니다. GPT-6.1-sol이라는 모델은 게임을 멈춰놓고 겨룰 때는 빠른 Jev라는 모델을 앞섰습니다. 차분히 생각할 시간이 주어지면 더 좋은 판단을 내놓은 것이죠. 그런데 조건을 바꿔 게임이 계속 흐르게 두자 순위가 뒤집혔습니다. 더 빨랐던 Jev가 앞서 나가기 시작한 것입니다. 같은 모델, 같은 과제인데 시계가 돌아가는지만 바꿨을 뿐인데 승패가 바뀐 셈입니다.

이 차이는 생각보다 중요합니다. 보통은 점수가 높으면 더 똑똑하다고 말하지만, 여기서는 똑똑함의 일부가 속도에 기대고 있었다는 사실이 드러나기 때문입니다. GPT-6.1-sol의 판단이 틀렸던 게 아니라 늦었던 것이죠. 반면 Jev는 판단 하나하나가 완벽하지 않았을지 몰라도 제때 도착하는 판단을 반복하면서 전체 진행도를 끌어올렸습니다. 일반 파일에만 남겼을 때는 17%에 그쳤지만 SOUL.md에 옮겨 적었을 때는 55%까지 올라갔다는 식의 숫자 대비처럼, 이 논문의 숫자도 조건을 함께 읽어야 합니다. 멈춘 조건에서의 승리는 흐르는 조건에서의 승리를 보장하지 않는다는 것, 그것이 이 실험이 남긴 첫 번째 메시지였습니다.

그렇다면 우리의 평가는 그동안 무엇을 빼먹고 있었던 걸까요. 아마도 시간이라는 변수였습니다. 시간을 빼고 재면 느린 천재가 항상 이기지만, 시간을 넣고 재면 빠른 실력자가 다른 얼굴을 보여줍니다.

빠름과 똑똑함은 같은 재능이 아닙니다

이 대목에서는 조금 조심해서 읽을 필요가 있습니다. 빠르다는 말이 생각을 대충한다는 뜻은 아니기 때문입니다. 논문이 말하는 빠름은 손이 빠르다는 뜻에 가깝지, 머리가 가볍다는 뜻이 아닙니다. 실제로 Jev가 흐르는 게임에서 이겼다고 해서 모든 면에서 더 뛰어난 모델이라는 결론으로 점프하면 안 됩니다. 멈춘 게임에서의 점수는 여전히 사고력 자체를 보여주는 유용한 신호니까요.

제가 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 멈춘 평가와 흐르는 평가는 서로 다른 능력을 재고 있었던 것입니다. 하나는 주어진 상황에서 가장 좋은 답을 찾아내는 능력이고, 다른 하나는 계속 바뀌는 상황에서 손해를 보지 않는 속도로 충분히 좋은 답을 내놓는 능력입니다. 두 능력은 겹치는 부분이 있지만 같지는 않습니다. 마치 필기시험과 실기시험처럼요. 필기시험 1등이 실기에서도 1등이라는 보장은 없습니다.

문제는 그다음입니다. 많은 에이전트 연구가 필기시험 점수만으로 실기 무대를 예측해왔다는 점입니다. 추론을 길게 늘리면 점수가 오르는 모습을 보고 그 추론을 실전에 그대로 얹으면 될 거라고 기대한 것이죠. 그런데 흐르는 시간에서는 긴 추론 자체가 다음 장면을 놓치는 원인이 됩니다. 더 생각할수록 더 좋은 답에 가까워지지만, 동시에 그 답이 통할 세상은 멀어지는 아이러니가 생기는 셈입니다. 이 긴장을 어떻게 풀 것인가가 논문의 후반부를 이끄는 질문이 됩니다.

(참고로 여기서 말하는 여섯 가지 게임 유형이 구체적으로 어떤 조작과 규칙을 가졌는지는 이번에 정리된 자료만으로는 하나하나 뜯어보기 어렵습니다. 다만 180개 과제라는 규모와 여섯 갈래라는 구성이 말해주는 것은, 한두 가지 장면이 아니라 여러 시간 압박 속에서 반복적으로 확인했다는 점입니다.)

가르침을 경기 중간이 아니라 쉬는 시간에 몰아넣으면 어떨까

여기까지가 진단이라면, 이제부터는 처방입니다. 논문이 제안한 TORSI라는 방식은 이름을 풀어쓰면 시간을 가르는 가르침에 가까운데요, 발상이 꽤 일상적입니다. 경기 중에 선수에게 전술 강의를 길게 하면 그 자체로 실점 원인이 됩니다. 그래서 가르침은 쉬는 시간에 몰아서 하고, 경기 중에는 몸에 밴 것만 쓰게 하자는 것이죠.

구체적인 역할 분담은 이렇습니다. 느린 선생이 실패를 찬찬히 들여다보고 고칠 방법을 찾습니다. 그리고 그 교훈을 다음에 바로 쓸 수 있는 지침 문장으로 정리해 빠른 학생에게 건넵니다. 학생은 실제 게임이 흐르는 동안에는 선생에게 전화를 걸지 않습니다. 추가 추론을 부르지 않으니 경기 중에 새로운 지연이 끼어들 틈이 없죠. 미리 받아둔 지침만 들고 뛰는 것입니다.

이 구조가 눈길을 끄는 이유는 시간을 두 층으로 나눴기 때문입니다. 배우는 시간과 쓰는 시간을 분리한 것이죠. 배우는 시간에는 게임을 멈춰도 됩니다. 천천히 복기하고 여러 수정을 시험해봐도 손해가 없습니다. 반면 쓰는 시간에는 멈춤이 없습니다. 그래서 쓰는 시간에 들어가는 것은 가볍고 바로 실행 가능한 형태여야 합니다. 선생의 깊은 생각이 학생의 빠른 행동으로 바뀌는 지점이 바로 지침 문장입니다.

그렇다면 다음 질문은 자연스럽게 이어집니다. 선생의 생각이 항상 옳지는 않은데, 어떤 가르침을 남기고 어떤 가르침을 버릴 것인가 하는 문제입니다.

실패를 복기하고 멈춘 세상에서 다시 시험해보는 선생님

TORSI의 선생은 막연히 조언을 잘하는 존재가 아닙니다. 일하는 순서가 정해져 있는데요, 먼저 학생이 실패한 장면을 모읍니다. 어디에서 늦었는지, 어디에서 잘못 판단했는지, 어떤 상황에서 점수가 멈췄는지를 찾습니다. 그리고 가능한 고침을 문장으로 적어본 뒤, 멈춰놓은 게임에서 그 고침이 실제로 통하는지 시험합니다. 말하자면 과학 실험처럼 가설을 세우고 대조해보는 단계를 거치는 셈입니다.

이 대목이 저는 꽤 마음에 들었습니다. 흔한 자기반성 구조라면 모델에게 실패를 보여주고 곧바로 더 좋은 지침을 쓰라고 시키는 것으로 끝내기 쉽습니다. 그런데 그렇게 하면 말은 그럴듯하지만 실제로는 도움이 안 되는 조언이 섞여 들어옵니다. TORSI의 선생은 한 번 더 손을 움직입니다. 멈춘 게임이라는 안전한 연습장에서 고친 지침을 넣어보고 정말 점수가 오르는지 확인하는 것이죠. 연습장에서 안 통하는 전술을 실전에 들고 나가지 않겠다는 태도입니다.

생각해보면 사람 코치도 비슷하게 일합니다. 경기 영상을 돌려보며 무너진 장면을 멈춰놓고, 여기서 이렇게 움직였어야 했다고 짚어줍니다. 그리고 다음 훈련에서 그 동작을 반복시켜 몸에 붙입니다. 다만 사람의 코치는 감각에 의존하는 경우가 많지만, TORSI의 선생은 멈춘 게임이라는 재현 가능한 환경에서 고침을 시험한다는 점에서 절차가 더 분명합니다. 물론 여기서 시험했다는 말이 흐르는 시간에서의 성공까지 보장한다는 뜻은 아닙니다. 멈춘 연습장과 살아 있는 경기는 여전히 다르니까요. 그래서 다음 단계인 걸러내기가 필요해집니다.

여기서 잠깐 짚고 넘어갈 점이 있습니다. 선생이 느리다는 것은 단점이 아니라 역할입니다. 빨리 뛰어야 하는 학생 옆에서 같이 뛰면 둘 다 늦어지지만, 뒤에서 시간을 들여 복기하면 팀 전체는 빨라질 수 있습니다. 느림을 경기 밖으로 빼내는 것이 이 설계의 요령입니다.

좋은 조언처럼 들리는 말과 실제로 점수를 올리는 말 가려내기

TORSI에서 제가 두 번째로 눈여겨본 장치는 검증 점수로 업데이트를 고르는 과정입니다. 선생이 제안한 지침 변경안은 바로 채택되지 않습니다. 검증을 통과한 것만 남습니다. 말 그대로 오답 노트에 적힌 모든 반성이 정답은 아니라는 것을 인정한 구조죠.

왜 이런 장치가 필요할까요. 언어 모델이 만드는 조언은 대체로 그럴듯하게 들리기 때문입니다. 읽으면 고개가 끄덕여지는데 막상 게임에 넣어보면 점수가 그대로이거나 오히려 떨어지는 경우가 생깁니다. 특히 실시간 게임처럼 타이밍이 예민한 환경에서는 좋은 말이라도 실행하기 무겁거나 타이밍을 어긋나게 만들면 독이 됩니다. 그래서 실제로 점수를 올려주는지를 잣대로 삼는 것입니다.

이 과정은 과적합을 막는 안전벨트 역할도 합니다. 특정 실패 장면에만 통하는 요령을 일반 지침인 것처럼 올려버리면 다른 장면에서 발목을 잡을 수 있죠. 검증 점수는 그런 섣부른 일반화를 걸러냅니다. 여러 과제에서 두루 통할 때만 살아남게 하는 것입니다. 저는 그래서 이 검증 단계를 단순한 부속품이 아니라 TORSI의 절반이라고 봅니다. 가르침의 질은 선생의 문장력이 아니라 무엇을 버렸는지에서 결정되니까요.

그렇다면 검증은 어디에서 이루어질까요. 자료에 적힌 흐름으로 보면 멈춰놓은 게임과 별도의 검증 점수를 활용하는 것으로 보입니다. 흐르는 시간에서의 최종 시험 전에 중간 시험을 두는 셈이죠. 완벽하지는 않지만 없는 것보다는 훨씬 낫습니다. 가르침을 실전에 풀기 전에 연습장에서 한 번 더 걸러내는 것만으로도 실패의 비용을 크게 줄일 수 있기 때문입니다.

13점에서 24점까지 여섯 게임 모두에서 오른 점수 읽기

이제 숫자를 들여다볼 차례입니다. TORSI를 두 바퀴 돌린 뒤 빠른 학생인 Jev의 평균 시험 점수는 0점에서 100점까지의 진행도 척도에서 13.51점에서 24.19점으로 올랐습니다. 두 배에 가까운 상승은 아니지만 방향으로 보면 분명한 개선인데요, 이 숫자를 읽을 때는 두 가지를 함께 봐야 합니다. 하나는 상승 폭이고 다른 하나는 여섯 가지 게임 유형 모두에서 점수가 올랐다는 점입니다.

부분적인 개선과 고른 개선은 의미가 다릅니다. 한두 게임에서만 점수가 뛰었다면 특정 장면에 맞춘 요령일 가능성이 큽니다. 하지만 여섯 갈래 모두에서 올랐다면 시간을 대하는 태도 자체가 조금은 나아졌다고 해석할 여지가 생깁니다. 어디에서는 타이밍을 덜 놓치고, 어디에서는 헛된 추론을 줄이고, 어디에서는 다음 행동을 더 빨리 고르게 됐다는 식의 변화가 여러 장면에 걸쳐 나타났다는 뜻이니까요.

다만 여기서는 조금 속도를 늦추고 읽을 필요가 있습니다. 24.19점이라는 절대값은 100점 만점으로 보면 여전히 낮은 구간입니다. 절반에도 못 미치죠. 두 바퀴의 가르침으로 바닥을 벗어나기 시작했다는 신호로는 읽을 수 있지만, 문제를 다 풀었다는 신호로는 읽을 수 없습니다. 저는 이 대목을 논문의 솔직함으로 읽었습니다. 큰 폭의 상대적 개선을 보여주면서도 절대 점수는 낮게 남아 있어, 실시간이라는 조건이 얼마나 어려운지를 그대로 노출하기 때문입니다.

또 하나 짚을 점은 시도 횟수입니다. 두 바퀴라는 표현은 가르침을 두 번 반복했다는 뜻인데, 적은 반복으로 고른 개선을 만들었다는 점에서는 효율적인 방식처럼 보입니다. 물론 두 바퀴 이후에 세 바퀴, 네 바퀴를 돌리면 계속 오를지는 자료만으로 단정하기 어렵습니다. 개선이 이어질 수도 있고 어딘가에서 평평해질 수도 있죠. 제가 앞으로 보고 싶은 것은 바로 그 곡선의 뒷부분입니다. 가르침을 반복할수록 점수가 어디까지 따라오는지, 그리고 언제부터는 새로운 종류의 가르침이 필요한지가 궁금합니다.

다른 모델에게 그대로 건네도 통하는 설명이라는 것

이 논문에서 자칫 묻히기 쉬운데 개인적으로는 꽤 크게 본 대목이 있습니다. TORSI가 만들어낸 지침이 원래 학생이었던 Jev를 넘어 다른 세 모델의 평균 점수도 별도의 조정 없이 끌어올렸다는 결과입니다. 다시 말해 한 학생을 위해 쓴 오답 노트가 다른 학생들에게도 통했다는 것이죠.

왜 이게 흥미로울까요. 만약 지침이 Jev의 버릇이나 약점에 딱 맞춘 개인 과외 노트였다면 다른 모델에게는 듣지 않았을 겁니다. 그런데 조율 없이 건넸는데도 평균이 올랐다면, 그 지침 안에는 특정 모델을 넘어서는 내용이 들어 있다는 뜻입니다. 실시간 게임을 대하는 요령, 이를테면 언제 생각을 멈추고 행동으로 넘어가야 하는지, 어떤 상황에서 어떤 준비를 미리 해둬야 하는지 같은 시간 감각이 언어로 옮겨갈 수 있었다는 해석이 가능합니다.

물론 여기서 일반화를 서두르면 안 됩니다. 세 모델이라는 숫자는 가능성을 보여주기에는 충분하지만 보편성을 주장하기에는 작습니다. 어떤 모델들이었는지, 원래 점수가 어땠는지, 어느 게임에서 많이 올랐는지에 따라 해석이 달라질 수 있기 때문입니다. 그럼에도 불구하고 저는 이 전이 결과를 가볍게 넘기지 않았습니다. 보통 프롬프트나 지침은 모델이 바뀌면 손을 봐야 하는 경우가 많은데, 손대지 않고도 평균이 움직였다는 것은 가르침이 모델의 idiosyncrasy가 아니라 과제의 시간 구조를 건드렸을 가능성을 시사하기 때문입니다. 다시 말해 무엇을 생각할지가 아니라 언제까지 생각하고 언제 움직일지에 대한 가르침이 통했다는 것이죠.

그렇다면 여기서 새로운 질문이 생깁니다. 모델마다 생각의 속도와 버릇이 다른데, 어떤 수준의 추상도에서 적힌 지침이 가장 잘 옮겨갈까요. 너무 구체적이면 특정 모델에만 붙고, 너무 추상적이면 아무에게도 도움이 안 됩니다. TORSI가 찾은 지점은 그 중간 어딘가였을 텐데, 그 지점을 의도적으로 조절할 수 있다면 가르침을 재사용하는 경제학이 달라질 것입니다.

그래서 저는 앞으로 무엇을 보고 싶어졌는가

여기까지 오면 논문이 남긴 것과 남기지 않은 것이 함께 보입니다. 남긴 것은 분명합니다. 흐르는 시간이라는 조건을 평가에 넣는 순간 순위가 바뀔 수 있다는 사실, 그리고 배우는 시간과 쓰는 시간을 나누면 느린 생각이 빠른 행동을 도울 수 있다는 설계입니다. RealtimeBench는 전자에 대한 증거이고 TORSI는 후자에 대한 제안이죠.

남아 있는 질문도 만만치 않습니다. 먼저 멈춘 게임에서의 검증이 흐르는 게임에서의 성공을 얼마나 잘 예측하는지가 궁금합니다. TORSI는 멈춘 환경에서 고침을 시험하고 검증을 거치지만, 최종 무대는 흐르는 시간입니다. 연습장의 점수와 실전의 점수 사이에 간격이 있다면 그 간격을 줄이는 것이 다음 숙제가 될 것입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 게임이 아니라 지연이 더 불규칙한 현장, 이를테면 네트워크가 흔들리거나 도구가 가끔 오래 걸리는 환경에서는 같은 가르침이 통할까요.

또 하나는 지침의 형태입니다. 글로 적힌 조언은 가볍고 옮기기 쉽지만, 모든 시간 감각을 글로 옮길 수 있는 것은 아닙니다. 어느 장면에서는 말로 된 원칙보다 행동 순서나 타이밍 표 같은 것이 더 빠를 수도 있습니다. 가르침의 무게와 실행의 무게를 함께 재는 연구가 이어지면 좋겠습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. TORSI가 보여준 것은 특정 문장이 아니라 깊은 deliberation과 빠른 action을 서로 다른 시간대에서 엮는 방식이니까요.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문도 같은 눈으로 읽히는데요, 점수 상승 자체보다 시간을 다루는 태도가 바뀌었다는 점에서 오래 기억될 것 같습니다. 생각을 멈추는 것이 아니라 생각할 시간을 경기 밖으로 옮겼다는 발상 말입니다.

세상이 멈추지 않는다면 에이전트의 공부법도 바뀌어야 하지 않을까

마지막으로 처음으로 돌아가 보겠습니다. 처음에 던졌던 질문은 멈춰 있는 시험지로 살아 움직이는 선수를 고를 수 있느냐는 것이었습니다. 논문의 답은 절반은 그렇고 절반은 아니라는 쪽에 가깝습니다. 멈춘 평가는 여전히 사고력을 재는 데 쓸모가 있지만, 그것만으로는 흐르는 시간에서의 승패를 예측할 수 없다는 것이죠. 그래서 평가를 두 겹으로 가져가야 합니다. 멈춰서 재는 점수와 흘려보내면서 재는 점수를 함께 보는 것입니다.

가르침에 대한 답도 같은 결을 가집니다. 더 똑똑한 모델을 경기 중에 더 오래 생각하게 만드는 것이 아니라, 경기 밖에서 충분히 생각하게 하고 경기 안에서는 바로 쓸 수 있는 형태로 건네는 것입니다. TORSI가 두 바퀴 만에 13점대에서 24점대로 점수를 끌어올리고 그 지침이 다른 모델들에게도 통했다는 사실은, 이 방향이 허황된 구호가 아니라 손에 잡히는 설계가 될 수 있음을 보여줍니다. 물론 24점이라는 숫자가 말해주듯 갈 길은 멉니다. 하지만 방향이 맞다면 낮은 점수는 부끄러운 것이 아니라 다음 가르침이 들어설 자리입니다.

그렇다면 사람의 역할은 무엇일까요. 에이전트가 스스로 복기하고 지침을 주고받는 시대일수록 무엇을 연습시키고 무엇을 검증할지를 정하는 일은 여전히 사람의 몫으로 남을 것 같습니다. 언제까지 생각하고 언제 움직일지를 가르치는 일, 그 시간 감각을 설계하는 일이야말로 앞으로 에이전트를 만드는 사람들이 붙들어야 할 문제라고 저는 봅니다. 세상은 기다려주지 않으니까요. 그렇다면 가르치는 방식부터 먼저 빨라져야 하지 않을까요.