몇 달짜리 밭일을 맡길 수 있을까, 스스로 적응하는 피지컬 AI에 대한 논문을 읽고

Toward Self-Adaptive Physical AI라는 제목의 논문이 arXiv에 식별자 2609.13436으로 공개됐습니다. 원문은 제목 아래 걸린 링크에서 볼 수 있습니다. 이 논문은 사람의 개입 없이 오래 이어지는 물리적 작업을 스스로 관리하는 길로 LLM 에이전트를 제안하고, 사전 학습 없이 투입된 LLM 에이전트가 같은 날씨에서는 강화학습 에이전트와 견줄 만한 관리 결과를 내고 바뀐 날씨에서는 더 잘 적응했다는 주장을 펼칩니다.

이 주장만 들으면 농업용 AI 데모처럼 느껴질 수도 있는데요. 그런데 저는 이 논문에서 작물 점수가 아니라 질문의 결이 바뀌었다는 점에 눈이 갔습니다. 가상 세계의 짧은 과업이 아니라 흙과 날씨와 시간이 얽힌 긴 작업을 언어 모델이 직접 다룰 수 있는지를 묻기 때문입니다. 오늘 글에서는 그 질문을 처음부터 따라가 보려고 합니다. 물리적 작업이 왜 다른지, 계획과 도구 호출과 관찰과 검증을 묶은 구조가 무엇을 하는지, 그리고 날씨가 바뀌었을 때 갈라진 결과가 무엇을 말해주는지를 순서대로 따져보겠습니다.

몇 달짜리 일을 맡기면 왜 AI가 흔들릴까

여러 사람이 함께 일하다 보면, 하루짜리 심부름은 잘하던 동료가 몇 달짜리 프로젝트에서는 흐트러지기도 합니다. 그렇다면 AI에게 몇 달짜리 밭일을 맡기면 어떤 일이 생길까요. 이 질문은 농사만의 이야기가 아니라서 저는 자꾸 손이 갔습니다. 긴 시간 동안 환경을 보고, 되돌리기 어려운 행동을 고르고, 그 사이 환경이 바뀌어도 계속 결과를 내야 하는 일은 우리 주변에 너무 많기 때문입니다.

물리적 작업이라는 말을 풀어보면 세 가지 부담이 겹쳐 있습니다. 첫째로 에이전트는 환경을 계속 관찰해야 하는데, 센서 값은 매번 조금씩 다르고 놓치는 구간도 생깁니다. 둘째로 행동에는 되돌리기 어려운 결과가 따르는데, 물을 너무 많이 주거나 시기를 놓치면 그 피해가 다음 주로 그대로 이어집니다. 셋째로 환경 자체가 바뀌는데, 올해 날씨가 작년과 같으리라는 보장은 어디에도 없습니다. 그래서 짧은 대화나 한 번의 웹 검색으로 끝나는 일과 달리, 긴 물리적 작업에서는 중간에 틀린 판단이 복리로 쌓입니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 이 부담을 정면으로 불렀다는 점입니다. 가상 세계의 에이전트 성능을 올리는 대신, 관찰이 끊기고 행동이 결과를 남기고 환경이 변하는 조건에서 언어 모델이 버틸 수 있는지를 묻기 때문입니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 그런 눈으로 보면 이 논문은 점수 자랑이 아니라 버티는 방식에 대한 제안에 가깝습니다. 한 번 잘하는지가 아니라 오래 버티는지를 묻는 셈이죠.

그렇다면 오래 버틴다는 것은 구체적으로 무엇을 뜻할까요. 답은 다음 절에서 가르는 기준에 있습니다. 가상과 물리, 짧음과 긺의 차이가 어디에서 벌어지는지를 먼저 정리해야 뒤의 구조가 이해되기 때문입니다.

가상 세계에서 잘하던 에이전트가 밭에서는 왜 멈칫할까

웹 브라우저 안에서 클릭하고 검색하는 에이전트는 지난 몇 년 사이에 눈에 띄게 나아졌습니다. 그런데 같은 에이전트를 밭으로 데려오면 이야기가 달라지는데, 그 이유는 화면과 흙이 서로 다른 규칙으로 움직이기 때문입니다. 화면에서는 잘못 눌러도 뒤로 가기가 있지만, 밭에서는 물을 엎지른 뒤에 되돌리기 버튼이 없습니다. 생각해보면 사람도 비슷하게 배웁니다. 운전 연습실에서 잘하던 사람이 실제 도로에서는 룸미러와 날씨와 옆 차선까지 한꺼번에 봐야 한다는 것을 깨닫는 것처럼요.

논문이 진단하는 기존 접근의 갈림길도 여기에서 갈라집니다. 한편에는 많은 데이터와 다시 학습을 요구하는 방식이 있는데, 날씨나 작물이나 토양이 바뀌면 다시 데이터를 모으고 다시 학습해야 해서 계절이 바뀔 때마다 비용이 따라붙습니다. 다른 한편에는 가상 세계에서 주로 동작하는 에이전트 연구가 있는데, 시뮬레이션 안에서는 관찰이 깨끗하고 행동의 결과가 가볍게 지워지다 보니 밭의 무게가 잘 드러나지 않습니다. 그래서 저는 이 대목을 읽으면서 고개를 끄덕였는데, 두 갈래 모두 긴 물리적 작업의 조건을 정면으로 다루지 못한다는 지적이 현장의 감각과 닿아 있기 때문입니다.

여기서 재미있는 질문이 생깁니다. 그렇다면 언어 모델은 왜 이 틈에 들어갈 후보가 될까요. 논문이 기대는 지점은 언어 모델이 사전 지식을 품고 있고, 상황을 말로 풀어 추론할 수 있으며, 도구를 부르는 방식으로 외부와 이어질 수 있다는 점입니다. 비가 올 것 같으면 관개를 미루고, 잎 색이 평소와 다르면 원인을 말로 정리한 뒤 다음 행동을 고르는 식이죠. 물론 말로 푼다고 해서 밭이 알아서 좋아지는 것은 아닌데, 그래도 날씨가 바뀌었을 때 규칙을 통째로 다시 학습하지 않고 판단의 근거를 바꿀 수 있다는 가능성은 눈여겨볼 만합니다.

문제는 그다음입니다. 가능성만으로는 계절을 나지 못합니다. 말로 추론하는 능력이 실제 밭에서 굴러가려면, 계획하고 행동하고 보고 고치는 고리가 매번 돌아가야 하기 때문입니다.

계획하고 부르고 보고 확인하는 고리를 하나로 묶으면

농사일을 해본 분들은 알겠지만, 밭일은 한 번의 결심으로 끝나지 않습니다. 오늘 무엇을 할지 정하고, 필요한 도구를 쓰고, 결과를 눈으로 확인하고, 어긋난 부분을 다음 계획에 반영하는 일이 매일 반복됩니다. 논문이 제안하는 멀티 에이전트 틀도 이런 반복에 기대고 있는데, 계획과 도구 호출과 관찰과 검증을 따로 두지 않고 하나의 고리로 묶었다는 점이 눈에 띕니다. 저는 이 대목에서 오답 노트 같은 장치를 떠올렸습니다. plan을 세우고 실행한 뒤 틀린 부분을 적어두면 다음 시험에서 같은 실수가 줄어드는 것처럼요.

계획은 말 그대로 앞으로의 순서를 정하는 일인데, 밭에서는 날짜와 날씨와 작물의 상태가 함께 들어가야 합니다. 언제 물을 줄지, 언제 양분을 볼지, 어떤 신호가 나타나면 순서를 바꿀지를 미리 정해두는 것이죠. 그런데 계획만 있으면 종이 위의 농사가 되기 쉬운데, 그래서 도구 호출이 뒤를 받칩니다. 센서를 읽고, 관개 장치를 켜고, 기록을 남기는 실제 손발이 붙어야 계획이 흙에 닿기 때문입니다. 여기서 관찰이 끼어드는데, 행동 뒤에 밭이 어떻게 달라졌는지를 다시 읽는 과정입니다. 잎이 처졌는지, 토양 수분이 올랐는지, 어제와 무엇이 다른지를 확인하는 것이죠.

제가 보기에 이 고리에서 검증이 빠지면 전체가 흔들립니다. 검증은 관찰한 결과를 계획과 견주어 어긋남을 가려내는 일인데, 잘 됐다고 넘어가는 대신 왜 잘 됐는지, 무엇이 기대와 다른지를 따지는 과정이기 때문입니다. 예를 들어 토양 수분이 올랐는데 잎이 여전히 처져 있다면, 물의 문제가 아니라 다른 원인을 의심해야 합니다. 이런 식으로 검증이 붙으면 에이전트는 같은 행동을 무작정 반복하지 않고 다음 계획을 고쳐 씁니다. 반면 검증이 없으면 에이전트는 센서 숫자를 읽고도 잘못된 처방을 다음 날 또 내리게 됩니다.

그렇다면 이 네 조각을 왜 여러 에이전트로 나눴을까요. 한 모델이 전부 맡으면 편할 것 같은데, 논문은 역할을 나눠 서로 물고 물리게 만드는 쪽을 택했습니다. 저는 이 선택을 읽으면서 부엌의 분업을 떠올렸는데, 한 사람이 주문받고 요리하고 서빙까지 하면 바쁠 때 순서가 꼬이지만, 역할을 나누고 중간에 확인하는 사람이 있으면 실수가 밖으로 나가기 전에 걸러지기 때문입니다. 물론 역할이 많아지면 서로 주고받는 말이 늘어나서 통신 비용이 생기는데, 그럼에도 긴 작업에서는 중간 점검이 실수를 줄이는 효과가 더 클 수 있습니다. 이 구조가 실제로 밭에서 통했는지는 다음 절의 오해를 먼저 걷어낸 뒤에 따져보겠습니다.

도구가 많다고 저절로 농사를 짓는 것은 아니다

도구를 부를 수 있다는 말을 들으면 어떤 그림이 떠오를까요. 센서도 읽고 밸브도 열고 기록도 남기니 에이전트가 만능 일꾼처럼 느껴질 수 있습니다. 그런데 여기서 조금 조심해서 읽을 필요가 있습니다. 도구는 손발일 뿐이고, 언제 무엇을 위해 쓸지를 정하는 판단이 따로 있어야 하기 때문입니다. 망치를 쥐었다고 집이 지어지지 않는 것처럼요.

논문의 틀을 오해하기 쉬운 지점이 바로 여기입니다. 도구 호출이 들어갔다고 해서 에이전트가 버튼만 누르는 존재가 되는 것은 아닌데, 언제 센서를 읽을지, 어떤 값이 나오면 관개를 멈출지, 무엇을 기록으로 남겨 다음 계획에 쓸지를 정하는 일이 더 크기 때문입니다. 실제로 밭에서는 같은 센서 값도 맥락에 따라 뜻이 달라집니다. 비가 오기 직전의 높은 토양 수분과 가뭄 한가운데의 높은 토양 수분은 같은 숫자로 보여도 처방이 정반대가 되죠. 그래서 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 도구의 개수가 아니라 숫자를 읽는 방식과 검증의 연결이 결과를 가르기 때문입니다.

또 하나 짚고 넘어갈 점은 멀티 에이전트라는 말이 저절로 협력을 뜻하지는 않는다는 사실입니다. 여러 에이전트가 붙었다고 해서 일이 나뉘고 실수가 줄어드는 것은 아닌데, 누가 무엇을 맡고 어디까지 책임지는지가 분명해야 협력이 되기 때문입니다. 말이 엇갈리면 계획한 쪽은 물을 주라고 하고 검증한 쪽은 이미 충분하다고 하면서 하루를 허비할 수도 있습니다. 논문이 계획과 도구 호출과 관찰과 검증을 묶었다고 할 때, 저는 그래서 묶음 자체보다 묶음 사이의 주고받음에 눈이 갔습니다. 서로의 출력을 어떤 형식으로 넘기고, 어긋나면 누가 멈추게 할 것인지가 밭에서는 생각보다 중요하기 때문입니다.

이런 오해를 걷어내고 보면 남는 질문은 단순해집니다. 말로 추론하고 도구를 부르는 이 방식이, 정말로 밭에서 계절을 버틸 수 있을까요. 논문은 이 질문에 답하기 위해 에이전트를 아무것도 미리 가르치지 않고 시험에 내놓습니다.

아무것도 미리 가르치지 않고 밭에 내놓으면 벌어지는 일

시험 방식을 이해하려면 먼저 zero-shot이라는 말의 무게를 느껴야 합니다. 보통 작물 관리 모델은 해당 환경의 데이터로 학습한 뒤에 시험을 보는데, 이번 LLM 에이전트는 그런 사전 학습 없이 바로 밭에 들어갑니다. 전학 첫날부터 시험을 보는 전학생 같은 모습인데, 교과서를 외운 기억은 없지만 세상을 살면서 들은 이야기와 말로 푸는 힘으로 버텨야 합니다. 저는 이 설정이 마음에 들지만, 여기까지 일반화하기에는 데이터가 부족하다고 봅니다. 멋진 설정과 넓은 일반화 사이에는 간극이 있기 때문입니다.

무대는 농업 작업인데, 이 선택에는 이유가 있어 보입니다. 농사는 긴 시간에 걸쳐 관찰과 행동이 이어지고, 날씨라는 외부 변수가 결과를 흔들며, 잘못된 행동이 바로 다음 주로 이월되기 때문입니다. 짧은 질의응답으로는 절대 재현되지 않는 조건이죠. 아침에 일어나 토양을 보고, 낮에 물을 주고, 저녁에 잎을 살피고, 밤사이 비가 오면 다음 날 계획을 바꾸는 일이 몇 주씩 이어집니다. 이런 환경이라면 에이전트가 그날만 잘해서는 소용이 없고, 흐름을 읽어야 합니다.

비교 대상으로는 강화학습 에이전트가 놓이는데, 이 대결 구도가 저는 솔직히 흥미로웠습니다. 강화학습은 특정 환경에서 많은 시행착오를 거쳐 좋은 정책을 벼려내는 방식으로 알려져 있는데, 주어진 날씨에 오래 노출되면 그 날씨에 딱 맞는 손놀림을 익히기 때문입니다. 반면 LLM 에이전트는 그런 벼림 없이 말과 추론으로 들어가니, 출발선의 공정함을 묻는 시선이 생길 수밖에 없습니다. 한쪽은 단련된 선수이고 다른 쪽은 처음 온 도전자라면, 같은 점수를 받아도 점수의 뜻이 다르게 읽히기 때문입니다.

그렇다면 평가는 어떤 갈래로 나뉠까요. 논문은 날씨 패턴을 달리한 조건에서 두 진영을 견줍니다. 같은 날씨에서 붙는 경우와, 학습 때와 다른 날씨로 옮겨 붙는 경우입니다. 앞의 경우는 익숙한 마당에서의 승부이고, 뒤의 경우는 비가 오는 낯선 마당에서의 승부죠. 이 갈래를 나눈 것만으로도 저는 연구의 태도가 읽힌다고 봅니다. 잘한다는 말을 한 가지 날씨에서 끝내지 않고, 날씨가 바뀌어도 버티는지를 따로 물었기 때문입니다. 그 결과는 다음 절에서 하나씩 풀어보겠습니다.

같은 날씨에서는 비기고 다른 날씨에서는 갈라진다

먼저 익숙한 날씨에서의 결과부터 보면, 사전 학습 없는 LLM 에이전트가 강화학습 에이전트와 견줄 만한 관리 결과를 냈다는 보고가 나옵니다. 전학생이 단련된 선수와 비겼다는 이야기인데, 이 대목을 읽으면서 저는 잠시 멈칫했습니다. 학습 없이 비겼다는 말이 학습이 필요 없다는 뜻으로 곧장 이어지지는 않기 때문입니다. 비김의 조건과 비김의 내역을 봐야 판단이 서기 때문입니다.

같은 날씨에서의 비김은 이렇게 읽을 수 있습니다. 강화학습 에이전트가 많은 시행착오로 벼린 정책이라면, LLM 에이전트는 폭넓은 사전 지식과 그때그때의 추론으로 빈틈을 메운 셈입니다. 토양이 마르면 물을 주고, 비 예보가 있으면 미루고, 잎 상태가 나쁘면 원인을 따져보는 상식이 말로 풀리면, 익숙한 환경에서는 크게 틀리지 않을 수 있습니다. 그런데 이 해석에는 조심스러운 뒷면이 있습니다. 상식으로 버티는 것과 환경에 맞춰 벼린 것은 겉으로는 같은 점수로 보여도 속은 다르기 때문입니다. 점수가 같다고 해서 같은 방식으로 농사를 지었다는 뜻은 아닙니다.

이야기는 날씨가 바뀌면서 달라집니다. 학습 때와 다른 날씨 패턴으로 옮겨 평가하면, LLM 에이전트가 강화학습 에이전트보다 더 잘 적응했다는 보고가 이어집니다. 같은 마당에서는 비기던 두 선수가 낯선 마당에서는 서로 다른 발걸음을 보인 것이죠. 저는 이 갈라짐을 이 논문에서 가장 오래 곱씹을 만한 장면으로 봅니다. 익숙함에서의 점수가 아니라 낯섦에서의 발걸음이, 긴 물리적 작업을 맡길 때 더 궁금한 장면이기 때문입니다.

왜 이런 갈라짐이 생겼을까요. 한 가지 가능한 설명은 판단의 근거가 서로 다르다는 점입니다. 강화학습 정책은 학습 날씨에서 잘 통하던 손놀림을 품고 있어서, 날씨가 바뀌어도 그 손놀림을 쉽게 놓지 못할 수 있습니다. 반면 언어 기반 에이전트는 그날의 관찰을 말로 풀어 처방을 다시 짜는 쪽에 기대고 있어서, 날씨가 바뀌면 근거부터 다시 쓰는 셈이죠. 물론 이 설명은 아직 해석의 영역에 머무는데, 그래도 방향은 분명합니다. 같은 날씨의 점수보다 바뀐 날씨의 적응이 이 논문이 던지는 물음의 중심에 있기 때문입니다. 그렇다면 강화학습이 흔들린다는 말의 속을 좀 더 들여다볼 차례입니다.

날씨가 바뀌면 강화학습은 왜 흔들릴까

강화학습이 약해서 졌다는 식으로 읽으면 논문을 잘못 읽은 셈이 됩니다. 강화학습은 주어진 환경에서 보상을 따라 정책을 벼리는 데에는 대단히 강한데, 문제는 그 강함이 환경과 함께 굳는다는 점입니다. 특정 비 패턴과 온도 흐름에서 물을 주는 타이밍을 몸에 익히면, 그 타이밍은 그 날씨에서는 정답이지만 다른 날씨에서는 오답이 될 수 있습니다. 겨울 옷을 잘 차려입은 사람이 봄비 속에서는 땀을 흘리는 것처럼요.

여기서 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 날씨가 바뀔 때마다 다시 학습하면 되지 않을까요. 말로는 쉬워 보이지만, 밭에서는 계절이 바뀌는 속도가 학습이 따라가는 속도보다 빠를 때가 많습니다. 데이터를 모으고, 다시 학습하고, 검증하는 동안 작물은 기다려주지 않기 때문입니다. 비가 일주일 일찍 오면 관개 일정 전체가 어긋나는데, 그때마다 모델을 처음부터 다시 벼리려면 비용과 시간이 따라붙습니다. 저희가 새로운 AI 아키텍처를 볼 때도 이런 운영의 무게를 함께 재는데, 학습 점수와 운영 점수는 서로 다른 저울 위에 있기 때문입니다.

반면 LLM 에이전트의 적응은 다시 학습이 아니라 다시 읽기에 가깝습니다. 어제의 계획이 오늘 날씨와 어긋나면, 계획을 말로 고쳐 쓰는 방식으로 대응하기 때문입니다. 비 예보가 바뀌었으니 관개를 하루 미루고, 토양 수분이 예상보다 높으니 양분 일정을 다음으로 넘기는 식이죠. 이런 식의 대응은 학습 데이터를 새로 모으지 않아도 돌아간다는 점에서 가볍습니다. 그런데 가볍다고 해서 공짜는 아닌데, 매번 말로 풀어 추론하는 데에는 계산 비용과 시간이 들고, 그날의 판단이 틀리면 그 피해가 바로 밭에 남기 때문입니다.

그래서 저는 이 대결을 승패가 아니라 비용 구조의 차이로 읽고 싶습니다. 강화학습은 미리 벼리는 데 비용을 쓰고 막상 닥친 변화에는 굳은 몸으로 맞서는 방식이고, LLM 에이전트는 매번 읽고 고치는 데 비용을 쓰면서 변화에는 유연하게 맞서는 방식입니다. 어느 쪽이 낫다는 단정보다, 어떤 계절과 어떤 운영 조건에서는 어느 쪽의 비용이 더 감당할 만한지를 묻는 편이 현장에 가깝습니다. 그렇다면 농사 이야기를 넘어서도 이 구조의 차이가 통할까요. 다음 절에서는 밭 너머의 풍경을 살펴보겠습니다.

이 농사 이야기가 농사 너머로 번지는 이유

농사는 비유로 쓰기 좋은 소재지만, 이 논문이 겨냥하는 범위는 밭 울타리 밖으로 뻗어 있습니다. 오래 보고, 되돌리기 어려운 행동을 고르고, 환경이 바뀌어도 버텨야 하는 일은 공장에서도 창고에서도 발전소에서도 나타나기 때문입니다. 예를 들어 창고 로봇은 매일 같은 통로를 다니는 것 같지만, 명절 대목에는 물량이 바뀌고 통로가 막히며 사람의 동선이 달라집니다. 공장의 설비도 여름과 겨울에 컨디션이 다르고, 에너지 관리도 날씨와 요금제에 따라 답이 바뀌죠. 이런 일들은 모두 긴 호흡과 바뀐 조건이라는 두 가지 부담을 함께 안고 있습니다.

제가 앞으로 보고 싶은 것은 바로 이 번짐이 어디까지 이어질 수 있는지입니다. 계획과 도구 호출과 관찰과 검증이라는 고리가 농업 너머의 작업에서도 같은 모양으로 굴러갈까요. 아마도 뼈대는 통할 것 같은데, 살은 작업마다 다시 붙여야 할 것 같습니다. 창고에서는 토양 수분 대신 재고와 통로 혼잡을 읽어야 하고, 공장에서는 잎 색 대신 진동과 온도를 읽어야 하기 때문입니다. 도구의 종류와 관찰의 단위가 바뀌면 검증의 기준도 함께 바뀌죠. 그래서 틀은 같아도 각 현장의 언어를 새로 익혀야 한다는 점은 분명합니다.

여기서 한 가지 짚고 싶은 점은 자율이라는 말의 뜻입니다. 사람의 개입 없이 오래 관리한다는 말이 사람을 완전히 지운다는 뜻은 아닌데, 오히려 사람이 개입해야 할 순간을 줄이고, 개입할 때는 판단할 재료를 잘 건네는 쪽에 가깝기 때문입니다. 밤사이 비가 많이 와서 밭이 질척이면 에이전트가 스스로 관개를 멈추고 그 이유를 말로 남기면, 사람은 아침에 그 기록만 보고 다음 결정을 내리면 됩니다. 생각해보면 좋은 자율이란 사람을 밀어내는 것이 아니라 사람의 아침을 가볍게 만드는 일에 가깝습니다. 운영의 아침을 지켜주는 장치라는 점에서 저는 이 방향을 좋게 봅니다.

물론 번짐을 말하기 전에 밟아야 할 브레이크가 있습니다. 좋은 결과일수록 조건을 먼저 봐야 다음 현장으로 옮길 수 있기 때문입니다. 그래서 다음 절에서는 이 논문의 숫자를 그대로 믿기 전에 따져봐야 할 것들을 찬찬히 짚어보겠습니다.

숫자를 그대로 믿기 전에 멈춰서 물을 것들

좋은 논문일수록 독자의 경계심이 함께 자라야 합니다. 먼저 같은 날씨에서의 비김이라는 표현을 뜯어보면, 관리 결과라는 말이 품은 폭이 넓다는 점을 알게 됩니다. 수확량인지, 자원 사용량인지, 안정성인지에 따라 비김의 뜻이 달라지는데, 어떤 저울로 달았는지를 알아야 점수를 옮길 수 있기 때문입니다. 예를 들어 수확량은 같아도 물을 두 배 썼다면, 그 비김은 운영의 관점에서 같은 비김이 아닙니다. 저는 그래서 점수보다 저울을 먼저 묻는 편인데, 무엇을 재고 무엇을 빼고 쟀는지가 결과를 읽기 전에 알아야 할 앞문이기 때문입니다.

다음으로 물을 점은 시험 환경의 결입니다. 농업 작업이라고 해도 시뮬레이션의 밭과 실제 밭 사이에는 간극이 있는데, 바람 한 줄기와 센서 오차 하나가 결과를 흔들 수 있기 때문입니다. 시뮬레이션에서는 관찰이 비교적 깨끗하고 행동의 결과가 정직하게 돌아오지만, 실제 밭에서는 센서가 튀고 통신이 끊기며 사람이 중간에 손을 댑니다. 논문이 다룬 농업 작업이 어느 정도의 결을 품고 있는지를 알아야, 밭 너머의 공장과 창고로 이야기를 옮길 수 있습니다. 이 간극을 무시하면 시뮬레이션의 적응이 현장의 적응으로 곧장 번역되는 실수가 생깁니다.

또 하나 따져볼 점은 비교의 공정함입니다. 강화학습 에이전트가 어떤 데이터로 얼마나 벼려졌는지, LLM 에이전트는 어떤 모델 크기와 어떤 프롬프트와 어떤 도구로 들어갔는지에 따라 승부의 뜻이 달라집니다. 한쪽이 가벼운 몸으로 들어갔는데 비겼다면 그 비김은 더 크게 읽히고, 다른 쪽이 무거운 몸으로 들어갔는데 졌다면 그 짐은 다시 져야 하기 때문입니다. 저는 이 대목에서 성급한 우열을 피하고 싶은데, 한 번의 갈라짐으로 두 진영의 순위를 매기기에는 조건의 그림자가 크기 때문입니다. 같은 맥락에서 zero-shot이라는 말도 조심해서 들어야 하는데, 사전 학습이 없다는 말이 사전 지식이 없다는 뜻은 아니기 때문입니다. 언어 모델이 품은 폭넓은 읽힘이 이미 일종의 준비 운동이 된 셈이죠.

그렇다면 이런 조심스러움에도 불구하고 남는 것은 무엇일까요. 점수의 크기가 아니라 점수가 갈라진 방향입니다. 같은 날씨에서는 비기고 바뀐 날씨에서는 한쪽이 더 버텼다는 모양 자체는, 다시 학습 없이 근거를 고쳐 쓰는 방식의 가능성을 보여주기 때문입니다. 저는 이 방향을 작게 보지 않는데, 긴 물리적 작업에서는 낯선 계절이 반드시 오기 때문입니다. 그렇다면 다음 계절을 준비한다면 무엇을 더 보고 싶을까요. 마지막 절에서는 그 바람을 적어보겠습니다.

다음 계절이 오면 저는 무엇을 보고 싶을까

연구를 읽고 나면 늘 남는 질문이 있습니다. 다음에는 무엇을 보면 이 이야기가 더 단단해질까. 제가 첫 번째로 보고 싶은 것은 더 길고 더 지저분한 시간입니다. 몇 주짜리 시험을 몇 달짜리 계절로 늘리고, 센서가 튀고 통신이 끊기는 날을 함께 넣어 보는 것이죠. 깨끗한 관찰에서 잘 버티는 것과, 비 오는 날 밤에 센서 하나가 맛이 간 상태에서도 버티는 것은 서로 다른 시험이기 때문입니다. 운영의 관점에서 보면 후자가 진짜 시험에 가깝습니다.

두 번째로 보고 싶은 것은 비용의 저울입니다. 다시 학습하는 비용과 매번 추론하는 비용을 같은 테이블 위에 올려놓고 견주는 것이죠. 강화학습은 학습 때 한 번 크게 쓰고 실행 때는 가볍게 가고, LLM 에이전트는 실행 때마다 읽고 쓰는 비용을 내는 식인데, 계절이 길어지고 날씨가 자주 바뀌면 어느 쪽의 합계가 더 가벼워질까요. 여기에 사람의 손이 들어가는 횟수까지 함께 재면 그림이 더 분명해집니다. 개입이 잦으면 자율이라는 말의 값어치가 깎이기 때문입니다. 저희 팀에서 시스템을 볼 때도 이런 합계를 먼저 따지는데, 한 번의 점수보다 한 계절의 합계가 운영을 말해주기 때문입니다.

세 번째로 보고 싶은 것은 실패의 기록입니다. 잘된 날의 계획보다 틀린 날의 고침이 더 많은 것을 가르쳐주기 때문입니다. 검증이 어떤 어긋남을 잡아냈고, 어떤 어긋남은 놓쳤으며, 놓친 뒤에는 어떤 방식으로 계획을 고쳤는지를 낱낱이 보여주면, 다음 현장에서 같은 실수를 피할 수 있습니다. 특히 도구 호출이 꼬인 날, 관찰을 잘못 읽은 날, 계획을 고집하다가 시기를 놓친 날의 이야기가 궁금합니다. 성공담보다 오답 노트가 다음 계절을 준비하는 데에는 더 요긴하기 때문입니다.

이런 바람을 안고 다시 첫 질문으로 돌아오면, 남는 감각은 생각보다 분명합니다. 긴 물리적 작업을 맡기는 일은 한 번 똑똑한지를 묻는 시험이 아니라, 낯선 날씨에도 근거를 고쳐 쓰며 버틸 수 있는지를 묻는 시험이기 때문입니다. 논문이 제안한 고리는 그 시험에 대한 하나의 답안으로 읽히는데, 계획하고 부르고 보고 확인하는 일을 매번 돌리면서 계절을 나는 방식입니다. 앞으로 에이전트가 밭을 넘어 공장과 창고로 걸어 들어갈수록, 저는 점수보다 이 고리가 얼마나 성실하게 도는지를 먼저 보게 될 것 같습니다. 여러분은 어떤 계절을 가장 먼저 맡겨보고 싶으신가요. 저는 비가 일찍 오는 해의 밭을 꼽아봅니다. 그 낯섦 앞에서 에이전트가 근거를 어떻게 고쳐 쓰는지를 보면, 이 방식의 됨됨이가 가장 잘 드러날 것 같기 때문입니다.