외운 답이 통하지 않는 세계에서 에이전트는 어떻게 스스로 자랄까

arXiv 2610.20786으로 공개된 EvolvingBrain: An Adaptive Skill System for Multi-modal Agents Self-Evolution in Open Worlds는 오픈월드에서 일하는 멀티모달 에이전트가 스스로 진화하도록 돕는 적응형 스킬 시스템을 제안합니다. 한 문장으로 정리하면 이 연구는 에이전트의 궤적에서 절차 패턴과 문제 패턴을 뽑아 도메인과 계획과 행동 함정 층위로 쌓고 상태에 맞춰 꺼내 쓰게 한다는 주장을 담고 있습니다. 원문은 제목 아래에 연결되어 있으니 세부 수치와 도식은 그곳에서 확인할 수 있습니다.

외운 답으로 버티기 어려운 세계에 들어가며

안녕하세요, 패트릭입니다.

여러분도 게임을 하다가 이런 경험을 해보셨을 겁니다. 처음 보는 맵에 떨어졌는데 튜토리얼에서 외운 순서만으로는 한 걸음도 나아가지 못하는 순간이요. 나무를 베라고 했는데 도끼가 없고, 동굴을 찾으라고 했는데 밤이 와버리고, 옆에서는 이상한 소리가 들립니다. 그렇다면 AI 에이전트도 비슷한 상황에 놓이면 어떻게 해야 할까요?

제가 이 논문에서 가장 흥미롭게 본 부분은 질문 자체가 바뀌었다는 점입니다. 이전까지 에이전트 연구는 정답 행동을 얼마나 잘 따라 하느냐에 머무는 경우가 많았는데요. 이 논문은 따라 하기를 넘어 스스로 경험을 정리하는 쪽으로 시선을 돌립니다. 오픈월드에서는 매번 처음 보는 일이 벌어지니까요. 외운 답으로는 오래 버티기 어렵습니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 에이전트가 어제 헤맨 경험을 내일 다시 써먹으려면 그 경험이 어떤 형태로 남아야 할까요. 로그 파일처럼 길게 쌓아두는 것만으로는 부족합니다. 필요할 때 꺼내 쓸 수 있는 형태로 다듬어져 있어야 하죠. 저는 그래서 이 연구를 스킬이라는 오래된 단어를 다시 꺼낸 시도로 읽었습니다. 스킬을 고정된 단축키로 취급하지 않고 스스로 키워 가는 장치로요.

모방은 되는데 정리가 안 되는 이유는 무엇일까

오픈월드 에이전트 연구가 풀려고 했던 어려움은 생각보다 단순합니다. 세상이 너무 넓고 매번 달라진다는 것이죠. 같은 마인크래프트라도 지형도 다르고 주어진 과제도 다르고 중간에 끼어드는 변수도 다릅니다. 멀티모달이라는 말은 화면도 보고 글도 읽고 행동도 해야 한다는 뜻인데, 입력이 늘어날수록 경우의 수는 기하급수적으로 불어납니다.

여기서 기존 학습 방식이 가진 빈틈이 드러납니다. 지도 미세조정, 즉 supervised fine-tuning은 남이 잘한 행동을 따라 하는 데에는 뛰어납니다. 시범 궤적을 주면 그럴듯하게 흉내를 내죠. 그런데 흉내와 정리는 다른 일입니다. 왜 그 행동이 통했는지, 어떤 순서가 순서를 만들었는지, 어디서 삐끗했는지를 스스로 묶어내지는 못합니다. 그래서 새로운 맵에서는 다시 헤매게 됩니다.

결과 기반 강화학습은 반대쪽에서 아쉬움을 남깁니다. 마지막에 성공했는지 실패했는지라는 결과 신호에만 의존하다 보니 중간 과정에 담긴 정보가 그대로 버려지곤 합니다. 열 번 헤매다 한 번 성공했는데, 그 아홉 번의 헤맴이 왜 일어났는지는 기록되지 않는 셈입니다. 저는 이 대목을 읽으면서 사람으로 치면 시험 점수만 보고 오답 과정을 버리는 것과 비슷하다고 느꼈습니다. 점수는 알겠는데 다음에 뭘 고쳐야 할지는 모르는 상태요.

그렇다면 경험을 버리지 않고 쌓는 방법은 없을까요. 이 질문이 바로 EvolvingBrain이 출발하는 지점입니다.

그렇다면 경험을 스킬로 바꾸면 어떨까

EvolvingBrain이 내세우는 처방은 한 마디로 말할 수 있습니다. 에이전트에게 스킬 시스템이라는 두뇌를 달아주자는 것이죠. 여기서 스킬은 게임 속 단축키 같은 고정 매크로가 아닙니다. 에이전트가 자신의 궤적에서 뽑아낸Reusable한 지식 조각에 가깝습니다. 어떻게 하면 다음에 더 잘할 수 있을지를 담은 메모라고 할까요.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 스킬을 하나씩 모으는 데서 그치지 않고 층을 나누어 쌓고, 쓸 때는 지금 상태에 맞춰 고른다는 발상이 들어 있기 때문입니다. 흔히 에이전트 기억 연구는 쌓는 쪽에만 힘을 주거나 꺼내는 쪽에만 힘을 주는데요. 이 연구는 둘을 한 묶음으로 설계했습니다. 어떻게 만들고 어디에 두고 언제 꺼낼지를 함께 정한 것이죠.

생각해보면 사람도 비슷하게 배웁니다. 자전거를 배울 때 페달 밟는 법과 길 찾는 법과 넘어졌을 때 대처법을 같은 주머니에 넣지 않죠. 성격이 다른 지식은 다른 곳에 둡니다. 그리고 길에서 자전거가 넘어질 것 같은 순간에는 넘어짐 대처법부터 떠올립니다. 지금 상태가 무엇을 부르는지가 먼저입니다. EvolvingBrain의 설계도 이 감각에 가깝습니다.

성공에서도 실패에서도 건져 올리는 두 가지 기록

이 연구가 궤적을 다루는 방식은 꽤 현실적입니다. 잘된 궤적만 모으지 않습니다. 잘된 궤적과 잘못된 궤적을 함께 보고 서로 다른 종류의 교훈을 뽑아냅니다. 전자에서 뽑는 것을 Procedural Patterns라고 부르고, 후자에서 뽑는 것을 Problematic Patterns라고 부릅니다. 우리말로 풀면 절차의 요령과 문제의 징후 정도로 읽을 수 있죠.

Procedural Patterns는 통했던 순서의 감각을 담습니다. 무엇을 먼저 확인하고 무엇을 다음에 시도했는지, 그 순서가 왜 통했는지를 정리합니다. 반면 Problematic Patterns는 자주 빠지는 구덩이를 기록합니다. 어디에서 같은 실수가 반복되는지, 어떤 상황에서 판단이 흐려지는지를 적어둡니다. 성공담만 모으면 실패를 피하는 법을 모르고, 실패담만 모으면 앞으로 나아가는 법을 모릅니다. 둘을 함께 두는 선택은 그래서 설득력이 있습니다.

여기서 제가 멈칫했던 대목은 궤적의 출처입니다. 남의 시범이 아니라 모델 자신의 궤적에서 뽑는다는 점이죠. 모델마다 잘하는 부분과 자주 틀리는 부분이 다른데, 남의 정답지만 외우면 자기 약점은 그대로 남습니다. 자신의 발자취에서 배우면 자기 약점에 맞는 보완책이 생깁니다. 일종의 오답 노트처럼요. 다만 이 오답 노트는 사람이 손으로 쓰는 것이 아니라 에이전트 스스로 갱신한다는 점이 다릅니다.

그런데 여기서 재미있는 질문이 생깁니다. 성공과 실패를 자동으로 구분하고 패턴으로 묶는 일은 누가 하나요. 논문의 설명을 따라가 보면 이 과정 자체가 에이전트의 순환 안에 들어 있습니다. 행동하고 돌아보고 정리하고 다시 행동하는 고리가 도는 것이죠. 한 번 배우고 끝나는 대신 세계와 부딪힐 때마다 장부가 두꺼워지는 구조입니다.

스킬에도 층이 있어야 하는 이유

모은 패턴을 한 바구니에 담으면 금방 뒤죽박죽이 됩니다. 그래서 이 연구는 Stratified Skill Architecture라는 층 구조를 둡니다. 층은 크게 세 갈래입니다. Domain Skills와 Plan Skills와 Action 그리고 Trap Skills입니다. 이름이 조금 길지만 하는 일은 분명하게 나뉩니다.

Domain Skills는 세계에 대한 배경 이해에 가깝습니다. 이 세계에서는 무엇이 가능하고 무엇이 위험한지, 어떤 자원이 어디에 쓰이는지 같은 넓은 감각을 담습니다. Plan Skills는 과제를 푸는 중간 크기의 전략을 담습니다. 목표를 잘게 쪼개고 순서를 정하고 중간 결과를 확인하는 방식이죠. Action Skills와 Trap Skills는 손끝의 요령과 함정 표지판입니다. 이렇게 하면 된다라는 구체적인 손놀림과 여기서는 이렇게 하면 빠진다는 경고가 함께 들어 있습니다.

이 나눔이 생각보다 중요합니다. 넓은 지식과 좁은 요령을 같은 선반에 두면 꺼내 쓰기 어렵기 때문입니다. 넓은 지식은 자주 바뀌지 않지만 적용 범위가 넓고, 좁은 요령은 바로 써먹을 수 있지만 상황이 바뀌면 무용지물이 됩니다. 층을 나누면 오래 가는 것과 바로 쓰는 것을 따로 관리할 수 있습니다. 운영 측면에서 보면 갱신 주기가 다른 것을 억지로 한 묶음으로 관리하지 않아도 된다는 뜻이기도 합니다.

저는 이 대목을 저희가 새로운 AI 아키텍처를 볼 때의 기준과 겹쳐서 읽었습니다. 저희가 새로운 구조를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 층 구조는 숫자를 올리기 위한 장식이 아니라 유지와 검색과 갱신의 비용을 나누는 선택으로 보입니다.

긴 여정을 어떻게 기억시킬까

오픈월드 과제는 한두 걸음으로 끝나지 않습니다. 수십 번, 수백 번의 행동이 이어지고 중간에 화면도 바뀌고 목표도 조금씩 움직입니다. 이 긴 과정을 통째로 기억 context에 넣으면 금방 한계에 부딪힙니다. 그래서 EvolvingBrain은 State-Aware Adaptive Execution이라는 실행 방식을 둡니다. 그 안에 들어 있는 장치가 Structured Abstractive Memory입니다.

이름이 어렵지만 하는 일은 단순합니다. 길게 이어진 상호작용을 구조화된 요약 기억으로 눌러 담는 것이죠. 있었던 일을 그대로 녹음하는 대신 무슨 상태였고 무엇을 시도했고 무엇이 달라졌는지를 뽑아서 적습니다. 요약이라고 해서 한 줄로 줄이는 것이 아니라 다음 판단에 필요한 뼈대만 남기고 살을 덜어내는 것에 가깝습니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 요약은 편리하지만 잘못하면 디테일을 잃습니다. 어느 돌 뒤에 자원이 있었는지 같은 구체적인 정보가 요약 과정에서 사라질 수 있기 때문입니다. 논문의 설명대로라면 이 기억은 스킬 사용을 안내하는 역할을 맡습니다. 모든 것을 기억하는 창고가 아니라 무엇을 꺼낼지를 정하는 나침반에 가깝다는 것이죠. 저는 이 역할 분담이 정직하다고 느꼈습니다. 기억 하나에 모든 것을 맡기지 않고 스킬 창고와 안내 기억을 나눈 셈이니까요.

실제 플레이 장면을 떠올려 보겠습니다. 밤이 되기 전에 shelter를 지어야 하는 에이전트가 있다고 해보죠. 낮 동안의 탐색 기록이 수백 걸음 쌓였는데, 지금 필요한 것은 자원이 어디 있었는지와 손에 무엇이 들려 있는지와 해가 얼마나 남았는지입니다. 길었던 하루를 이 세 가지로 압축할 수 있다면 다음 행동은 훨씬 가벼워집니다. 구조화된 요약이 겨냥하는 지점이 바로 여기입니다.

지금 상태에 맞는 지식만 꺼내 쓰는 법

아무리 좋은 스킬 창고라도 엉뚱한 순간에 엉뚱한 것을 꺼내면 소용이 없습니다. 그래서 이 연구는 State-Aware Skill Fusion Strategy를 둡니다. 지금 상태에 따라 지식을 골라 쓰는 합성 전략이죠. 현재 에이전트가 어디에 있고 무엇을 들고 있고 과제의 어느 단계에 있는지를 보고 그 순간에 어울리는 스킬을 조합합니다.

이 대목은 에이전트 설계에서 자주 놓치는 지점을 찌릅니다. 많은 시스템이 검색된 지식을 그대로 붙입니다. 관련도 순으로 몇 개를 가져와서 프롬프트에 얹는 방식이죠. 그런데 오픈월드에서는 관련 있어 보이는 것이 실제로는 지금 단계와 어긋나는 경우가 많습니다. 초반 탐색에 필요한 조언과 후반 조합에 필요한 조언은 성격이 다릅니다. 상태라는 조건을 빼먹으면 지식은 짐이 됩니다.

융합이라는 말이 거창하게 들릴 수도 있는데, 실제로는 가려 쓰기라고 이해하면 됩니다. 배경 지식은 넓게 깔고, 계획 지식은 단계에 맞추고, 행동 요령은 손앞의 상황에 맞추는 식이죠. 함정 지식은 위험 신호가 있을 때만 앞으로 나옵니다. 저는 이 우선순위를 정하는 감각이 스킬 시스템의 진짜 두뇌라고 봅니다. 모으는 능력보다 고르는 능력이 체감 성능을 좌우하니까요.

문제는 그다음입니다. 상태를 누가 어떻게 읽느냐는 것이죠. 상태 읽기가 틀리면 좋은 스킬도 엉뚱한 답이 됩니다. 논문은 요약 기억이 이 판단을 돕는다고 설명합니다. 현재를 간결하게 정리해두면 고르는 일이 쉬워진다는 논리인데, 방향으로는 타당합니다. 다만 상태 표현이 얼마나 정교해야 하는지, 새로운 세계에서도 같은 방식으로 통할지는 앞으로 더 따져볼 대목입니다.

마인크래프트와 탐험 세계에서 무엇을 확인했을까

이 연구는 VAB-Minecraft와 DiscoveryWorld라는 두 무대에서 검증됩니다. 하나는 우리에게 익숙한 복셀 세계의 변형이고, 다른 하나는 탐사와 발견을 겨냥한 과제 모음에 가깝습니다. 두 무대의 공통점은 정해진 순서대로 외워서 풀 수 없다는 것입니다. 매번 구조가 바뀌고 중간 판단이 계속 필요합니다.

보고된 결과의 방향은 분명합니다. EvolvingBrain을 얹은 에이전트는 오픈월드 과제에서 성공률이 올라갔고, 새로운 과제에서도 일반화되는 모습을 보였다는 것이죠. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 성공률이 올랐다는 말 자체보다 어떤 종류의 과제에서 올랐는지가 궁금하기 때문입니다. 처음 보는 과제에서 올랐다면 스킬이 제 역할을 했다는 뜻이 됩니다.

여기서는 해석을 조금 갈라서 할 필요가 있습니다. 두 벤치마크에서 잘됐다고 해서 모든 오픈월드에 통한다는 뜻은 아닙니다. 마인크래프트류 세계와 탐사 과제는 시각과 행동이 얽힌 장기 과제라는 점에서는 대표성이 있지만, 그래도 여전히 게임과 연구용 과제라는 울타리 안에 있습니다. 실제 로봇이나 실제 웹처럼 노이즈가 더 심한 세계에서는 상태 읽기와 요약이 흔들릴 수 있습니다. 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 어떤 과제 분포에서, 어떤 길이의 궤적에서, 어떤 기준으로 성공을 쟀는지를 함께 봐야 하죠.

그럼에도 이 실험이 주는 메시지는 있습니다. 중간 궤적을 버리지 않고 정리했더니 결과가 달라졌다는 것이죠. 모방만 한 경우와 결과만 본 경우를 넘어 과정 자체를 자산으로 만든 쪽이 더 멀리 갔다는 것입니다. 방향으로만 보면 꽤 단단한 주장입니다.

이 아이디어를 오해하기 쉬운 지점들

이쯤에서 흔한 오해를 몇 가지 짚을 필요가 있습니다. 먼저 이 연구는 프롬프트를 잘 쓰는 법에 대한 이야기가 아닙니다. 프롬프트 최적화처럼 말로 된 지시를 다듬는 작업과 겹쳐 보일 수 있는데, 겨냥하는 층이 다릅니다. 프롬프트 최적화는 같은 모델에게 더 좋은 지시를 주는 데 가깝고, EvolvingBrain은 에이전트가 세계와 부딪히며 쌓은 경험을 쓸 만한 지식으로 바꾸는 데 가깝습니다. 지시를 고르는 일을 넘어 경험을 장부로 만드는 일이죠.

다음으로 기억을 길게 늘리는 기술과도 다릅니다. 컨텍스트를 늘리거나 검색을 붙이면 과거를 더 많이 볼 수는 있습니다. 그런데 많이 본다고 해서 잘 쓰는 것은 아닙니다. 이 연구가 겨냥하는 것은 양이 아니라 형태입니다. 흩어진 궤적을 층 구조의 스킬로 바꾸고 상태에 맞춰 꺼내는 것이죠.

또 하나, 함정 스킬을 단순한 실패 로그로 보면 반만 본 것입니다. 실패 로그는 무엇이 틀렸는지를 적어두는 데 그치는 경우가 많습니다. 반면 Trap Skills는 다음에 같은 상태에서 무엇을 피해야 하는지를 꺼내 쓸 수 있는 형태로 묶습니다. 경고가 행동과 연결되어 있다는 점이 다릅니다. 그 연결이 없다면 경고는 그저 쌓이는 메모에 불과합니다.

(참고로 저는 이 구분을 처음에 가볍게 넘겼다가 다시 돌아와서 읽었는데요. 도메인과 계획과 행동이라는 나눔이 익숙해서 눈에 잘 들어오지 않았던 것 같습니다. 다시 보니 함정을 별도 층으로 둔 선택이 이 설계의 성격을 드러냅니다. 잘하는 법만큼 못하지 않는 법을 자산으로 본다는 것이죠.)

그래서 다음에는 무엇을 보고 싶어질까

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 이 흐름은 어디까지 이어질 수 있을까요. 스킬이 쌓인다는 것은 좋아 보이지만, 쌓인 것이 계속 옳다는 보장은 없습니다. 세계가 바뀌면 어제의 요령이 오늘의 함정이 될 수 있습니다. 그렇다면 오래된 스킬은 언제 버려야 할까요. 이 논문이 여는 다음 질문은 바로 여기에 있다고 봅니다.

제가 앞으로 보고 싶은 것은 세 가지입니다. 하나는 스킬의 수명입니다. 어떤 스킬이 얼마나 오래 유효했고 어떤 계기로 폐기됐는지를 보면 이 시스템이 정말 진화하는지 알 수 있습니다. 쌓이기만 하는 장부는 수집일 뿐이니까요. 다음은 상태 읽기의 견고함입니다. 새로운 세계에서도 지금 상태를 비슷하게 잘 읽는지, 요약 기억이 무엇을 빠뜨리는지를 보고 싶습니다. 마지막은 비용입니다. 궤적을 정리하고 스킬을 갱신하는 데 드는 계산과 시간이 실제 운영에서 감당 가능한지 궁금합니다. 연구실의 성공과 밤샘 운영의 성공은 다른 문제니까요.

그렇다면 사람의 역할은 무엇일까요. 에이전트가 스스로 배우는 시대일수록 무엇을 잘했다고 할지, 어떤 실패를 기록할 가치가 있다고 할지를 정하는 기준이 더 중요해질 것 같습니다. 스킬 시스템은 그 기준 위에서만 자랍니다. 저는 그래서 EvolvingBrain을 완성된 답보다는 잘 잡은 방향으로 읽었습니다. 경험을 버리지 않고 층을 나누어 쌓고 지금에 맞춰 꺼낸다는 감각은 앞으로의 에이전트 설계에서도 계속 남을 것 같습니다.