SpireBench로 본 에이전트의 긴 호흡, 왜 끝까지 가면 무너질까

오늘 살펴볼 연구는 연구진이 arXiv 2610.12596 번호로 공개한 SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire입니다. 이 연구가 내세우는 주장은 한 문장으로 정리하면 상용 덱빌딩 게임인 Slay the Spire를 처음부터 끝까지 플레이하게 만들면 에이전트 모델의 긴 호흡 전략을 제대로 측정할 수 있다는 것입니다. 원문 링크는 제목 아래에 걸어두었습니다.

카드 게임을 끝까지 해보는 일이 왜 평가가 될까

안녕하세요, 패트릭입니다. 제가 이 논문을 집어든 이유는 단순했습니다. 요즘 에이전트 평가는 대부분 짧은 작업으로 끝나는데, 실제로 일이 되는 에이전트는 몇 시간짜리 흐름을 버텨야 하기 때문입니다. 그래서 카드 게임 한 판을 끝까지 해본다는 설정이 오히려 현실적인 질문처럼 느껴졌죠.

생각해보면 사람도 비슷합니다. 코딩을 하든 창업을 하든 처음 고른 방향이 나중의 선택지를 넓히기도 하고 좁히기도 합니다. 그런데 기존 벤치마크는 이런 누적 구조를 잘 보지 못합니다. 문제를 하나씩 따로 내고 맞았는지 틀렸는지 세니까요. 그렇다면 처음의 작은 선택이 끝까지 영향을 주는 환경에서 모델을 보면 무엇이 달라질까요.

저는 이 지점에서 SpireBench가 괜찮은 선택을 했다고 봅니다. Slay the Spire는 덱을 짜고, 길을 고르고, 체력을 배분하고, 전투를 치르는 일이 한 판 안에서 계속 맞물리기 때문입니다. 어느 하나를 잘해도 다른 하나가 무너지면 결국 탑을 오르지 못합니다. 그래서 이 게임은 에이전트에게 잔인하면서도 공정한 시험대가 됩니다.

초반 선택이 끝까지 따라오는 게임

Slay the Spire를 해보신 분은 아시겠지만, 이 게임은 매번 다른 지도로 시작합니다. 어떤 전투를 하고, 어떤 휴식처에서 쉬고, 어떤 상점을 들를지 고르는 것부터가 이미 전략인데요. 카드를 한 장 집는 순간 덱의 성격이 바뀌고, 그 덱이 다음 전투에서 버틸 수 있을지를 다시 따져야 합니다. 이렇게 선택이 선택을 부르는 구조라서 초반 결정이 장기 성공을 좌우한다는 말이 과장이 아닙니다.

여기서 재미있는 질문이 생깁니다. 모델이 매 턴의 최선만 고르면 긴 판도 잘 풀릴까요. 사람으로 치면 매 끼니 맛있는 것만 골라 먹다가 건강이 무너지는 경우와 비슷한데요. 지금 강한 카드를 집는 일이 세 막 뒤의 보스전에서 독이 될 수 있기 때문입니다. 그래서 연구진은 완성된 상용 게임을 통째로 가져와서 평가 무대로 삼았습니다. 잘게 쪼갠 문제가 아니라 끝까지 이어지는 한 번의 탐험을 본 것이죠.

이 선택은 저희가 새로운 AI 아키텍처를 볼 때도 자주 쓰는 기준과 닿아 있습니다. 저희가 새로운 모델이나 에이전트 구조를 볼 때도 벤치마크 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 게임으로 치면 덱에 들어간 카드 한 장이 앞으로의 전투 비용을 어떻게 바꾸는지 보는 셈이죠.

가장 어려운 난도에서 스무 개 모델을 돌리면 생기는 일

연구진이 고른 조건은 꽤 매정했습니다. 게임의 가장 높은 난도에서 스무 개의 대형 언어 모델을 돌렸기 때문입니다. 쉬운 난도에서 운 좋게 이기는 그림이 아니라, 실수가 바로 드러나는 조건에서 본 것이죠. 휴리스틱으로 짠 기준선도 함께 돌려서 모델이 규칙 기반 플레이보다 정말 나은지를 가렸습니다.

문제는 그다음입니다. 난도가 올라가면 평가가 흔들리기 쉽습니다. 운이 나쁘면 강한 모델도 초반에 죽을 수 있으니까요. 그래서 여러 번의 시도를 모아 승률과 막별 도달률을 함께 봤습니다. 한 판의 기세가 아니라 반복했을 때의 패턴을 본 것입니다. 저는 이 대목에서 고개를 끄덕였습니다. 에이전트 평가는 한 번의 성공담보다 실패가 어디서 반복되는지가 더 중요하기 때문입니다.

물론 스무 개라는 숫자를 그대로 믿기 전에 조건을 봐야 합니다. 모델마다 게임을 보는 인터페이스와 허용된 행동은 같았지만, 학습 과정에서 이 게임을 얼마나 접했는지는 다를 수 있습니다. 이 차이는 뒤에 나오는 이름 바꾸기 실험에서 다시 다뤄지는데요. 그 이야기를 꺼내기 전에 먼저 결과를 보겠습니다.

평균적인 사람은 따라잡았고 전문가는 여전히 멀다

결과부터 말하면 성적표는 반반이었습니다. 선두권 모델들은 휴리스틱 기준선을 넘었고, 평균적인 사람 플레이어와 비슷한 수준까지 올라갔습니다. 이 정도면 짧은 퍼즐이 아니라 수십 분짜리 탐험에서도 모델이 사람처럼 보인다는 뜻이라서 분명 의미가 있습니다. 같은 모델에 같은 게임을 시켜도 예전에는 중반에서 무너지는 경우가 많았는데, 이제는 끝까지 가는 판이 생겼으니까요.

하지만 전문가와의 간격은 여전히 큽니다. 평균을 찍었다는 말이 정상을 봤다는 말은 아니죠. 전문가는 덱이 꼬였을 때 살리는 법을 알고, 보스전에 맞춰 체력을 쓰는 법을 압니다. 모델은 평균적인 흐름에서는 매끄럽다가도 판단이 엇갈리는 순간에서 미끄러졌습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 어디서 벌어졌는지를 보면 다음에 무엇을 고쳐야 할지 보이기 때문입니다.

이런 온도 차는 실제 에이전트 일에서도 자주 봅니다. 데모에서는 매끄럽다가도 고객 데이터처럼 지저분한 조건이 들어오면 흔들리는 경우죠. 평균 성적은 제품의 첫인상을 말해주지만, 전문가와의 간격은 운영의 밤을 말해줍니다. 그래서 다음 구간별 기록이 더 눈에 들어왔습니다.

1막까지는 비슷했는데 2막부터 벌어진 간격

연구진이 달이 길어질수록 벌어지는 격차를 보여준 방식은 꽤 직관적이었습니다. 가장 강한 모델들은 1막 승률에서는 전문가만큼 이겼는데, 막이 넘어갈수록 뒤처졌기 때문입니다. 처음 한두 시간의 판단은 전문가와 어깨를 나란히 하다가, 탐험이 길어질수록 어딘가에서 조금씩 새는 것이죠.

그렇다면 왜 하필 뒤로 갈수록 벌어질까요. 한 가지 해석은 초반에는 정석이 통하지만 후반에는 덱 전체의 일관성이 필요하기 때문입니다. 1막은 좋은 카드 몇 장과 성실한 전투로 버틸 수 있습니다. 하지만 2막과 3막에서는 덱이 어떤 보스를 상대하도록 짜여 있는지, 체력을 어디에 쓸지가 함께 맞아야 합니다. 초반에 어긋난 선택이 뒤에서 이자를 물고 돌아오는 셈입니다.

이 대목은 운영 측면에서 보면 상당히 뼈아픕니다. 밤사이 배치가 늦게 도착하거나 아침에 특정 작업이 밀려도 라인은 멈추면 안 되는데, 긴 호흡을 못 버티는 시스템은 꼭 뒤에서 무너지기 때문입니다. 저는 그래서 구간별 승률이라는 지표를 연구실 점수 이상으로 평가했습니다. 긴 일을 맡길 수 있는지를 보여주는 장치이기 때문입니다.

강한 모델과 약한 모델을 가른 것은 전투 한 판 한 판이었다

제가 이 논문에서 가장 흥미롭게 본 부분은 모델 사이의 차이를 설명한 대목입니다. 강한 모델과 약한 모델을 가른 것은 거창한 지도 전략이 아니라 매 전투를 얼마나 잘 치렀는지였기 때문입니다. 길을 고르는 안목보다 눈앞의 싸움을 풀어내는 실행력이 순위를 갈랐다는 것이죠.

표면적으로 보면 의외입니다. 장기 전략을 묻는 시험이라면서 왜 단기 전투가 중요할까요. 실제로는 그렇지 않습니다. 전투에서 조금씩 새는 체력과 보상은 전부 다음 선택으로 이어집니다. 한 전투에서 체력을 10 더 잃으면 다음 휴식처에서 쉬어야 하고, 쉬면 카드를 강화할 기회를 놓치고, 그 공백이 다시 다음 전투를 어렵게 만듭니다. 작은 손실이 연쇄적으로 커지는 구조라서 전투력이 곧 전략이 됩니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 전투를 잘한다는 말이 단순히 공격을 세게 한다는 뜻은 아니기 때문입니다. 언제 막고 언제 맞으면서 때릴지, 어떤 적을 먼저 정리할지, 덱의 순환을 어떻게 돌릴지가 함께 들어가는데요. 강한 모델은 이 계산을 매 턴 비교적 깨끗하게 해냈습니다. 반면 약한 모델은 눈앞의 숫자만 보고 결정을 내리다가 뒤에서 대가를 치렀습니다. 이 차이는 생각보다 중요합니다. 전략의 실패처럼 보이던 많은 장면이 사실은 전투 한 판의 미숙함에서 시작됐기 때문입니다.

체력을 아끼다가 성장을 놓치는 판단

모든 모델에서 공통으로 나타난 습관이 하나 있습니다. 체력을 쓰면서 강해질 기회를 잡기보다 체력을 지키는 쪽으로 기울었다는 점입니다. 말하자면 돈을 써야 불어나는 게임에서 돈을 계속 쥐고만 있는 셈이죠. 당장은 안전해 보이지만 덱은 강해지지 않고, 결국 뒤에서 더 큰 대가를 치릅니다.

왜 이런 판단이 반복될까요. 사람으로 치면 시험 전날 아픈 것이 두려워 잠만 자다가 공부를 놓치는 경우와 비슷합니다. 모델은 눈앞의 체력 게이지가 줄어드는 것을 손실로 크게 느끼는데, 그 체력으로 얻는 카드나 유물, 강화 같은 보상의 가치는 멀리 있어서 작게 느껴지는 것이죠. 길게 보면 체력으로 성장을 사는 교환이 이득인데, 모델은 그 교환을 잘 못합니다.

저는 여기서 멈칫했습니다. 이게 단순히 게임 플레이의 문제일까요. 실제 에이전트도 비슷한 실수를 자주 하기 때문입니다. 짧은 작업에서는 안전한 선택이 칭찬받지만, 긴 프로젝트에서는 초반에 위험을 감수하고 기반을 다져야 할 때가 있습니다. 리팩터링을 미루고, 테스트를 미루고, 어려운 고객을 미루다가 나중에 한꺼번에 터지는 경우죠. 모델이 체력을 아끼는 모습은 그 낯익은 장면과 겹쳐 보였습니다.

이름을 전부 바꾼 뒤에 남은 실력은 얼마일까

연구진이 던진 검증 방식 가운데 저는 이 대목이 가장 영리하다고 느꼈습니다. 게임의 모든 용어를 일관되게 다른 이름으로 바꿔서 다시 플레이하게 만든 것입니다. 카드 이름, 유물 이름, 적 이름까지 전부요. 이렇게 하면 모델이 외우고 있던 공략을 꺼내 쓰기 어려워집니다. 처음 보는 게임처럼 규칙을 읽고 판단해야 하죠.

결과는 솔직했습니다. 성능 가운데 일부는 이 게임에 대한 사전 지식에 기대고 있었던 것입니다. 이름을 바꾸자 성적이 내려갔기 때문입니다. 물론 모델이 완전히 무너진 것은 아닙니다. 규칙을 읽고 전투를 치르는 힘 자체는 남아 있었으니까요. 하지만 특정 카드가 강하다는 기억, 특정 보스가 까다롭다는 기억 같은 것들이 사라지자 판단이 헐거워졌습니다. 외운 답지 없이 문제를 푸는 일이 생각보다 어려웠던 것이죠.

이 실험이 던지는 질문은 게임 바깥에서도 유효합니다. 우리가 보는 에이전트의 유능함 가운데 얼마가 진짜 추론이고 얼마가 외운 패턴일까요. 익숙한 프레임워크, 익숙한 오류 메시지, 익숙한 고객 질문에서는 매끄럽다가도 이름만 바뀌면 흔들린다면 그건 이해가 아니라 기억에 가깝습니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이름이 바뀌고 버전이 바뀌어도 버티는 추론을 어떻게 만들 것인가요.

스스로 쓴 메모가 다음 판을 낫게 만들지 못한 이유

기대와 달랐던 결과도 있습니다. 모델이 여러 판에 걸쳐 스스로 쓴 기억을 다음 탐험에 가져가도 성적이 나아지지 않았다는 점입니다. 메모를 남기면 배운다던 흔한 기대와는 다른 것이죠. 왜 그랬을까요. 연구진이 뜯어보니 그 메모들은 종종 틀렸고, 지나치게 조심스러운 쪽으로 기울어 있었습니다.

일종의 오답 노트처럼요. 틀린 풀이를 열심히 적어두면 다음 시험에서도 같은 방식으로 틀리게 됩니다. 모델의 메모도 비슷했습니다. 한 판에서 우연히 맞은 판단을 일반 규칙처럼 적거나, 한 번 데인 선택을 앞으로는 무조건 피하라고 적어두는 식이었죠. 게다가 체력을 아끼던 습관이 메모에서도 반복됐습니다. 다음 판의 모델은 그 조심스러운 문장을 읽고 더 조심스럽게 플레이했습니다. 조심이 조심을 낳는 고리가 생긴 것입니다.

그렇다면 메모 자체가 쓸모없다는 말일까요. 저는 그렇게 보지 않습니다. 문제는 메모라는 형식이 아니라 검증 없는 메모입니다. 무엇이 사실이었고 무엇이 추측이었는지, 어떤 조건에서 통했고 어떤 조건에서 깨졌는지가 구분되지 않으면 기억은 짐이 됩니다. 사람 팀도 회고를 그렇게 하지 않으면 같은 실수를 반복하죠. 에이전트의 기억도 결국 같은 시험을 통과해야 합니다. 다음에 쓸 수 있는 형태로 남았는가라는 시험이요.

그래서 에이전트의 긴 호흡을 어디서부터 고쳐야 할까

앞에서 본 장면들을 한 줄로 모아보면 이야기는 단순해집니다. 모델은 전투를 치르고 평균 수준까지 가는 힘은 갖췄지만, 길어질수록 벌어지는 격차와 체력에 대한 오판, 외운 지식에 대한 의존, 검증 없는 기억이라는 벽에 막혔습니다. 어느 하나가 결정적이라기보다 네 가지가 서로 물고 늘어지면서 탐험을 갉아먹은 것이죠. 전투에서 새는 체력이 다음 선택을 좁히고, 좁아진 선택이 다시 전투를 어렵게 만드는 식입니다.

제가 앞으로 보고 싶은 것은 이 고리를 끊는 실험입니다. 체력을 써서 성장을 사는 교환을 명시적으로 가르치면 후반 승률이 어떻게 바뀌는지, 전투 실행력을 따로 떼어 훈련하면 전체 탐험이 얼마나 살아나는지, 이름을 바꾼 환경에서 규칙을 읽는 훈련을 늘리면 외운 지식의 몫이 얼마나 줄어드는지가 궁금합니다. 이런 질문에 답이 쌓이면 벤치마크 점수보다 더 단단한 설계 감각이 남을 것 같습니다.

그렇다면 사람의 역할은 무엇일까요. 저는 이 대목에서 에이전트 평가의 방향이 바뀌어야 한다고 봅니다. 한 문제의 정답률이 아니라 긴 흐름을 버티는지를 보고, 평균 성적과 함께 후반 붕괴가 어디서 시작되는지를 함께 묻는 것이죠. SpireBench가 남긴 가장 단단한 기여는 바로 그 질문의 틀이라고 생각합니다. 긴 호흡을 재는 자가 있어야 긴 호흡을 만드는 일도 시작되니까요.