현재 체계적 일반화 평가는 무엇을 놓치고 있을까

오늘 다룰 논문은 What Do Current Systematic Generalization Tasks Miss? A Reasoning-Centered Analysis라는 제목으로 arXiv에 공개된 연구로 식별 번호 2609.19212를 갖고 있습니다. 이 논문은 지금까지의 체계적 일반화 평가가 행동 조합의 거의 선형적인 구성과 생산성 중심의 시험 방식과 행동 명시적 목표라는 세 가지 단순화에 기대고 있었기 때문에 진짜 추론 부담을 측정하지 못했다고 주장합니다. 원문은 제목 아래에 연결해 두었으니 필요할 때 바로 찾아보셔도 좋습니다.

안녕하세요, 패트릭입니다. 저는 이 논문을 처음 펼쳤을 때 제목의 물음표가 오래 남았습니다. 놓치고 있다는 표현이 흔히 쓰는 수사처럼 느껴지지 않았기 때문입니다. 오히려 지금까지의 시험지가 왜 이렇게 잘 풀리는 것처럼 보였는지를 정면으로 묻는 느낌이었죠. 여러분도 비슷한 경험을 해보셨을 겁니다. 모델이 held-out 테스트에서는 멀쩡히 답을 맞히는데, 막상 조금만 꼬아 놓으면 맥없이 무너지는 장면 말입니다. 그 간극을 저는 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 그래서 이번 글에서는 그 구조를 끝까지 따라가 보려고 합니다.

잘 맞히는데 왜 마음 한구석이 찜찜할까

held-out 테스트에서 79.6%라는 숫자를 보면 우선 잘한다는 생각이 듭니다. 그런데 같은 모델이 TranSGrid에서는 55.3%로 내려가고, 가장 어려운 부분집합에서는 15.8%까지 떨어진다고 하면 이야기가 달라집니다. 같은 가중치, 같은 학습 데이터인데 시험지를 바꾸는 것만으로 60%p가 넘는 낙차가 생기기 때문입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 숫자는 결과일 뿐이고, 그 사이에는 모델이 실제로 무엇을 하고 있는지에 대한 다른 설명이 숨어 있기 때문입니다.

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 여러 능력을 한 몸에 가진 모델에게도 비슷한 일이 생길까요. 따로따로 시험할 때는 멀쩡하던 능력이 한 문제 안에 함께 들어가는 순간 서로 발목을 잡는 경우 말입니다. 이 논문이 던지는 질문도 크게 다르지 않습니다. 조합은 되는데 추론은 안 되는 상태라면, 그걸 일반화라고 불러도 될까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 저자들이 시험 난이도를 올린 방식입니다. 보통은 길이를 늘리거나 새로운 단어를 섞는 방식으로 어렵게 만듭니다. 그런데 여기서는 길이를 그대로 둔 채 추론의 종류를 늘렸습니다. 길이가 같은데도 못 푼다면, 문제는 길이가 아니라 다른 곳에 있다는 뜻이 되죠. 여기서 재미있는 질문이 생깁니다. 우리가 그동안 어렵다고 믿었던 것은 정말 어려운 것이었을까요.

조합해서 푼다는 말은 실제로 무엇을 뜻할까

체계적 일반화라는 말은 얼핏 들으면 거창하지만, 뜻을 풀어보면 꽤 일상적입니다. 이미 알고 있는 조각들을 처음 보는 방식으로 다시 엮어서 새로운 문제를 푸는 능력을 말합니다. 생각해보면 사람도 비슷하게 배웁니다. 자전거 타는 법과 교통 신호를 따로 배운 아이가 처음 가는 길에서도 신호를 지키며 자전거를 모는 장면처럼요. 조각은 익숙한데 조합은 낯선 상황에서도 헤매지 않는 것이 바로 그 능력입니다.

그런데 이 정의를 연구실로 가져오면 곧바로 까다로운 문제가 생깁니다. 무엇을 조각으로 볼지, 어디까지를 새로운 조합으로 볼지가 사람 마음대로 정해지기 때문입니다. 그래서 기존 연구들은 통제 가능한 시험지를 만들기 위해 몇 가지 약속을 깔아 두었습니다. 행동은 대체로 순서대로 이어 붙이면 되고, 시험은 학습 때보다 길게 만들고, 목표는 행동 수준에서 비교적 분명하게 준다는 약속이 바로 그것입니다. 약속 자체는 나쁘지 않습니다. 다만 약속이 시험의 성격을 바꾸어 버리면 곤란해집니다.

저는 여기서 조금 의심했습니다. 약속이 측정을 쉽게 만드는 수준을 넘어서, 측정하려는 대상을 아예 다른 것으로 바꾸어 버린 것은 아닐까 하고요. 예를 들어 조각을 이어 붙이는 순서가 거의 정해져 있다면, 모델은 조각을 이해하지 않고도 순서만 외워서 답을 맞힐 수 있습니다. 맞힌 것은 맞힌 것인데, 우리가 보려던 조합 능력과는 다른 장면인 셈이죠. 이 차이는 생각보다 중요합니다. 시험 점수는 같은데 실력이 다르면, 점수를 믿고 내린 운영 판단이 통째로 어긋나기 때문입니다.

지금까지의 시험지는 왜 푸근하게 느껴졌을까

이 논문은 기존 평가가 기대고 있던 세 가지 단순화를 또렷하게 적어줍니다. 첫째는 행동 조합이 거의 선형적이라는 가정입니다. 행동 A 다음에 행동 B를 하면 결과가 A 더하기 B와 크게 다르지 않다는 뜻입니다. 둘째는 생산성 중심의 시험 방식입니다. 학습 때보다 더 긴 수열, 더 많은 단계, 더 큰 구성을 풀게 해서 일반화를 확인하는 방식이죠. 셋째는 행동 명시적 목표입니다. 목표 자체가 어떤 행동을 해야 할지를 꽤 직접적으로 알려주는 형태입니다.

각각을 따로 보면 합리적으로 보입니다. 길게 푸는 것도 능력이니까 길이를 늘리는 시험이 필요하고, 목표를 명확히 주는 것도 공정한 시험 조건처럼 보이기 때문입니다. 문제는 그다음입니다. 이 세 가지가 함께 깔리면 모델이 피해갈 수 있는 지름길이 생깁니다. 순서대로 붙이면 되는 행동, 길이로만 달라지는 시험, 무엇을 해야 할지 이미 알려주는 목표가 겹치면 추론 없이도 패턴 매칭으로 답에 이를 수 있기 때문입니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 지름길이 있다는 사실 자체보다 무서운 것은 지름길로 얻은 점수가 진짜 실력처럼 보인다는 점입니다. 점수가 높으면 아키텍처가 옳았구나 하고 넘어가기 쉽고, 다음 연구는 그 점수를 출발점으로 삼습니다. 그런데 출발점이 어긋나 있었다면, 그 위에 쌓이는 논의도 함께 기울 수밖에 없죠. 저는 그래서 이 진단을 연구실 점수 이상으로 평가했습니다. 운영의 아침을 지켜주는 장치이기 때문입니다. 배포된 에이전트가 테스트에서는 멀쩡하다가 현장에서 엇나가는 사고가 대개 이런 간극에서 시작되니까요.

추론 세 가지를 한 판에 올리면 무슨 일이 생길까

저자들이 제안한 TranSGrid는 이 간극을 메우기 위한 시험대입니다. 이름에 담긴 뜻 그대로 격자 형태의 세계에서 에이전트가 움직이며 문제를 푸는 과제인데, 겉모습보다 설계 의도가 더 중요합니다. 연역과 귀납과 가추라는 세 가지 추론을 하나의 과제 흐름 안에 함께 넣었다는 점이 바로 그것입니다. 따로따로 내던 시험을 하나로 합친 셈이죠.

왜 굳이 합쳤을까요. 현실의 문제는 추론 한 가지로 끝나지 않기 때문입니다. 규칙을 적용하는 일과, 관찰에서 규칙을 뽑아내는 일과, 목표를 거꾸로 짚어 행동을 정하는 일이 한 문제 안에서 맞물려 돌아갑니다. 가령 창고 로봇을 떠올려 보시면 됩니다. 로봇은 이동 규칙을 따라야 하고, 지금까지의 성공과 실패에서 어떤 동선이 막혀 있는지를 알아내야 하며, 최종 적재 목표를 보고 지금 당장 무엇을 들어야 할지를 정해야 합니다. 어느 하나가 빠져도 일이 안 되죠. TranSGrid는 이 얽힘을 격자 위에서 재현하려는 시도입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 세 가지를 합쳤다고 해서 무조건 어려운 시험이 좋은 시험이 되는 것은 아니기 때문입니다. 합친 구조가 인위적이면 현실과 동떨어진 어려운 문제만 만들게 됩니다. 그런데 이 논문의 합치기는 그보다는 야무집니다. 각 추론이 과제 안에서 맡은 자리가 분명하고, 그 자리를 하나씩 덜어냈을 때 점수가 어떻게 돌아오는지를 실제로 보여주기 때문입니다. 다시 말해 어렵게 만든 것이 아니라, 어려움의 출처를 가리킬 수 있게 만든 것이죠. 저는 이 점에서 시험 설계의 태도가 마음에 들었습니다.

연역과 귀납과 가추는 각자 어떤 일을 할까

헷갈리는 지점을 그냥 넘기면 뒤의 숫자가 잘 읽히지 않으니, 세 추론의 분업부터 정리해 보겠습니다. 연역은 규칙을 적용하는 일입니다. 앞으로 두 칸 가면 벽에 닿는다는 규칙이 있으면 그대로 따르는 것처럼요. 귀납은 관찰에서 규칙을 뽑아내는 일입니다. 몇 번 부딪혀 보고 나서 이 구역은 돌아가야 한다는 패턴을 알아내는 것처럼요. 가추는 목표에서 거꾸로 짚는 일입니다. 최종적으로 저 상자에 닿아야 한다면 지금은 왼쪽 길을 골라야 한다는 식으로 현재 행동을 정하는 일입니다.

TranSGrid 안에서는 이 셋이 서로 다른 타이밍에 필요합니다. 에이전트는 규칙을 따라 움직이면서도, 행동을 이어 붙인 결과가 매번 단순 합이 아니라는 점을 몸으로 배워야 합니다. 어떤 행동은 앞선 행동의 효과를 바꾸어 버리니까요. 동시에 목표는 행동 지시문처럼 친절하지 않습니다. 목표 상태를 보고 어떤 행동 순서가 그 상태로 이어질지를 스스로 메워야 합니다. 그래서 모델은 적용하고, 뽑아내고, 거꾸로 짚는 일을 한 문제 안에서 계속 오가야 합니다.

그렇다면 왜 기존 시험은 이 얽힘을 놓쳤을까요. 행동이 거의 선형적으로 이어진다면 귀납의 몫이 줄어들기 때문입니다. 결과를 더해보면 되니 관찰에서 규칙을 뽑아낼 이유가 약해집니다. 목표가 행동 수준에서 명시적이라면 가추의 몫도 줄어듭니다. 무엇을 할지 이미 알려주니 거꾸로 짚을 필요가 없어지죠. 남는 것은 규칙 적용, 즉 연역에 가까운 일뿐입니다. 그러면 시험은 추론 종합 세트가 아니라 적용 문제집이 됩니다. 점수는 높게 나오겠지만, 우리가 원래 궁금했던 것은 따로 있었던 셈입니다.

79.6%와 15.8% 사이에는 무엇이 끼어 있을까

이제 숫자를 찬찬히 들여다보겠습니다. 연구진은 일곱 가지 Transformer를 4,800개의 TranSGrid 사례로 평가했습니다. 모든 모델이 held-out 테스트보다 TranSGrid에서 훨씬 나빴다는 점이 먼저 눈에 띕니다. 그중 가장 큰 모델은 테스트셋에서 79.6%를 풀었지만 TranSGrid에서는 55.3%로 내려갔고, 가장 어려운 부분집합에서는 15.8%에 그쳤습니다. 일반 파일에만 남겼을 때는 17%에 그쳤지만 다른 조건에서는 55%까지 올라갔다는 식의 낙차가 아니라, 같은 모델의 실력이 시험지에 따라 세 단계로 갈라진 것입니다.

이 낙차를 저는 이렇게 읽었습니다. 79.6%는 익숙한 분포 안에서 패턴을 잘 이어 붙이는 실력이고, 55.3%는 낯선 얽힘 앞에서 추론을 끝까지 밀어붙이지 못하는 실력이며, 15.8%는 얽힘이 가장 빽빽한 구간에서 판단이 사실상 멈추는 모습입니다. 같은 모델인데 이렇게 다르게 보인다면, 모델 하나에 실력 하나라는 생각이 흔들립니다. 상황에 따라 꺼내 쓰는 방식이 달라지는 셈이죠. 그런데 이 해석은 뒤집어 보면 희망적이기도 합니다. 가중치를 탓하기 전에 시험이 무엇을 요구했는지를 물을 수 있게 되니까요.

개인적으로 인상 깊었던 점은, 어려운 부분집합의 낙차가 유난히 크다는 것입니다. 55.3%에서 15.8%로 떨어지는 구간은 단순히 문제를 더 꼬아서 생긴 낙차로 보기 어렵습니다. 추론 부담이 어느 임계점을 넘으면 모델의 전략 자체가 무너진다는 신호에 가깝기 때문입니다. 사람은 어려운 문제를 만나면 속도를 늦추고 단계를 나누는데, 모델은 그런 전환 없이 같은 방식으로 밀어붙이다가 한꺼번에 무너지는 것처럼 보입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 추론이 막히는 지점을 미리 감지해서 멈추거나 도움을 요청하게 만들 수 있을까요.

길이가 같은데도 못 푼다면 무엇을 봐야 할까

생산성이라는 말은 길게 푸는 능력을 뜻합니다. 학습 때는 짧게 보고 시험 때는 길게 푸는 식이죠. 기존 평가는 이 길이를 일반화의 잣대로 자주 썼습니다. 길게 풀면 조합을 안다고 본 것입니다. 그런데 이 논문은 학습 길이 범위 안에서도 TranSGrid와 테스트셋 사이의 간극이 그대로 남는다고 보고합니다. 길이가 같은데도 점수가 갈린다는 뜻입니다.

이 대목은 길게 음미할 가치가 있습니다. 길이가 같다는 것은 생산성이라는 잣대로는 두 시험이 똑같이 쉬워야 한다는 뜻이기 때문입니다. 그런데도 점수가 갈렸다면, 잣대가 재지 못하는 다른 차원이 있다는 이야기가 됩니다. 이유를 따라가 보면 어렵지 않습니다. 같은 길이라도 매 단계에서 무엇을 결정해야 하는지가 다르면 체감 난이도가 달라집니다. 순서만 외우면 되는 열 단계와 매번 규칙을 뽑고 목표를 거꾸로 짚어야 하는 열 단계는 길이는 같아도 다른 시험이기 때문입니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 서빙할까요. 현장의 에이전트 작업은 대체로 길이가 정해져 있습니다. 창고 한 바퀴, 문서 뭉치 하나, 상담 한 건처럼요. 길이를 늘리는 시험이 현장과 멀어지는 이유가 여기 있습니다. 현장에서 터지는 실패는 대개 길어서가 아니라 얽혀서 생깁니다. 규칙은 아는데 예외가 있고, 예외는 알겠는데 목표가 모호한 상태 말입니다. 그렇다면 길이를 늘리기 전에 얽힘을 늘리는 시험이 먼저가 되어야 하지 않을까요. 이 논문은 그 물음을 숫자로 밀어붙인 셈입니다.

행동을 단순하게 만들면 시험이 왜 쉬워질까

저자들은 TranSGrid를 일부러 쉽게 바꾼 변형도 함께 시험했습니다. 그중 하나는 행동이 거의 선형적으로 이어지도록 만든 버전입니다. 행동 A와 행동 B를 합친 결과가 대체로 A 더하기 B처럼 나오게 손본 것이죠. 그러자 귀납의 부담이 줄었고, 풀이율은 테스트셋 수준으로 거의 돌아왔습니다. 어렵던 시험이 평범한 held-out 시험처럼 변한 것입니다.

이 결과는 얼핏 보면 당연해 보입니다. 쉽게 만들었으니 점수가 오른 것이 당연하다는 말이죠. 하지만 저자들의 해석은 한 겹 더 들어갑니다. 쉽게 만든 조건 하나가 점수를 통째로 되돌렸다는 것은, 원래 시험의 어려움이 바로 그 조건에서 왔다는 뜻이기 때문입니다. 다시 말해 행동의 비선형적인 얽힘이야말로 TranSGrid를 TranSGrid답게 만들던 재료였다는 이야기입니다. 재료를 빼니 남는 것은 익숙한 시험뿐이었던 셈이죠.

여기서 재미있는 질문이 생깁니다. 현실의 행동은 선형에 가까울까요, 얽힘에 가까울까요. 저는 후자에 가깝다고 봅니다. 로봇 팔로 물건을 집는 일만 해도 앞선 동작이 물체의 자세를 바꾸어 버려서 다음 동작의 의미가 달라집니다. 문서 작업을 해도 먼저 고친 문장이 뒤쪽 문단의 조건을 바꾸어 버립니다. 에이전트가 만지는 세계는 대체로 더하기가 통하지 않는 세계입니다. 그런데 시험에서만 더하기가 통하는 세계를 깔아 둔다면, 시험에서 잘하는 모델이 현장에서 헤매는 일은 당연한 귀결이 됩니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 행동 얽힘을 덜어낸 점수는 그래서 할인해서 읽어야 합니다.

목표를 친절하게 알려주면 무엇이 사라질까

다른 쪽 변형은 목표를 행동 수준에서 명시적으로 준 버전입니다. 무엇을 이뤄야 하는지가 아니라 무엇을 해야 하는지를 알려주는 식이죠. 그러자 가추의 부담이 줄었고, 역시 풀이율은 테스트셋 수준으로 돌아왔습니다. 이쪽 단순화 하나만으로도 TranSGrid는 평범한 held-out 시험으로 축소되었습니다.

이 대목은 에이전트를 만드는 사람에게는 꽤 쓰라립니다. 목표를 친절하게 주는 것이 공정한 시험처럼 보이지만, 실은 에이전트에게 가장 중요한 일을 대신해 주는 셈이기 때문입니다. 현장에서 목표는 대개 상태로 주어집니다. 재고가 이렇게 정리되어 있어야 한다, 문서가 이런 모양이어야 한다는 식이죠. 어떤 버튼을 몇 번 누르라는 식으로 주어지지 않습니다. 상태와 행동 사이의 간극을 메우는 일이 바로 에이전트의 일인데, 시험에서 그 일을 덜어준다면 무엇을 평가한 셈일까요.

반면 목표가 모호하다고 해서 무조건 좋은 시험이 되는 것도 아닙니다. 목표가 너무 빈약하면 시험이 운에 좌우되기 때문입니다. 그래서 이 실험이 주는 메시지는 균형에 가깝습니다. 목표 명시 수준을 하나의 다이얼로 보고, 그 다이얼을 돌릴 때 점수가 어떻게 움직이는지를 보라는 것이죠. 다이얼을 친절한 쪽으로 끝까지 돌렸을 때 점수가 테스트셋으로 돌아간다면, 원래 시험의 어려움에는 가추가 들어 있었다는 뜻이 됩니다. 저는 이 분석 방식이 마음에 들었습니다. 어려움을 주장하는 데서 그치지 않고 어려움의 지분을 쪼개 보여주기 때문입니다.

그래서 다음 시험지는 어떻게 만들어야 할까

질문도 바뀌었습니다. 길게 푸는가에서 무엇을 함께 푸는가로 말이죠. 이 논문이 남긴 가장 또렷한 문장은 생산성만으로는 체계적 일반화를 평가하기에 충분하지 않다는 대목입니다. 길이는 여전히 유용한 신호이지만, 길이가 전부는 아니라는 뜻입니다. 같은 길이 안에서도 추론의 구성이 달라지면 점수가 갈리기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 추론 부담을 늘린 시험에서 배운 교훈을 모델 설계로 어떻게 되돌릴 것인가 하는 점입니다. 저는 귀납 부담이 큰 구간과 가추 부담이 큰 구간을 나누어 보는 일이 먼저라고 봅니다. 관찰에서 규칙을 뽑아내지 못해 무너지는지, 목표에서 행동을 거꾸로 세우지 못해 무너지는지에 따라 고쳐야 할 부품이 달라지기 때문입니다. 예를 들어 메모리를 보강할지, 계획 모듈을 손볼지, 보상을 다시 설계할지의 판단이 갈립니다. 시험이 어려움의 출처를 가려주면, 처방도 덩달아 또렷해집니다.

제가 앞으로 보고 싶은 것은 TranSGrid 바깥으로의 확장입니다. 격자 세계를 벗어나 문서 편집이나 도구 호출처럼 행동의 여파가 뒤따르는 과제에서도 같은 낙차가 나타나는지 궁금합니다. 또한 일곱 가지 Transformer를 넘어선 다른 구조에서도 간극이 같은 모양으로 남는지 보고 싶습니다. 만약 모양이 같다면, 문제는 개별 모델의 크기가 아니라 평가가 깔아 둔 약속에 있다는 쪽으로 무게가 실립니다. (참고로 저는 이런 식의 변형 실험을 오답 노트처럼 봅니다. 틀린 이유를 적어 두면 다음 시험지를 더 잘 만들 수 있으니까요.)

남은 물음은 사람을 향합니다

처음 TranSGrid의 숫자를 봤을 때는 모델이 부족하다는 생각이 먼저 들었습니다. 그런데 글을 따라가다 보니 생각이 바뀌었습니다. 모델이 부족했던 것이 아니라 시험이 쉬웠던 것은 아닐까 하고요. 79.6%라는 점수는 익숙한 약속 안에서의 실력이었고, 55.3%와 15.8%는 약속을 걷어냈을 때의 얼굴이었기 때문입니다. 뭐가 진짜 실력인가를 묻는다면, 저는 후자에 더 가깝다고 봅니다. 현장은 약속을 지켜주지 않으니까요.

그렇다면 사람의 역할은 무엇일까요. 저는 시험을 만드는 일이라고 봅니다. 길이를 늘리는 손쉬운 어려움 대신 얽힘을 설계하는 어려움, 정답률을 올리는 시험 대신 실패의 출처를 가려주는 시험을 만드는 일 말입니다. 이 논문은 그 방향으로 한 걸음 내디딘 셈입니다. 연역과 귀납과 가추를 한판에 올렸더니 점수가 갈렸고, 단순화를 하나씩 되돌리니 점수가 돌아왔다는 기록은 앞으로의 시험 설계자에게 꽤 단단한 발판이 됩니다. 다음 시험지를 받아 들었을 때, 저는 먼저 이렇게 물을 것 같습니다. 이 시험은 길이를 묻나요, 아니면 얽힘을 묻나요.