정해지지 않은 일을 맡는다는 것, 세 가지 조건에 대한 이야기

Open-world AI: a Tale of Three Requirements는 arXiv에 공개된 이론 연구로 arXiv 번호 2610.20782로 등록되어 있다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리되는데, 닫힌 세계를 벗어나 처음 보는 일을 맡으려면 추론 시간에 배우는 능력과 넉넉하게 담아두는 표현과 입출력을 짝지어 나누는 분리가 함께 필요하다는 것이다. 이 글에서는 그 문제의식에서 출발해 닫힌 세계와 열린 세계의 갈림길, 세 가지 조건이 왜 따로 놀 수 없는지, 그리고 8B 이하 언어 모델 실험이 말하는 것을 차례로 따라간다.

왜 조용한 시험장에서는 통하던 이론이 바깥에서는 힘을 잃을까

제가 이 논문에서 가장 먼저 멈춰 선 부분은 출발점의 진단이었다. 닫힌 세계에서는 풀어야 할 일이 하나로 정해져 있고, 그래서 예시를 모을수록 분포가 점점 채워진다고 연구진은 말한다. 그렇다면 이 가정은 어디에서 오는 것일까. 이론이 세상을 닮아서 생긴 것이 아니라, 우리가 일을 고정해 두었기 때문에 이론이 맞도록 만들었다는 것이 이 연구의 시선이다. 예시를 충분히 모으면 커버리지가 생기고, 커버리지가 생기면 독립 항등 분포라는 가정이 그럴듯해진다. 순서가 뒤집혀 있는 셈인데, 세상에서 분포를 발견한 것이 아니라 시험장을 지어서 분포를 제조했다는 것이다.

생각해보면 사람도 비슷하게 시험을 만든다. 문제집을 반복해서 풀게 하면 점수는 오르는데, 그 점수가 현장에서의 대처 능력을 뜻하지는 않는다. 문제집 안에서는 어제 본 문제와 내일 볼 문제가 같은 상자에서 나오니까요. 그런데 상자 바깥에서 문제가 날아오면 이야기가 달라진다. 어제까지의 분포가 오늘의 문제를 설명하지 못하기 때문이다. 저는 이 대목에서 연구진이 닫힌 세계를 탓하는 것이 아니라 이론의 사용 조건을 묻고 있다고 봤다. 이론이 틀렸다는 말이 아니라, 이론이 맞도록 방을 꾸며두었다는 지적이죠. 그렇다면 방 바깥으로 나가면 무엇을 새로 갖춰야 할까. 이 질문이 글 전체를 이끈다.

실제 시스템 관점에서 보면 다음 의문이 바로 생긴다. 분포가 갖춰진 방 안에서도 모델은 충분히 쓸모 있지 않았을까. 물론 그렇다고 답해야 하는데, 번역이나 분류처럼 일이 고정된 자리에서는 닫힌 세계의 문법이 여전히 강하기 때문이다. 문제는 에이전트처럼 일이 수시로 바뀌는 자리인데, 어제 정리한 파일 형식과 오늘 받은 요청이 다르고, 어제 통하던 도구가 오늘은 막히는 장면이 생긴다. 저는 그래서 이 진단을 연구실 점수 이상으로 평가했다. 운영의 아침을 지켜주는 이야기는 언제나 방 바깥에서 시작되기 때문이다.

처음 보는 일을 맡는다는 말은 정확히 무엇을 뜻할까

두 번째로 짚어야 할 것은 versatility라는 단어의 쓰임이다. 연구진이 말하는 versatility는 여러 일을 잘한다는 막연한 칭찬이 아니라, 만들 때 염두에 두지 않은 일을 적은 예시와 적은 설계자 도움으로 맡는 능력을 뜻한다. 그렇다면 여기서 적은 예시란 무엇일까. 수백만 장을 모아두었다가 꺼내는 방식이 아니라, 눈앞에 놓인 몇 장을 보고 바로 감을 잡는 방식이다. 그리고 적은 설계자 도움이라는 말은 사람이 미리 손질해 둔 설명서 없이도 일을 시작한다는 뜻이다. 설명서가 있어야만 움직이는 기계와, 설명서가 없어도 주변을 보고 움직이는 존재 사이의 차이가 바로 여기에 있다.

식당 주방을 떠올려보자. 메뉴판에 있는 요리만 만드는 주방과, 손님이 냉장고에 있는 재료로 뭔가 해달라고 부탁했을 때 그 자리에서 궁리하는 주방은 다르다. 전자에서는 레시피를 외우는 것이 실력이고, 후자에서는 재료와 도구와 손님의 표정을 함께 읽는 것이 실력이다. 연구진이 그리는 열린 세계는 후자에 가깝다. 그런데 왜 이런 일을 굳이 기계에게 시키려 할까. 세상이 메뉴판대로만 움직이지 않기 때문이다. 메뉴판 바깥의 주문이 매일 들어오는데, 그때마다 설계자를 불러올 수는 없지 않을까.

여기서는 조금 조심해서 읽을 필요가 있는데, versatility가 만능이라는 뜻이 아니기 때문이다. 무엇이든 다 잘한다는 말이 아니라, 정해지지 않은 일을 처음 만났을 때 무너지지 않고 시작할 수 있다는 말이죠. 저는 이 구분이 논문의 태도를 보여준다고 봅니다. 크게 약속하지 않고, 대신 시작 조건을 정확히 말하는 것이죠. 그렇다면 시작을 가능하게 하는 장치는 무엇일까. 연구진의 답은 세 가지이며, 다음 세 장면에서 하나씩 풀어보겠다.

왜 미리 배운 것만으로는 부족해서 그 자리에서 배워야 할까

첫 번째 조건은 inference-time learning이다. 일이 미리 정해지지 않았으니, 배움도 미리 끝낼 수 없다는 것이 연구진의 설명이다. 학습을 마치고 문을 닫은 뒤에 배포하는 순서는 닫힌 세계에서는 말이 되는데, 열린 세계에서는 문을 닫는 순간 새로운 일이 들어오기 때문이다. 그래서 기계는 동작하면서 배워야 한다. 눈앞의 예시를 보고, 그 예시에서 규칙을 뽑고, 뽑은 규칙을 바로 다음 판단에 써야 한다는 것이다.

학교 시험으로 비유해볼 수 있는데, 닫힌 세계의 공부는 기출문제를 외우는 것에 가깝고 열린 세계의 공부는 처음 보는 문제를 그 자리에서 푸는 것에 가깝다. 기출문제만 외운 학생은 문제집이 바뀌면 손이 멈춘다. 반면 문제를 푸는 방법을 그 자리에서 찾는 학생은 문제집이 바뀌어도 다시 시작할 수 있죠. 차이는 외운 양이 아니라 푸는 태도에 있다. 연구진이 말하는 추론 시간 학습도 같은 자리인데, 가중치를 얼마나 많이 외웠느냐가 아니라 눈앞의 맥락을 얼마나 빨리 일로 바꾸느냐가 관건이다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 학습을 언제 하느냐는 일정표의 문제가 아니라 능력의 정의이기 때문이다. 미리 배우는 기계는 과거의 분포를 기억하고, 그 자리에서 배우는 기계는 현재의 관계를 읽는다. 그런데 여기서 재미있는 질문이 생긴다. 그 자리에서 배운다는 것은 정확히 어디에서 일어날까. 가중치를 고치는 것일까, 아니면 문맥 안에서 잠깐 굴리는 계산일까. 연구진의 이론은 후자 쪽에 무게를 두는데, 길게 이어지는 문맥 안에서 일관된 학습자가 돌아가야 한다는 예측으로 이어진다. 이 이야기는 뒤에서 다시 다루겠다.

왜 아끼지 않고 남기는 표현이 오히려 도움이 될까

두 번째 조건은 rich representation이다. 독립 항등 분포 아래에서 일반화하는 데 필요한 것보다 더 많은 정보를 남겨두라는 것이 연구진의 처방이다. 표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 아끼는 것이 미덕처럼 보이는데, 왜 굳이 더 남기라는 것일까. 이유는 뒤에 올 일을 모르기 때문이다. 지금 필요한 것만 남기면 나중에 필요한 것이 지워진다. 그래서 지금은 쓸모없어 보이는 것까지 품고 있어야, 나중에 그 쓸모가 드러났을 때 꺼낼 수 있다.

이사를 앞둔 창고를 생각해보자. 당장 쓰는 물건만 남기고 나머지를 버리면 창고는 깔끔해진다. 그런데 한 달 뒤에 계절이 바뀌면 버린 물건이 필요해진다. 버릴 때는 몰랐던 필요가 나중에 생기기 때문이다. 표현도 마찬가지인데, 닫힌 세계에서는 지금 풀 일에 맞게 표현을 졸이는 것이 효율이다. 열린 세계에서는 그 졸임이 독이 된다. 무엇을 버릴지 미리 알 수 없는데 미리 버렸기 때문이다. 그래서 연구진은 남기는 쪽을 택한다. 넉넉하게 담아두어야 처음 보는 일 앞에서도 빈손이 되지 않는다는 것이다.

저는 여기서 조금 의심했다. 많이 남기면 잡음까지 남는 것 아닐까. 실제로 그렇게 되면 표현은 커지고 계산은 무거워지는데, 이 비용을 누가 치를까. 그런데 연구진의 분해는 이 의심을 다음 조건으로 넘긴다. 많이 남기는 것만으로는 부족하고, 남긴 것을 어떻게 묶어두느냐가 함께 가야 한다는 것이다. 창고에 물건을 쌓는 것과 창고에 서랍을 짜두는 것은 다른 일이니까요. 그렇다면 서랍은 어떻게 짜야 할까. 다음 장면이 그 답이다.

입력과 출력을 짝지어 나눈다는 것은 무슨 장면일까

세 번째 조건은 predictive disentanglement다. 입력과 출력을 서로 맞는 낮은 차원의 묶음으로 정렬하라는 것이 연구진의 말이다. 그렇다면 낮은 차원이라는 말은 무엇을 뜻할까. 정보를 뭉개서 버리라는 말이 아니라, 흩어진 정보를 짝이 맞는 쪽끼리 묶으라는 말이다. 어떤 입력 조각이 어떤 출력 조각을 움직이는지를 미리 정리해 두면, 처음 보는 일이 와도 어디를 만져야 할지 알 수 있기 때문이다.

서랍장을 떠올려보자. 양말과 수저와 공구가 한 서랍에 뒤섞여 있으면 아침마다 손이 바쁘다. 무엇을 꺼내야 할지 알면서도 찾을 수가 없으니까요. 반면 양말 서랍과 수저 서랍과 공구 서랍이 따로 있고, 각 서랍에 맞는 손잡이가 달려 있으면 아침이 빨라진다. 입력과 출력의 묶음도 같은 이치인데, 서로 관계있는 것끼리 묶여 있어야 새로운 요청이 왔을 때 손이 갈 곳이 생긴다. 저는 이 비유가 논문의 수식을 대신한다고 봅니다. 분리란 버리는 기술이 아니라 짝을 찾는 기술이기 때문이다.

문제는 그다음이다. 묶는다는 것은 누가, 언제 정할까. 사람이 미리 정해주면 닫힌 세계로 돌아가고, 기계가 그 자리에서 찾아내면 열린 세계에 남는다. 연구진이 말하는 분리는 후자에 가깝다. 그래서 세 번째 조건은 첫 번째 조건과 맞물리는데, 그 자리에서 배우는 학습자가 있어야 묶음도 그 자리에서 다시 짤 수 있기 때문이다. 반대로 묶음이 잘 되어 있어야 학습자도 빨리 배운다. 어디를 만져야 할지 알면 적은 예시로도 충분하니까요. 이 맞물림이 바로 이론이 말하는 분해의 맛인데, 저는 이 대목에서 논문의 순서 감각이 좋다고 봤다. 조건을 따로 늘어놓지 않고 서로의 이유로 엮었기 때문이다.

세 가지가 맞물리면 안에서 어떤 학습자가 돌아갈까

여기까지 오면 자연스럽게 다음 질문이 생긴다. 세 가지 조건이 따로 있으면 되는 것일까, 아니면 하나로 맞물려야 하는 것일까. 연구진의 답은 후자인데, 이론의 분해가 그리는 그림은 안에서 일관되게 돌아가는 학습자다. 겉으로는 문장을 읽는 모델처럼 보여도, 속에서는 예시를 묶고 규칙을 갱신하는 작은 학습자가 꾸준히 같은 방식으로 움직여야 한다는 것이다. 오늘 본 예시와 내일 본 예시가 다른 상자에서 와도, 다루는 손놀림은 같아야 한다는 뜻이다.

생각해보면 사람도 비슷하게 배운다. 과목이 바뀌어도 노트 정리 방식이 같은 학생이 있고, 과목마다 방식을 바꾸느라 허둥대는 학생이 있다. 전자는 과목이 바뀌어도 금방 적응하고, 후자는 과목이 바뀔 때마다 처음부터 다시 헤맨다. 차이는 머리가 아니라 손놀림의 일관성에 있다. 연구진이 말하는 일관된 학습자도 같은 자리인데, 관련 있는 일이 길게 이어질 때 그 일관성이 빛난다. 길이 길어질수록 손놀림이 같은 쪽이 유리하기 때문이다.

실제 시스템 관점에서 보면 다음 질문이 바로 생긴다. 이런 속 학습자를 어떻게 확인할 수 있을까. 겉으로 보기에는 그냥 문맥이 길어진 것뿐인데, 안에서 학습이 돌아가는지 어떻게 알 수 있을까. 연구진이 내놓은 예측은 꽤 직접적인데, 관련 있는 일이 문맥 안에 길게 쌓일 때 도움이 되어야 한다는 것이다. 관련 없는 글을 길게 붙이는 것과는 다르다. 서로 이어지는 일이 쌓일 때, 그 쌓임이 약이 되어야 진짜라는 것이다. 그렇다면 이 예측은 실험에서 어떻게 갈렸을까. 다음 장면부터가 그 대목이다.

곁에 쌓인 관련 일이 약이 되는 경우와 독이 되는 경우

연구진은 8B 이하의 언어 모델들을 놓고 관련 있는 일이 문맥 안에 쌓일 때 어떻게 되는지를 봤다. 결과는 갈렸다. 조건을 갖춘 쪽은 관련 일이 쌓일수록 나아졌고, 그렇지 못한 쪽은 오히려 나빠졌다. 같은 양의 문맥을 주었는데 방향이 반대로 간 것이다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 길이가 아니라 쌓인 것 사이의 관계가 결과를 갈랐기 때문이다.

도서관에서 공부하는 모습을 떠올려보자. 같은 과목 문제집을 여러 권 펼쳐두면 공부가 빨라진다. 서로 겹치는 부분이 머릿속에서 이어지기 때문이다. 그런데 과목도 다르고 연도도 다른 문제집을 마구 펼쳐두면 오히려 머리가 어지러워진다. 양은 같은데 질이 다른 셈인데, 쌓임이 도움이 되려면 쌓인 것끼리 이어져야 한다. 실험에서 갈린 방향도 같은 이야기다. 관련 있는 일이 쌓였을 때 그것을 엮을 준비가 된 쪽은 약으로 썼고, 준비가 안 된 쪽은 독으로 받았다. 길이가 길다고 다 같은 길이가 아니었던 것이다.

여기서는 조금 조심해서 읽을 필요가 있다. 문맥이 길면 무조건 좋다는 식으로 읽으면 곤란하기 때문이다. 길이는 기회이지 보장이 아니다. 엮을 장치가 있어야 기회가 성적이 되는데, 이 장치가 바로 앞에서 본 세 가지 조건이다. 넉넉한 표현이 있어야 쌓인 것에서 꺼낼 것이 있고, 짝지어진 묶음이 있어야 어디를 엮을지 알며, 그 자리에서 배우는 손놀림이 있어야 엮음이 실제로 돈다. 저는 그래서 이 실험을 점수표가 아니라 자격 시험으로 읽었다. 긴 문맥은 모두에게 같은 시험지를 주었고, 준비된 쪽만 통과했다는 것이다. 그렇다면 준비되지 않은 쪽은 다른 방법으로 메울 수 있을까. 크기를 키우면 될까. 다음 질문이 바로 그것이다.

크기만 키우면 안 될까

가장 먼저 떠오르는 반박은 크기다. 모델을 키우면 해결되지 않을까. 더 크면 더 많이 외우고, 더 많이 외우면 처음 보는 일에도 대처하지 않을까. 그런데 연구진의 답은 아니오에 가깝다. 규모를 키워도 관련 문맥을 약으로 바꾸지 못하는 실패는 그대로 남았다는 것이다. 저는 이 대목이 논문의 정직한 부분이라고 봅니다. 크기의 힘을 부정하지 않으면서도, 크기가 메우지 못하는 구멍을 분명히 말하기 때문이다.

옷으로 비유해볼 수 있는데, 몸이 크다고 해서 주머니 구조까지 좋아지는 것은 아니다. 천을 늘리면 덮는 면적은 넓어지지만, 주머니가 뒤섞여 있으면 찾는 속도는 그대로다. 규모도 마찬가지인데, 담는 양은 늘어나도 엮는 방식까지 좋아지지는 않는다. 많이 담는 것과 잘 꺼내는 것은 다른 능력이다. 연구진이 말하는 실패는 꺼내는 쪽의 실패인데, 담는 쪽을 키워도 꺼내는 쪽이 좋아지지는 않았다는 것이다.

개인적으로 인상 깊었던 점은, 이 결과가 규모를 무시하라는 말이 아니라는 것이다. 규모는 여전히 많은 일을 밀어 올린다. 다만 이 특정한 시험, 즉 관련 일이 쌓일 때 그것을 엮어내는 시험에서는 규모가 답이 아니었다는 것이다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 규모는 비용을 치르고 얻는 것인데, 그 비용이 이 문제를 풀지 못한다면 다음 돈을 어디에 써야 할까. 이 질문이 구조 쪽으로 눈을 돌리게 한다.

층을 섞어 쌓으면 달라질까

다음으로 떠오르는 반박은 구조다. 층 종류를 번갈아 쌓으면 해결되지 않을까. 한 가지 결만 반복하지 말고 여러 결을 섞으면 엮는 능력이 생기지 않을까. 그런데 연구진이 본 바로는 층 종류를 섞는 것만으로는 실패가 고쳐지지 않았다는 것이다. 겉모양을 바꾸는 것만으로는 안쪽 손놀림까지 바뀌지 않았다는 뜻이다.

주방 도구를 떠올려보자. 칼과 냄비와 뒤집개를 번갈아 걸어두었다고 해서 요리가 늘지는 않는다. 도구의 순서가 아니라 쓰는 손이 문제라면, 걸어둔 순서를 바꿔도 저녁 메뉴는 그대로다. 층을 섞는 일도 같은 자리인데, 쌓는 순서를 만지는 것만으로는 문맥을 엮는 방식까지 바뀌지 않았다. 저는 이 결과를 꽤 무겁게 읽었다. 구조를 만지는 일이 늘 정답처럼 보이는데, 여기서는 무엇를 섞느냐보다 어떻게 엮느냐가 먼저라는 답이 나왔기 때문이다.

그렇다면 어떤 구조가 답일까. 논문은 특정 층 이름을 처방하지 않는다. 대신 조건을 말한다. 추론 시간에 배우고, 넉넉하게 남기고, 짝지어 묶는 쪽으로 구조를 짜라는 것이다. 처방이 아니라 방향이라는 점이 눈에 띈다. 저는 이 태도가 연구의 한계를 솔직하게 드러낸다고 봅니다. 무엇을 쌓을지가 아니라 무엇을 할 수 있어야 하는지를 말하는데, 그 할 수 있음이 실험에서 갈린 방향과 이어지기 때문이다. 그렇다면 남은 것은 이 방향을 어떻게 재고 어떻게 기를지인데, 마지막 장면에서 그 이야기를 해보겠다.

그래서 우리에게 남는 질문은 무엇일까

앞에서 미뤄뒀던 질문으로 돌아올 차례다. 이 이론이 맞다면 우리는 무엇을 달리 해야 할까. 저는 세 가지로 정리하고 싶다. 먼저 재는 법이다. 모델을 볼 때 고정된 시험의 점수만 보면 열린 세계의 준비를 놓친다. 관련 있는 일이 길게 쌓일 때 나아지는지를 함께 봐야 한다. 길어질 때 무너지는 쪽과 길어질 때 오르는 쪽은 같은 점수라도 다른 기계이기 때문이다. 시험지를 바꿔야 한다는 말인데, 무엇을 맞혔는지가 아니라 쌓임을 어떻게 쓰는지를 묻는 시험지가 필요하다.

다음은 만드는 법이다. 규모나 층 순서 같은 겉 조건에 돈을 쓰기 전에, 세 가지 안쪽 조건을 먼저 점검해야 한다. 눈앞의 예시를 그 자리에서 일로 바꾸는지, 나중을 위해 넉넉하게 남겨두는지, 입출력의 짝을 찾아 묶어두는지 말이다. 저희 팀에서 모델을 고를 때도 비슷한 순서를 밟는다. 숫자 뒤에 있는 손놀림을 먼저 묻는데, 길게 이어지는 현장 기록 앞에서 그 손놀림이 무너지는지는 꼭 확인한다. 숫자는 조건이 같을 때만 말이 되기 때문이다.

마지막은 쓰는 법이다. 에이전트를 현장에 둘 때, 관련 있는 일을 곁에 쌓아주는 일이 도움이 될지 해가 될지를 미리 가늠해야 한다. 준비된 쪽에게는 쌓임이 약이지만, 준비되지 않은 쪽에게는 쌓임이 독이 되기 때문이다. 월요일 아침 운영 장면을 떠올려보자. 지난주에 풀었던 비슷한 요청들을 곁에 두면 어떤 에이전트는 금방 감을 잡지만, 어떤 에이전트는 오히려 헤맨다. 그렇다면 우리는 어떤 에이전트를 쓰고 있는 것일까. 그리고 그 에이전트에게 어떤 곁을 내어줄 것일까.

이 논문이 흥미로운 이유는 세 가지 조건을 외우게 해서가 아니다. 닫힌 방에서 통하던 문법이 왜 바깥에서는 통하지 않는지를 보여주고, 그 바깥에서 살아남는 모양을 조건으로 말해주기 때문이다. 조건이 있다는 것은 기른다는 뜻이기도 하다. 추론 시간에 배우는 손놀림도, 넉넉하게 남기는 습관도, 짝을 찾아 묶는 정리도, 모두 설계와 운용으로 손댈 수 있는 부분이다. 제가 앞으로 보고 싶은 것은 이 조건들을 재는 더 손쉬운 자와, 그 자에서 오르는 작은 모델들의 사례다. 크지 않아도 엮을 줄 아는 기계가 나온다면, 현장의 아침은 조금 달라지지 않을까. 여러분은 지금 쓰는 모델이 관련 일이 쌓일 때 어떤 쪽으로 움직이는지 직접 확인해 본 적이 있을까.