기억하는 척을 넘어서는 시험, PRAGMA가 묻는 것

PRAGMA: Evaluating Personalized Guidance with Memory Alignment in Lifelong Conversations는 arXiv에 공개된 연구로 arXiv 번호 2609.09664로 등록되어 있다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리된다. 오랜 시간 이어진 대화에서 개인 비서가 진짜로 해야 할 일은 사실을 맞히는 것이 아니라 과거를 엮어 지금에 맞는 조언을 건네는 것이며, 그래서 평가는 회상이 아니라 조언을 재야 한다는 것이다. 이 글에서는 그 문제의식에서 출발해 왜 기존 기억 평가가 비어 있었는지, PRAGMA가 어떤 장면을 시험하는지, 그리고 현재 시스템이 어디에서 미끄러지는지를 차례로 따라간다.

오래된 대화를 기억한다는 착각에서 시작했습니다

안녕하세요, 패트릭입니다. 제가 이 논문에서 가장 흥미롭게 본 부분은 출발점의 솔직함이었다. 요즘 언어 모델은 개인 비서처럼 쓰이고 있고, 오래 함께할수록 더 잘 알아주기를 기대받는다. 그런데 막상 평가 장면을 들여다보면 묻는 것은 엉뚱한 쪽에 가까웠다. 지난주에 말한 식당 이름을 맞히는지, 몇 달 전 약속 날짜를 그대로 읊는지 같은 것이었다. 물론 그런 기억도 필요하죠. 하지만 그것만으로 좋은 비서라고 부를 수 있을까.

생각해보면 사람도 비슷하게 배웁니다. 오래된 친구를 좋은 친구로 만드는 것은 생일을 외우는 능력이 아니다. 그 사람이 요즘 무엇을 고민하고, 무엇이 바뀌었고, 무엇을 오해하고 있는지를 알아채고 말해주는 감각이죠. 가령 친구가 작년까지는 매운 음식을 잘 먹다가 올해 들어 위가 안 좋아졌다고 여러 번 말했는데, 여전히 매운 집만 추천한다면 기억력은 좋아도 조언은 빗나간 셈이다. 저는 여기서 멈칫했습니다. 우리가 모델의 기억을 말할 때 자꾸 퀴즈 점수부터 떠올리는데, 사용자가 체감하는 기억은 조언의 모양으로 오기 때문이다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 태도로 이 논문을 읽으면 질문이 달라진다. 모델이 무엇을 외웠는지가 아니라 무엇을 엮었는지를 묻게 되기 때문이다. 그렇다면 우리가 진짜로 묻고 싶은 것은 무엇일까. 그 이야기로 들어가 보죠.

그렇다면 우리가 진짜로 묻고 싶은 것은 무엇일까

오랜 대화를 쓰는 사람이라면 누구나 비슷한 경험을 합니다. 처음에는 이것저것 알려주다가 어느 순간 지치죠. 매번 취향을 다시 설명하고, 바꾼 계획을 다시 말하고, 사정을 다시 덧붙여야 하니까요. 그래서 기대는 단순합니다. 한 번 말한 것은 알아서 이어달라는 것이죠. 그런데 이어준다는 말의 속을 들여다보면 생각보다 층이 많습니다.

PRAGMA가 겨냥한 지점이 바로 여기다. 논문이 말하는 개인화된 조언이란 추천이나 계획, 결정 도움처럼 삶에 바로 닿는 종류의 답이다. 이런 답은 한 문장에서 나오지 않는다. 여러 번에 걸친 대화에서 흩어진 조각을 모아야 하고, 그 사이에 바뀐 선호와 경험을 함께 읽어야 하기 때문이다. 가령 이사를 준비하는 사람에게 동네를 추천한다면 지난봄의 출근지와 지금의 출근지가 같은지, 예산이 어떻게 달라졌는지, 아이 학교 이야기가 언제 나왔는지를 함께 봐야 한다. 어느 하나만 맞히면 되는 시험이 아니라 흐름을 읽는 시험이죠.

문제는 그다음입니다. 흐름을 읽는 일은 어렵고, 재는 일은 더 어렵다. 정답이 하나로 떨어지는 퀴즈는 채점하기 쉽지만 조언은 맥락에 따라 달라지니까요. 그래서 기존 평가는 쉬운 쪽에 머물렀고, 어려운 쪽은 비어 있었다. 저는 이 공백이 우연이 아니라고 봅니다. 재기 어려운 것을 재겠다고 선언하는 일은 연구로서 부담이 크기 때문이다. 그 부담을 끌어안은 선택이 이 연구의 출발점인데, 다음 장면에서 그 선택이 더 또렷해진다.

정답 맞히기와 조언 건네기는 어떻게 다를까

기존 대화 기억 평가를 떠올려보자. 대체로 묻는 방식이 비슷했다. 긴 대화를 주고 답을 묻는다. 누가 언제 어디서 무엇을 했는지 같은 것이죠. 이런 평가는 깔끔합니다. 채점이 쉽고, 순위도 바로 나온다. 그런데 사용자 입장에서 보면 어딘가 허전하다. 실제로 비서에게 바라는 것은 그런 퀴즈가 아니기 때문이다.

여기서 재미있는 질문이 생깁니다. 왜 우리는 기억을 자꾸 회상으로만 재었을까. 이유 중 하나는 회상이 보이기 때문이라고 저는 봅니다. 맞았는지 틀렸는지가 바로 드러나죠. 반면 조언은 흐릿합니다. 같은 조언이라도 누구에게는 맞고 누구에게는 어긋나니까요. 그래서 평가는 보이는 쪽으로 기울었고, 보이지 않는 쪽은 각자 알아서 잘하겠거니 하고 남겨뒀다. 그런데 모델이 오래 쓰일수록 그 남겨둔 쪽이 정면으로 다가온다. 매일 쓰는 비서가 사실을 잘 외우는데 조언은 매번 엉뚱하다면 사용자는 금방 등을 돌릴 테니까요.

이 차이는 생각보다 중요합니다. 사실을 맞히는 일은 대개 한 지점을 찍으면 되는데, 조언을 건네는 일은 여러 지점을 엮어야 하기 때문이다. 선호가 언제 생겼고 언제 바뀌었는지, 경험이 어떤 순서로 쌓였는지, 지금 질문과 과거 조각이 어떻게 연결되는지를 함께 봐야 하죠. 일종의 오답 노트처럼요. 틀린 답을 모아두는 것이 아니라 바뀐 마음을 모아두는 일이다. 그렇다면 그 바뀐 마음을 시험에 담으려면 무엇이 필요할까. 논문이 준비한 재료가 다음 장면에 나온다.

여러 번의 대화를 하나로 엮으면 무엇이 보일까

PRAGMA가 준비한 재료는 세 가지로 읽힌다. 오랜 시간 이어진 대화 기록과 그 기록 어디가 중요한지를 표시한 증거 주석, 그리고 그 위에서 풀어야 하는 조언 장면이다. 여기서 눈에 띄는 것은 장면이 진화하는 맥락 위에 놓였다는 점이다. 사용자의 선호와 경험이 고정된 설정이 아니라 시간에 따라 바뀌고, 그 바뀐 상태를 읽어야 풀리는 문제로 설계되어 있기 때문이다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 대화 기록을 길게 주는 것과 그 기록을 엮어 쓰게 만드는 것은 다르기 때문이다. 길게 주기만 하면 모델은 훑을 수 있죠. 하지만 엮어 쓰게 만들려면 질문 자체가 달라져야 한다. 어느 한 대목만 찾으면 풀리는 문제가 아니라 여러 대목의 관계를 알아야 풀리는 문제여야 하니까요. 논문이 조언 장면을 앞에 둔 까닭이 여기 있다고 저는 봅니다. 찾았는지를 넘어 엮었는지를 묻겠다는 선언인데, 이 선언이 있어야 평가가 퀴즈에서 벗어난다.

예를 들어 화요일 밤의 장면을 떠올려보자. 사용자가 주말 여행을 물으며 예전처럼 바닷가를 가고 싶다고 말한다. 그런데 기록을 뒤지면 몇 달 전부터 장거리 운전이 부담스럽다는 말이 여러 번 나오고, 최근에는 조용한 실내 활동을 더 즐겼다는 대목도 있다. 이럴 때 좋은 조언은 바닷가 목록을 길게 늘어놓는 것이 아니라 그 변화를 먼저 짚는 것이다. 요즘은 운전이 부담스럽다고 하셨는데 이번에도 바닷가가 괜찮을지, 아니면 가까운 곳에서 쉬는 편이 나을지를 묻는 것이죠. 저는 이 장면이 논문의 성격을 잘 보여준다고 봅니다. 기억을 묻는 시험 같지만 실제로는 배려를 묻는 시험이기 때문이다. 그런데 배려 중에서도 특히 어려운 종류가 하나 더 있는데, 그 이야기가 다음이다.

틀린 전제를 가진 사람에게 어떻게 답할까

조언을 어렵게 만드는 것 중 하나는 사용자가 틀린 생각을 갖고 질문할 때다. 논문이 이런 장면을 따로 담았다는 점이 저는 마음에 들었다. 현실의 질문은 교과서처럼 깨끗하지 않기 때문이다. 사람은 날짜를 헷갈리고, 예전 정보를 지금도 맞는 줄 알고, 자기에게 유리한 쪽으로 기억을 다듬기도 하죠. 그런데 모델은 대체로 친절한 쪽으로 기울어서 사용자가 깔아둔 전제를 그대로 밟고 답하기 쉽다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 틀린 전제를 바로잡는다고 매번 정면으로 반박하면 되는 것이 아니기 때문이다. 관계를 생각하면 돌려 말해야 할 때도 있고, 증거가 약하면 확신 없이 물어야 할 때도 있죠. 하지만 최소한 과거 기록과 지금 질문이 어긋난다는 사실은 알아채야 한다. 그 어긋남을 못 본 채 답하면 조언은 처음부터 빗나가기 때문이다. 가령 사용자가 예전에 끊었다고 말한 구독을 아직 쓰는 줄 알고 계획을 짜주면 그 계획은 모래 위에 선 셈이다.

그렇다면 무엇을 봐야 할까. 저는 답을 고르기 전에 전제를 먼저 보는 습관이라고 봅니다. 질문 속에 숨어 있는 가정이 기록과 맞는지부터 확인하는 것이죠. 이 습관은 시험으로 만들기 까다롭지만 가르치기에는 분명한 방향을 준다. 찾은 증거와 질문의 전제가 맞물리는지를 따로 보게 만들기 때문이다. (참고로 이런 장면은 채점도 만만치 않은데, 반박의 말투까지 점수로 재면 평가가 금방 시끄러워집니다. 그래서 논문이 증거 정렬이라는 개념을 앞에 둔 흐름이 이해가 됩니다.) 그런데 증거를 잘 찾았는데도 조언이 어긋나는 경우가 있다. 그 간격이 다음 장면의 주제다.

찾아냈는데도 조언이 빗나가는 이유

흔히 하는 오해 중 하나는 필요한 대목을 찾으면 답은 저절로 따라온다는 생각이다. 검색이 되면 추론도 된다는 믿음이죠. 그런데 오래된 대화를 다루다 보면 이 믿음이 자주 깨진다. 조각은 찾았는데 그림이 안 보이는 순간이 있기 때문이다. PRAGMA가 던지는 시선도 여기에 가깝다. 증거를 찾는 일과 그 증거로 조언을 만드는 일을 나눠서 본다는 것인데, 저는 이 나눔이 꽤 정확하다고 봤다.

이유를 뜯어보면 층이 갈린다. 먼저 시간의 층이 있다. 같은 말이 여러 시점에 나오면 어느 시점의 말이 지금에 맞는지를 가려야 하는데, 오래된 선호를 새 선호보다 앞에 두면 조언은 바로 어긋난다. 다음으로 관계의 층이 있다. 한 대목만 보면 맞는데 다른 대목과 함께 보면 틀린 경우가 있기 때문이다. 가령 예산이 늘었다는 기록과 지출을 줄이고 싶다는 최근 말이 함께 있으면 어느 쪽에 무게를 둘지 판단이 필요하다. 마지막으로 말하지 않은 것의 층이 있다. 기록에 없는 변화까지 짐작해야 할 때가 있는데, 이때는 모른다고 말하거나 되묻는 쪽이 더 좋은 조언이 된다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 검색 점수가 높은 시스템이 왜 조언에서는 미끄러질까. 저는 찾는 단위와 쓰는 단위가 달라서라고 봅니다. 검색은 대목 단위로 잘게 쪼개서 찾는데, 조언은 그 대목들을 시간 순서로 다시 세워야 하기 때문이다. 쪼개서 찾기에는 좋은 구조가 세워서 읽기에는 어색할 수 있죠. 이 간격을 메우려면 찾는 일과 엮는 일을 같은 설계 안에 두어야 한다. 그런데 요즘 가장 흔한 처방은 이 간격을 다른 방식으로 메우려 한다. 긴 문맥을 통째로 넣는 방식이죠. 그 처방을 다음에서 따져보죠.

문맥을 통째로 먹이면 기억이 해결될까

긴 문맥을 쓰는 모델이 늘면서 이런 기대가 생겼다. 어차피 다 넣을 수 있는데 따로 기억 장치가 필요할까 하는 것이죠. 통째로 넣으면 찾는 과정 없이 바로 읽으면 되니까 일견 깔끔해 보인다. 논문이 긴 문맥 모델까지 함께 시험했다는 점이 그래서 반갑다. 흔한 처방을 그냥 믿지 않고 직접 재본 셈이기 때문이다.

그런데 길게 넣는 일에는 대가가 따른다. 논문이 짚은 대로 계산 부담이 커지고, 정작 중요한 정보를 매번 골라 쓰는 일도 흔들리기 때문이다. 저는 이 대목을 운영의 언어로 읽었다. 한 번 물을 때마다 몇 달 치 대화를 통째로 올리면 속도가 느려지고 비용이 불어나는데, 그 비싼 읽기에서도 필요한 대목을 놓치면 손해가 두 배가 된다. 비싼데 부정확한 읽기만큼 곤란한 것도 없죠. 밤마다 쌓이는 대화를 아침마다 통째로 다시 읽는 비서를 상상해 보자. 성실해 보이지만 어딘가 비효율적이다. 매번 처음부터 헤매는 셈이기 때문이다.

물론 길게 넣는 방식이 틀렸다는 이야기는 아니다. 짧은 질문에는 여전히 편하고, 구현도 단순하죠. 하지만 오래 쓰는 비서라면 다른 계산이 필요하다. 자주 쓰는 것은 가까이 두고, 가끔 쓰는 것은 찾아오고, 바뀐 것은 따로 표시하는 식의 분업 말이다. 생각해보면 사람도 비슷하게 삽니다. 모든 기억을 매번 처음부터 되짚지 않고, 중요한 변화만 메모해두죠. 그렇다면 검색과 메모리와 긴 문맥은 각자 어디에 서 있을까. 세 갈래를 나란히 세워보면 그림이 또렷해진다.

검색과 메모리와 긴 문맥은 어디에서 갈라질까

논문이 검색 시스템과 메모리 시스템, 긴 문맥 모델을 함께 본 구성이 저는 가장 설득력 있게 느껴졌다. 한 가지 처방만 재면 그 처방의 실패가 전체의 실패처럼 보이기 쉬운데, 여러 갈래를 나란히 두면 실패의 모양이 갈리기 때문이다. 어디까지는 되고 어디부터는 안 되는지가 드러나죠. 이 갈림을 읽는 일이 평가의 진짜 수확이다.

갈림을 상상해 보자. 검색 쪽은 필요한 대목을 건져 올리는 데에는 익숙하다. 질문과 닮은 문장을 찾는 일이 본업이니까요. 그런데 그 대목이 여러 시점에 흩어져 있고 서로 살짝 어긋나면 다음 단계에서 머뭇거린다. 어느 것을 지금의 답에 쓸지 고르는 일이 검색의 바깥에 있기 때문이다. 메모리 쪽은 흩어진 것을 모아두는 데에는 뜻이 있다. 대화를 요약하거나 구조로 다듬어 둘 수 있죠. 하지만 모아두는 방식이 조언을 만드는 방식과 어긋나면 보관은 되는데 사용이 안 된다. 창고는 넓은데 작업대가 좁은 셈이다. 긴 문맥 쪽은 통째로 본다는 점에서 유연하다. 중간 과정 없이 읽으니까요. 그러나 길어질수록 주의가 분산되고, 바뀐 선호처럼 미묘한 변화를 놓치기 쉽다. 다 보는데 다 못 보는 모순이죠.

여기서 재미있는 질문이 생깁니다. 그렇다면 세 갈래 중 하나만 고르면 될까. 저는 그렇게 보지 않는다. 오래 쓰는 비서에 필요한 것은 찾는 일과 엮는 일과 갱신하는 일이 함께 도는 구조이기 때문이다. 어느 하나가 비면 다른 쪽이 그 빈틈을 메우려다 무리하게 된다. 논문이 증거를 찾는 실패와 증거를 쓰는 실패를 함께 말한 대목도 같은 방향으로 읽힌다. 찾는 시험과 쓰는 시험을 따로 두면 각자의 빈틈이 보이는데, 합쳐서 보면 그 사이의 끊김이 보인다. 그 끊김이 바로 다음 장면의 주제다.

증거는 찾았는데 조언은 왜 비어 있을까

논문의 결과 보고를 읽으며 저는 숫자보다 그 뒤의 구조가 더 중요하다고 봤다. 현재 시스템들이 적절한 증거를 찾는 데에서도, 그 증거를 조언으로 쓰는 데에서도 모두 힘겨워한다는 대목 때문이다. 어느 한쪽만 막힌 것이 아니라 양쪽이 함께 막혔다는 것인데, 이 진단은 생각보다 무겁다. 한쪽 문제라면 부품을 갈면 되지만 양쪽 문제라면 설계 자체를 봐야 하기 때문이다.

이 진단을 곱씹어보면 두 장면이 겹친다. 첫째, 못 찾는 경우다. 관련 대목이 여러 대화에 흩어져 있으면 질문과 겹치는 말이 적어서 건져 올리기 어렵다. 특히 선호가 바뀌는 과정은 한 문장으로 또렷하게 말해지지 않고 여러 말에 스며 있어서 찾기 단위와 어긋나기 쉽다. 둘째, 못 쓰는 경우다. 증거를 앞에 두었는데도 조언이 과거를 반영하지 않는다. 오래된 선호를 새 선호보다 앞세우거나, 틀린 전제를 그대로 받아쓰거나, 여러 증거 사이의 우선순위를 잘못 정하는 식이죠. 찾았는데 못 쓰는 이 간격이 저는 더 뼈아프다고 봤다. 찾았으니 됐다는 착각을 만들기 때문이다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 그 이야기는 마지막에 다시 다루겠습니다. 다만 여기서 한 가지는 분명하다. 회상 점수가 높다고 조언이 좋은 것은 아니라는 것이다. 회상은 한 지점을 찍는 시험이고 조언은 여러 지점을 엮는 시험인데, 찍는 연습만 오래 한 시스템이 엮는 장면에서 바로 통할 리가 없다. 그렇다면 엮는 능력을 기르려면 설계를 어디서부터 바꿔야 할까. 현장의 언어로 바꿔 물을 차례다.

실제 비서를 만든다면 무엇을 다르게 설계할까

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 좋은데, 이걸 어디에 올릴까요. 매일 수만 명이 몇 달 치 대화를 안고 묻는데, 그때마다 통째로 읽을 수는 없기 때문이다. 저는 그래서 논문이 가리키는 다음 과제를 구조의 문제로 읽었다. 더 크게 외우는 것이 아니라 더 잘 엮는 쪽으로 가야 한다는 것인데, 엮는 일은 저장과 검색과 추론이 함께 돌아야 한다.

먼저 저장이 달라져야 한다. 대화를 그대로 쌓는 것을 넘어 무엇이 바뀌었는지를 따로 남겨야 하기 때문이다. 선호의 유효기간, 경험의 순서, 질문 속에 숨어 있는 전제와 어긋나는 지점 같은 것이 그 예다. 이런 표시는 검색을 편하게 만들 뿐 아니라 조언을 만들 때도 기준이 된다. 다음으로 검색이 달라져야 한다. 닮은 문장을 찾는 것을 넘어 지금 질문에 맞는 시점의 조각을 찾는 쪽으로 가야 하기 때문이다. 오래된 말과 최근 말의 무게를 다르게 두는 식이죠. 마지막으로 쓰는 과정이 달라져야 한다. 증거를 나열하는 것을 넘어 증거 사이의 우선순위를 정하고, 모자란 부분은 되묻고, 틀린 전제는 바로잡는 흐름이 필요하다. 나열은 친절해 보이지만 엮지 않으면 조언이 되지 않는다.

물론 이런 분업에도 함정이 있다. 모아둔 구조가 잘못되면 그 뒤는 줄줄이 어긋나기 때문이다. 요약이 변화의 방향을 뭉개거나, 검색이 오래된 조각만 건져 오면 조언은 처음부터 빗나간다. 그래서 저는 평가를 부품별로만 보지 말고 엮는 과정까지 함께 보자는 논문의 태도에 동의한다. 부품 점수가 좋아도 엮는 점수가 나쁘면 사용자는 나쁘다고 느끼니까요. (참고로 운영에서는 이 엮는 과정이 비용과 직결되는데, 매번 통째로 읽는 쪽이 단순하지만 비싸고, 잘 모아두는 쪽은 처음에는 손이 가지만 오래 쓸수록 싸집니다. 어느 쪽이 나은지는 쓰는 기간에 따라 갈리죠.) 그렇다면 이런 설계를 하면 무엇이 달라질까. 마지막 질문으로 넘어가 보죠.

그래서 오래 곁에 두는 비서에게 무엇을 물을까

지금까지의 흐름을 다시 모아보자. 기존 평가는 사실을 맞히는 쪽에 머물렀고, 그 사이 사용자가 진짜로 원하는 추천과 계획과 결정 도움은 비어 있었다. PRAGMA는 그 빈 곳에 오랜 대화와 증거 표시와 조언 장면을 함께 두었다. 그리고 여러 갈래의 시스템을 같은 장면에 세워 어디에서 미끄러지는지를 보여주었다. 찾는 데에서도, 쓰는 데에서도 모두 막힌다는 것이었다.

저는 이 결과를 마음에 들지만 여기까지 일반화하기에는 자료가 부족하다고 본다. 증거 자료로 받은 요약만으로는 세부 조건까지 단정하기 어렵기 때문이다. 다만 방향은 분명하다. 회상을 넘어선 조언을 재겠다는 방향, 찾는 일을 넘어 엮는 일을 보겠다는 방향, 통째로 읽기만으로는 부족하다는 방향이죠. 이 세 방향이 모이면 다음 연구의 모습도 그려진다. 변화의 표시를 어떻게 남길지, 시점에 따라 가중치를 어떻게 둘지, 틀린 전제를 어떻게 바로잡을지를 따로 재는 시험 말이다.

그렇다면 사람의 역할은 무엇일까요. 저는 오래 쓰는 비서일수록 사람에게 되묻는 용기가 중요하다고 봅니다. 모르는 변화를 짐작으로 메우지 않고, 어긋나는 전제를 그냥 넘기지 않고, 우선순위가 갈릴 때는 기준을 함께 정하는 것이죠. 기억을 잘한다는 것은 다 외운다는 뜻이 아니라 지금에 맞게 골라낸다는 뜻에 가깝기 때문이다. 여러분이 매일 쓰는 비서가 있다면 한 번 물어보셔도 좋겠습니다. 저에 대해 무엇이 바뀌었다고 생각하느냐고요. 그 답을 듣는 순간 그 비서의 기억이 퀴즈용인지 동반자용인지 드러날 테니까요.