바뀐 화면 앞에서 절차 기억은 어떻게 버틸까

오늘 다룰 논문은 Procedural Memory Under Change: Reuse and Interference in Controlled Web Tasks이며, arXiv에 2609.09774 번호로 공개된 연구입니다. 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 절차 기억이 맞지 않는 상태에서도 현재 화면의 증거가 분명하고 충분하면 미리 정해둔 간섭 신호가 나타나지 않을 수 있다는 것입니다. 원문 논문으로 이어지는 링크는 제목 아래에 걸어두었습니다.

제가 이 논문을 처음 집어든 이유는 거창한 성능 주장 때문이 아니었습니다. 오히려 조심스러운 문제의식 때문이었습니다. 에이전트에게 지난번에 통했던 요령을 기억하게 만들면 일이 빨라질까요, 아니면 화면이 조금만 바뀌어도 그 기억 때문에 엇나갈까요. 이런 질문은 데모에서는 잘 드러나지 않는데, 막상 운영 환경에서는 매일 부딪히는 장면이죠. 그래서 저는 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 무엇이 저장되고, 무엇이 바뀌고, 무엇이 그대로인지가 먼저 정리되어야 결과가 읽히기 때문입니다.

왜 어제의 요령이 오늘의 정답이 아닐까

여러 사람이 함께 일하다 보면, 지난주에 통했던 방식이 이번 주에는 어긋나는 순간이 있습니다. 그렇다면 웹 일을 대신하는 에이전트에게도 비슷한 일이 생길까요. 절차 기억(procedural memory)은 바로 이 지점에서 출발합니다. 한 번 성공한 순서를 저장해두었다가 다음 작업에서 다시 꺼내 쓰는 것이죠. 언뜻 보면 당연히 좋아 보입니다. 매번 처음부터 헤매지 않아도 되니까요.

그런데 문제는 그다음입니다. 저장된 순서가 지금 화면에서도 여전히 들어맞는다는 보장이 있을까요. 쇼핑 화면에서는 가격이 바뀌고, 수량 단위가 바뀌고, 할인 표시가 다른 곳에 나타나기도 합니다. 사람이야 화면을 보고 그때그때 고치면 되지만, 에이전트가 기억을 너무 곧이곧대로 따르면 현재 증거보다 과거 순서를 앞세울 수도 있습니다. 여기서 재미있는 질문이 생깁니다. 재사용은 언제 도움이 되고, 언제 방해가 될까요.

저는 이 질문을 오답 노트에 비유해서 생각했습니다. 시험에서 틀린 문제를 모아두면 다음 시험에 도움이 됩니다. 다만 시험 범위가 바뀌었는데도 예전 노트만 고집하면 오히려 점수가 내려가죠. 절차 기억도 비슷합니다. 과거 성공을 담은 노트가 현재 과제와 같은 시험을 보고 있다는 전제가 있어야 합니다. 이 전제가 깨졌을 때 어떤 일이 벌어지는지, 그리고 그 어긋남을 어떻게 실험으로 잡아낼 수 있는지가 이번 논문이 파고든 대목입니다.

절차 기억은 도대체 무엇을 저장할까

절차 기억이라는 말을 들으면 채팅 기록이나 검색 문서를 떠올리기 쉽습니다. 하지만 여기에서 말하는 기억은 그런 바깥 자료가 아닙니다. 에이전트가 이전에 해내었던 일의 순서, 이를테면 검색하고 비교하고 고르는 흐름을 저장해두었다가 다음에 비슷한 일을 할 때 다시 불러오는 것에 가깝습니다. 사람이 자주 가는 마트에서 동선을 외워두는 것과 비슷하죠. 어디에 무엇이 있는지 알면 장보기가 빨라집니다.

다만 마트 진열이 바뀌면 외워둔 동선이 오히려 돌아가는 길이 되기도 합니다. 에이전트도 마찬가지입니다. 저장된 순서가 지금 과제에도 들어맞는다면 재사용은 분명한 이득입니다. 클릭 수가 줄고, 헤맴이 줄고, 실수가 줄죠. 반면 과제 조건이 달라졌는데도 같은 순서를 밀어붙이면 현재 화면이 주는 힌트를 놓칠 수 있습니다. 그래서 절차 기억을 논할 때는 저장 방식보다 적용 조건이 먼저 나와야 합니다. 무엇을 외웠는지보다, 그 외운 것이 지금도 통하는지가 더 중요하기 때문입니다.

저는 이 구분이 실제 시스템을 볼 때도 유용하다고 봅니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 기억을 붙였다는 말만으로는 부족합니다. 기억이 현재 증거와 충돌할 때 에이전트가 어느 쪽을 따르는지가 드러나야 설계가 읽히죠. 이번 연구는 그 충돌을 일부러 만들어서 관찰하려는 시도였습니다.

웹숍 여섯 버전 동안 바뀐 것과 바뀌지 않은 것

연구의 앞부분에는 WebShop이라는 웹 쇼핑 과제를 여섯 버전(V1부터 V6까지)으로 다듬어온 개발 과정이 등장합니다. 화면 구성이나 인터페이스에 맞춘 코드는 버전이 올라갈 때마다 손질되었습니다. 버튼 위치가 달라지면 클릭하는 코드도 달라져야 하니까요. 그런데 별도로 저장해둔 상위 절차, 이를테면 먼저 조건을 확인하고 후보를 좁힌 뒤 가격을 비교한다는 큰 흐름은 바뀌었다는 보고가 없었다고 합니다.

이 차이는 생각보다 중요합니다. 표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 인터페이스는 자주 바뀌는데 절차는 그대로 두었다는 말은, 두 층위가 따로 관리되고 있었다는 뜻이기 때문입니다. 아래쪽에서는 화면에 맞추어 손을 보면서도, 위쪽에서는 예전 흐름을 그대로 들고 있었다는 것이죠. 일상적인 개발에서는 흔한 모습입니다. 당장 돌아가게 하려고 눈에 보이는 코드부터 고치고, 뒤에 있는 가정은 나중에 돌아보게 되죠.

그렇다면 이런 구조에서 무엇을 물을 수 있을까요. 화면이 바뀌었는데 절차가 그대로라면, 그 절차는 여전히 유효할까요, 아니면 언젠가 어긋날 뇌관을 안고 있을까요. 연구진은 이 물음을 곧바로 단정하지 않습니다. 대신 개발 내역을 맥락으로 깔아두고, 뒤에 이어질 통제 실험을 이해하기 위한 배경으로 씁니다. 저는 여기서 멈칫했습니다. 보통은 버전이 올랐다는 사실만 강조하는데, 여기서는 바뀐 층위와 바뀌지 않은 층위를 나누어 보여주었기 때문입니다. 이 구분이 있어야 뒤에 나오는 불일치 실험이 왜 필요한지가 납득됩니다.

타임워프 이야기는 왜 평가가 아닐까

중간에는 TimeWarp라는 이름의 회고 구간이 나옵니다. 이름을 들으면 새로운 평가처럼 느껴지지만, 연구는 선을 분명히 긋습니다. 이 구간은 자율적인 기억 에이전트 평가가 아니며, 공학적인 맥락을 설명하기 위한 정리라는 것이죠. 무슨 일을 했는지를 돌아보는 기록이지, 기억을 가진 에이전트가 스스로 얼마나 잘했는지를 재는 시험은 아니라는 말입니다.

이 구분을 흘려보내면 논문을 오독하기 쉽습니다. 회고에서는 그럴듯한 장면이 많이 나오는데, 그 장면이 곧 성능 증거는 아니기 때문입니다. 개발하면서 무엇을 고쳤고 왜 고쳤는지를 정리한 것과, 통제된 조건에서 기억 조건과 무 기억 조건을 나란히 놓고 비교한 것은 무게가 다릅니다. 연구가 이 점을 미리 밝혀둔 것은 정직한 태도라고 생각합니다. 독자가 뒤에 나오는 파일럿과 본 실험에 더 엄격한 잣대를 들이댈 수 있게 해주니까요.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 진짜 평가는 어디서 이루어질까요. 답은 뒤에 나오는 작은 파일럿과 서른두 칸의 통제 실험입니다. TimeWarp는 그 무대로 올라가기 전에 무대가 어떻게 생겼는지를 설명하는 대목에 가깝습니다. 저는 이런 배치를 좋아합니다. 배경은 배경이라고 말해주어야, 정작 중요한 장면에서 숫자를 더 차분히 읽을 수 있기 때문입니다.

파일럿에서 비싼 상품을 고른 그 한 번의 장면

본격적인 통제 실험에 앞서 작은 파일럿이 있었습니다. 하나의 과제에서 기억을 가진 두 조건이 더 비싼 상품을 골랐고, 기억이 없는 조건이 기준이 되는 가장 싼 상품을 골랐다고 합니다. 처음 들으면 기억 때문에 에이전트가 비싼 선택으로 밀려간 것처럼 보입니다. 저도 처음에는 그렇게 읽었습니다. 기억이 현재 가격을 가린 것 아닐까 하는 생각이 바로 들었죠.

하지만 여기서는 조금 조심해서 읽을 필요가 있습니다. 이 엇갈림은 한 과제에서 나타난 장면이었습니다. 반복해서 나타나는 경향이라고 말할 근거는 아직 없습니다. 한 번의 엇갈림은 분명히 눈에 띄지만, 그 한 번만으로 기억이 가격 판단을 흐린다고 일반화하기는 어렵습니다. 사람은 비슷한 장면을 보면 이야기를 바로 만들고 싶어지는데, 연구는 그 유혹을 한 번 참습니다. 대신 그 장면 뒤에 무엇이 있었는지를 따로 파보기로 하죠.

이 대목에서 제가 인상 깊게 본 부분은 태도입니다. 눈에 띄는 차이를 찾았을 때 곧바로 원인이라고 말하지 않고, 일단 가능성으로 남겨둔 것입니다. 파일럿은 본 실험을 설계하기 위한 힌트이지 판결이 아닙니다. 그래서 다음 단계는 원인을 확인하는 쪽으로 이어집니다. 정말 기억이 방해한 것인지, 아니면 화면을 읽는 과정에서 생긴 다른 문제였는지를 가려내야 하니까요. 그렇다면 어디를 뜯어봐야 할까요. 연구가 고른 것은 행 순서와 항목 묶음이라는 구체적인 지점이었습니다.

순서 탓일까 이름을 잘못 묶은 탓일까

파일럿의 엇갈림을 두고 연구진은 두 가지 가능성을 점검했습니다. 하나는 행 순서(row order)의 영향이고, 다른 하나는 항목 정체성을 잘못 묶는(identity binding) 문제입니다. 상품 목록에서는 위에서부터 읽다가 첫 번째를 정답처럼 여기거나, 이름과 가격과 옵션이 어긋나게 짝지어지는 일이 생길 수 있습니다. 화면을 읽는 에이전트라면 한 번쯤 의심해볼 만한 지점이죠.

후속 탐색에서는 이 두 가지 방향으로 파고들었지만, 반복적으로 나타나는 행 순서 패턴이나 정체성 묶음 패턴은 확인되지 않았다고 합니다. 다시 말하면, 그 한 번의 엇갈림을 설명할 만한 단골 원인이 그 탐침(probe)에서는 잡히지 않았다는 것입니다. 원인이 없다는 말이 아니라, 그 방법으로는 되풀이되는 흔적을 세우지 못했다는 말입니다. 이 표현의 결이 중요합니다. 부정을 서두르지 않고 범위를 좁히는 쪽으로 말하고 있기 때문입니다.

저는 이 대목을 읽으면서 고개를 끄덕였습니다. 운영에서 장애를 볼 때도 처음 보이는 장면이 진짜 원인인 경우는 드뭅니다. 로그 한 줄이 범인처럼 보여도, 재현 조건을 바꾸면 감쪽같이 사라지죠. 그래서 원인을 하나씩 지워가는 과정이 필요합니다. 이번 연구도 같은 길을 갑니다. 파일럿의 장면을 단서로 남겨두되, 그럴듯해 보이는 두 설명을 먼저 걷어낸 것입니다. 그렇다면 남은 길은 하나입니다. 의심 가는 불일치를 직접 설계해서 통제된 조건에서 부딪혀보는 것이죠.

불일치 네 가지를 일부러 만든 이유

통제 단계에서는 기억과 현재 과제 사이에 어긋남을 일부러 만들었습니다. 수량이 바뀐 경우, 증거의 표현 방식이 다른 경우, 가까운 최적과 전체 최적 사이의 충돌, 그리고 여러 곳에 흩어진 할인 증거가 그것입니다. 모두 쇼핑 화면에서 실제로 일어날 법한 변화입니다. 개수가 바뀌면 총액이 바뀌고, 같은 정보라도 표가 아닌 문장으로 나오면 읽는 방식이 달라지고, 눈앞의 싼 선택이 전체 조건에서는 손해가 되기도 하며, 할인 힌트가 여러 페이지에 흩어지면 한 화면만 보고 판단하기 어렵죠.

왜 하필 이 네 가지일까요. 저는 이 선택에서 연구의 문제의식이 드러난다고 봅니다. 기억이 현재 증거를 덮어쓸 만한 상황을 고르게 가져온 것이 아니라, 결이 다른 어긋남을 나란히 놓으려 했다는 점입니다. 숫자 조건의 변화, 표현 방식의 변화, 최적 기준의 충돌, 증거의 분산은 각기 다른 방식으로 에이전트를 헷갈리게 합니다. 한 가지 불일치만 보면 기억의 문제를 너무 좁게 보게 되는데, 네 가지를 펼치면 기억이 어디에서 흔들리고 어디에서 버티는지가 입체적으로 드러나죠.

물론 네 가지가 현실의 모든 변화를 덮지는 못합니다. 화면 개편이나 정책 변경처럼 더 큰 변화도 있고, 사용자 요청 자체가 모호해지는 경우도 있습니다. 그럼에도 이 네 가지는 실험으로 다룰 수 있을 만큼 구체적이면서도, 현장의 냄새가 남아 있습니다. 마치 일부러 비를 만들어서 우산 성능을 재는 것처럼요. 자연스럽게 비가 오기를 기다리는 대신, 비의 종류를 정해두고 하나씩 뿌려보는 셈입니다. 그렇다면 다음으로 물을 것은 그 비를 어떤 조건에서 뿌렸는지입니다.

서른두 칸의 실험은 어떻게 고정됐을까

통제 실험은 모두 서른두 개의 형식 셀(formal cells)로 짜여 있습니다. 네 가지 불일치 형태에 다른 조건들을 곱해서 만든 격자라고 이해하면 됩니다. 그리고 각 셀에서는 같은 로컬 qwen3:8b 설정으로 temperature 0에서 한 번씩 생성했고, 적응형 재시도는 없었다고 합니다. 조건을 최대한 고정한 것이죠. 같은 모델, 같은 온도, 같은 한 번의 기회로 나란히 비교하겠다는 뜻입니다.

이 고정은 결과만큼이나 중요합니다. 온도를 0으로 두면 생성의 흔들림이 줄어들고, 재시도를 없애면 운 좋게 고쳐지는 경우가 사라집니다. 한 번의 선택이 곧 그 조건의 답이 되는 것이죠. 대신 한 번만 본다는 것은 그만큼 조심해야 한다는 뜻이기도 합니다. 한 번의 실패가 체계적인 실패인지, 그날의 우연인지가 가려지지 않기 때문입니다. 연구가 미리 정해둔 진단 신호(diagnostic interference signatures)를 본 것도 같은 맥락입니다. 무엇을 간섭이라고 부를지를 먼저 정해두어야, 결과가 나왔을 때 이야기를 덧붙이지 않게 되죠.

저는 이 설계를 보면서 아쉬움과 신뢰를 함께 느꼈습니다. 한 셀당 한 번의 생성은 분명히 얇습니다. 통계적으로 든든하다고 말하기는 어렵죠. 하지만 조건을 고정하고 신호를 미리 정한 것은 해석을 단단하게 만듭니다. 무엇을 재겠다고 선언했는지, 무엇을 재지 않겠다고 선을 그었는지가 분명하니까요. 실험을 읽을 때는 이 경계를 먼저 확인해야 합니다. 경계가 분명한 실험은 결과가 작아도 읽을 것이 남습니다.

간섭이 나타나지 않았다는 말의 정확한 의미

결과는 이렇게 정리됩니다. 현재 과제의 증거가 분명하고 충분했을 때, 미리 정해둔 진단 간섭 신호는 나타나지 않았다고 합니다. 절차 기억이 맞지 않는 상태일 수도 있었는데도, 행동을 흐트러뜨리는 수준까지는 가지 않았다는 것이죠. 달리 말하면, 화면이 분명하면 에이전트는 과거 순서에 끌려가지 않고 지금 눈앞의 증거를 따랐다는 것입니다.

이 문장은 기분 좋게 읽히지만, 바로 뒤에 붙는 단서가 더 중요합니다. 이 결과는 일반적인 안전을 세우지도 않고, 작동 원리를 밝히지도 않는다는 것입니다. 비간섭이 확인된 구간이 있다는 말이지, 어디서든 간섭이 없다는 말이 아닙니다. 마치 울타리 안에서는 비를 막았다는 기록이지, 울타리 밖 날씨까지 장담하는 것이 아니라는 것과 같습니다. 연구가 스스로 이렇게 선을 긋는 대목이야말로 제가 이 논문에서 가장 흥미롭게 본 부분입니다. 무엇을 주장하지 않는지를 분명히 말하는 논문은 드물기 때문입니다.

그렇다면 이 구간은 어떻게 이해해야 할까요. 증거가 분명하고 충분하다는 조건이 붙어 있습니다. 가격이 눈에 보이고, 수량이 또렷하고, 할인 조건이 한 화면에서 확인될 때의 이야기라는 것이죠. 이런 상황에서는 맞지 않는 기억이 있어도 에이전트가 현재 증거를 앞세웠습니다. 반대로 증거가 흐릿하거나 흩어져 있거나 서로 다툴 때는 어떻게 될까요. 그 바깥은 아직 모릅니다. 연구는 그 바깥을 추측으로 메우지 않습니다. 울타리 안의 기록으로 남겨두고, 바깥은 열린 질문으로 두는 것이죠.

그래서 에이전트에게 절차 기억을 어떻게 맡길까

여기까지 오면 실무적인 질문이 남습니다. 절차 기억을 그래서 써야 할까요, 말아야 할까요. 연구의 답은 어느 한쪽이 아닙니다. 분명한 증거가 있는 구간에서는 맞지 않는 기억이 있어도 간섭 신호가 나타나지 않았다는 것, 그리고 그 구간 밖은 아직 모른다는 것입니다. 도입을 망설이는 팀에게는 단서가 되고, 도입을 서두르는 팀에게는 속도 조절 신호가 되죠.

저는 이 결과를 세 가지 장면에 대입해봅니다. 첫째, 가격이 한 화면에서 또렷하게 비교될 때는 과거 순서가 크게 해를 끼치지 않을 가능성이 있습니다. 화면이 답을 주니까요. 둘째, 할인이나 수량 조건이 여러 화면에 흩어져 있을 때는 이번 실험이 보장하는 범위에서 벗어납니다. 기억이 빈틈을 메우려다가 어긋날 수도 있죠. 셋째, 눈앞의 싼 선택과 전체 조건의 이득이 다툴 때는 에이전트가 어느 최적을 따르는지를 따로 점검이 필요합니다. 이 세 장면은 같은 기억이라도 조건에 따라 표정이 달라진다는 것을 보여줍니다.

생각해보면 사람도 비슷하게 배웁니다. 익숙한 길이라고 무조건 빠른 것이 아니라, 표지판이 분명할 때 익숙한 길이 빛을 발합니다. 표지판이 흐리면 익숙한 길이야말로 사람을 헤매게 하죠. 에이전트의 절차 기억도 같은 자리에 있습니다. 기억 자체가 좋거나 나쁜 것이 아니라, 현재 증거가 얼마나 분명한지가 재사용의 성패를 가릅니다. 그렇다면 설계자의 일은 기억을 키우는 데서 끝나지 않습니다. 화면이 증거를 얼마나 분명하게 주는지, 기억이 증거와 다툴 때 무엇을 앞세우도록 가르칠지를 함께 정해야 합니다.

제가 앞으로 보고 싶은 것은 그 다음 장면입니다. 증거가 충분하지 않을 때 에이전트는 과거 순서를 얼마나 붙들까요. 증거 표현이 바뀌면 어떤 에이전트가 먼저 흔들릴까요. 온도를 높이거나 재시도를 허용하면 간섭 신호의 양상이 달라질까요. 서른두 칸의 격자 바깥에는 이런 질문이 아직 많이 남아 있습니다. 이번 연구는 그 질문들을 없애주지 않았습니다. 대신 질문을 물을 수 있는 바닥을 깔아주었죠. 어디까지는 확인했고, 어디부터는 모른다고 말해주는 바닥 말입니다. 에이전트를 오래 운영해야 하는 사람에게는 이런 바닥이야말로 가장 실용적인 선물이라고 생각합니다.