기억할 장면을 고르는 법부터 배우는 행동 복제

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning이라는 제목의 논문이 arXiv에 arXiv 번호 2610.10857로 공개됐습니다. 원문은 제목 아래 걸린 링크에서 볼 수 있습니다. 이 논문은 행동 복제가 긴 non-Markovian 환경에서 맥락을 잃는 이유를 기억의 구조에서 찾고, 스스로 중요한 관찰을 골라내는 Keyframe Mnemonics라는 방법으로 작은 working memory만으로 horizon에 상관없이 맥락을 유지할 수 있다고 주장합니다.

이 주장까지만 들으면 또 하나의 메모리 추가 기법처럼 느껴질 수도 있습니다. 그런데 저는 이 논문에서 숫자의 크기가 아니라 질문을 뒤집은 방식에 눈이 갔습니다. 무엇을 기억할지를 먼저 배우고, 그 다음에 행동을 배우겠다는 순서이기 때문입니다. 오늘 글에서는 그 순서를 처음부터 따라가 보려고 합니다. 왜 recurrent와 attention이 긴 horizon에서 흔들리는지, 무작위로 뽑은 과거에서 배운다는 말이 무슨 뜻인지, 그리고 100퍼센트와 13.9퍼센트라는 숫자를 어떤 조건에서 읽어야 하는지를 순서대로 따져보겠습니다.

길게 이어지는 일을 왜 매번 처음부터 헤매게 될까

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 로봇이 긴 일을 할 때도 비슷한 일이 생길까요. 처음에는 재료를 어디에 뒀는지 알았는데, 중간에 다른 방에 다녀오고 나면 그 기억이 흐릿해지는 일 말이죠.

저는 이 문제를 볼 때마다 명절에 전을 부치던 주방을 떠올립니다. 옆에서 어머니가 어떤 반죽을 먼저 만들었는지 알려줬는데, 설거지를 하고 돌아오니 순서가 가물가물해지는 것이죠. 재료는 다 눈앞에 있는데, 어떤 맥락에서 무엇을 했는지가 사라지면 손이 멈춥니다. 로봇의 행동 복제도 이와 비슷합니다. 지금 보이는 화면만으로는 다음 행동을 정할 수 없고, 한참 전에 본 장면이 답을 쥐고 있는 경우가 많기 때문입니다.

행동 복제라는 말은 전문가의 시범을 보고 따라 하는 학습을 뜻합니다. 상태가 주어지면 어떤 행동을 해야 하는지를 배우는 것이죠. 그런데 환경이 non-Markovian이면 지금의 관찰만으로는 충분하지 않습니다. 과거의 맥락을 함께 봐야 다음 행동이 정해지는데, 이 맥락이 길어질수록 기억해야 할 범위가 늘어납니다. 그렇다면 이 기억을 어디에 어떻게 두어야 할까요. 그 질문이 오늘 글의 출발점입니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 그런 눈으로 보면 이 논문은 점수 경쟁보다 구조에 대한 제안에 가깝습니다. 메모리를 키울 것인가, 기억할 것을 고를 것인가라는 갈림길에서 후자를 택한 셈이죠.

물론 선언만으로는 부족합니다. 고른다는 말이 구호에 그치지 않으려면, 무엇을 기준으로 고르고 그 기준을 어떻게 배우는지를 보여줘야 합니다. 그렇다면 이 논문은 왜 기존의 기억 방식이 먼저 흔들리는지를 어떻게 진단할까요. 답은 recurrent와 attention이라는 두 익숙한 구조에서 시작됩니다.

모든 것을 hidden state에 쑤셔 넣으면 무슨 일이 생길까

생각해보면 사람도 비슷하게 배웁니다. 긴 이야기를 들을 때는 모든 문장을 외우지 않고, 나중에 필요할 것 같은 대목 몇 개만 메모해둡니다. 그런데 recurrent 모델은 이와 반대로 행동합니다. 과거의 모든 정보를 하나의 hidden state라는 주머니에 계속 쑤셔 넣으면서, 그 주머니만 들고 다음 단계로 넘어가기 때문입니다.

처음에는 이 방식이 깔끔해 보입니다. 메모리가 고정된 크기라서 horizon이 길어져도 계산량이 크게 늘지 않고, 이론적으로는 무한히 이어지는 맥락도 담을 수 있을 것 같기 때문입니다. 실제로 짧은 구간에서는 잘 작동하기도 합니다. 문제는 그다음입니다. 단계가 수백, 수천으로 이어지면 주머니 안의 오래된 정보가 새 정보에 밀려 점점 뭉개지기 시작하는데, 연구진은 이를 hidden-state collapse라고 부릅니다.

여기에 학습의 어려움까지 겹칩니다. recurrent 모델을 학습할 때는 backpropagation through time이라는 방식으로 시간을 거슬러 올라가며 기울기를 전달하는데, 이 과정이 길어질수록 기울기가 사라지거나 폭발하면서 안정적으로 배우기 어려워집니다. 같은 모델에 같은 질문을 던져도 결과가 크게 달라질 수 있다는 것을 경험으로 알고 있죠. recurrent의 긴 horizon 학습도 이와 비슷합니다. 앞부분의 실수가 뒷부분까지 이어지는데, 그 연결을 되짚어 고치는 과정 자체가 흔들리기 때문입니다.

개인적으로 인상 깊었던 점은, 연구진이 이 문제를 모델의 크기로 돌리지 않았다는 것입니다. 주머니를 키우면 되지 않느냐는 질문에, 주머니가 커져도 쑤셔 넣는 방식 자체가 바뀌지 않으면 같은 뭉개짐이 더 늦게 찾아올 뿐이라고 답하기 때문입니다. 저는 이 진단을 꽤 정직하다고 봅니다. 용량을 늘리는 해법과 구조를 바꾸는 해법을 구분하고 있기 때문입니다.

그렇다면 주머니 대신 주목하는 방식은 어떨까요. 모든 것을 압축하지 않고, 필요할 때마다 과거를 펼쳐 보는 attention이 대안이 될 수 있을까요.

attention 창을 넓히면 해결될까

attention이라는 말을 들으면 필요한 부분을 그때그때 찾아보는 도서관을 떠올리기 쉽습니다. 과거의 관찰들을 그대로 쌓아두고, 지금 행동을 정할 때 관련 있는 장면을 골라 참조하는 방식이기 때문입니다. recurrent처럼 압축하다 잃어버리는 일이 없어서 일견 더 안전해 보입니다.

그런데 이 도서관에는 창문의 크기가 정해져 있습니다. context length라는 한계 때문에 일정 범위를 넘어선 과거는 아예 펼쳐볼 수 없기 때문입니다. 창을 넓히면 되지 않느냐고 물을 수 있는데, 현실에서는 그렇게 단순하지 않습니다. 창이 넓어질수록 한 번에 펼쳐야 할 장면이 늘어나고, 그만큼 계산과 메모리가 함께 늘어나기 때문입니다. 길이가 열 배가 되면 비용도 그에 맞춰 커지는데, 실제 로봇이 수만 스텝을 이어가야 하는 상황을 생각하면 이 증가는 금방 부담이 됩니다.

더 미묘한 문제는, 창 안에 들어온다고 해서 다 기억되는 것은 아니라는 점입니다. attention은 주어진 범위 안에서는 유연하게 참조하지만, 그 범위를 넘어선 맥락은 원리적으로 볼 수 없습니다. 마치 도서관에서 최근 석 달 치 신문만 볼 수 있는데, 답이 넉 달 전 신문에 있는 경우와 비슷합니다. 아무리 열심히 찾아봐도 창 밖에 있는 답은 건드릴 수 없죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. attention이 나쁘다는 이야기가 아니라, 긴 horizon 기억을 context length에 묶어두는 설계가 근본적인 제약을 만든다는 뜻이기 때문입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. recurrent는 기억을 압축하다 잃고, attention은 볼 수 있는 범위가 막혀 있다는 점에서, 두 방식 모두 horizon이 길어질 때 서로 다른 이유로 흔들리기 때문입니다.

그렇다면 압축도, 창 넓히기도 아닌 세 번째 길은 무엇일까요. 연구진이 내놓은 답은 기억할 것을 미리 고르는 일입니다. 다음 절에서는 그 고르기를 어떻게 배우는지를 살펴보겠습니다.

무엇을 기억할지 고르는 일부터 배울 수 있을까

이 논문이 던지는 질문은 생각보다 단순합니다. 행동을 배우기 전에, 어떤 관찰이 나중에 필요해질지를 먼저 배울 수 있을까라는 것이죠. 연구진은 이렇게 골라낸 정보량이 많은 관찰을 mnemonic이라고 부릅니다. 우리말로 옮기면 생각의 갈고리 같은 것인데, 나중에 보면 그 장면 하나가 전체 맥락을 다시 불러오기 때문입니다.

일상의 비유로 바꿔보면 이해가 쉬워집니다. 여행을 다녀와서 사진을 정리할 때를 생각해보죠. 수천 장을 다 보관하지 않고, 숙소 열쇠가 어디 있었는지, 어떤 골목에서 길을 잃었는지 같은 장면 몇 개만 남깁니다. 나중에 일정을 복원할 때는 그 몇 장이면 충분하기 때문입니다. Keyframe Mnemonics도 같은 발상입니다. 모든 프레임을 들고 가는 대신, 나중에 행동을 정할 때 차이를 만드는 장면만 working memory에 올려두겠다는 것이죠.

여기서 재미있는 질문이 생깁니다. 어떤 장면이 중요한지는 어떻게 알 수 있을까요. 사람이 직접 라벨을 붙여주면 간단하겠지만, 그러면 시범 데이터마다 사람이 개입해야 해서 확장하기 어렵습니다. 그래서 연구진은 self-supervised라는 방식을 택합니다. 별도의 정답 없이, 데이터 자체에서 중요한 장면을 가려내는 기준을 배우겠다는 뜻입니다.

저는 이 순서가 마음에 들었습니다. 보통은 기억과 행동을 한꺼번에 배우려고 하다가 둘 다 어중간해지는데, 이 논문은 기억할 것을 고르는 기준부터 따로 세운 뒤에 그 위에서 행동을 배우기 때문입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그 기준은 도대체 무엇으로 배우는가라는 것이죠. 답은 의외로 무작위에서 나옵니다.

무작위로 꺼낸 과거에서 배우는 방법은 어떻게 작동할까

무작위라는 말을 들으면 대충 뽑는다는 뜻으로 오해하기 쉽습니다. 그런데 이 논문에서 무작위는 게으름이 아니라 학습의 재료입니다. 과거의 관찰들을 무작위로 샘플링해서, 어떤 관찰이 미래를 맞히는 데 도움이 되는지를 가려내는 연습을 반복하기 때문입니다.

과정을 천천히 따라가 보겠습니다. 먼저 에이전트가 지나온 궤적에서 과거 관찰들을 랜덤하게 꺼냅니다. 그 다음에 각 관찰이 현재나 미래의 결정을 얼마나 잘 설명하는지를 재는 기준을 학습합니다. 어떤 장면이 있으면 다음 행동의 불확실성이 크게 줄고, 어떤 장면이 없어도 별 차이가 없으면 전자가 더 정보량이 많다고 판단하는 식이죠. 이렇게 모은 점수가 바로 keyframe을 고르는 reward가 됩니다. 점수가 높은 장면일수록 working memory에 남을 자격을 얻는 셈입니다.

이 차이는 생각보다 중요합니다. 사람이 무엇이 중요한지를 알려주지 않아도, 데이터 안에서 정보량의 차이가 스스로 드러나기 때문입니다. 예를 들어 로봇이 서랍을 여는 과제에서는 서랍 손잡이를 잡은 순간의 화면이, 문을 통과하는 과제에서는 갈림길 표지판이 보인 순간의 화면이 높은 점수를 받게 됩니다. (참고로 여기서 점수는 사람이 매긴 중요도가 아니라, 미래 행동을 얼마나 잘 좁혀주는지를 잰 값입니다.)

문제는 그다음입니다. 이렇게 배운 기준으로 실제 궤적을 어떻게 요약할 것인가라는 것이죠. 연구진은 학습된 기준을 reward로 삼아 keyframe selection을 수행하고, 그 결과로 고른 몇 개의 장면만을 조건으로 삼아 행동 복제 정책을 학습합니다. 다시 말하면 정책은 전체 과거가 아니라, 골라낸 mnemonic들만을 보고 다음 행동을 정합니다. 기억의 크기는 작아졌지만, 기억의 밀도는 오히려 높아진 셈이죠.

그렇다면 이렇게 작은 기억으로 정말 무한한 horizon을 버틸 수 있을까요. 다음 절에서는 논문이 말하는 보장이라는 단어의 조건을 따져보겠습니다.

작은 working memory로 무한한 horizon을 버틴다는 말은 무슨 뜻일까

무한이라는 단어가 나오면 일단 의심부터 드는 것이 좋습니다. 진짜로 영원히 버틴다는 뜻일까요, 아니면 특정 조건에서 길이에 상관없이 유지된다는 뜻일까요. 이 논문이 말하는 것은 후자에 가깝습니다. 과제 구조에 대한 가정이 맞을 때, working memory의 크기를 키우지 않고도 horizon이 길어져도 맥락 유지가 깨지지 않는다는 보장을 제공한다는 것이죠.

가정을 풀어보면 이렇습니다. 긴 과제 안에는 어차피 몇 개의 결정적인 장면만이 전체 맥락을 좌우하고, 나머지 구간은 그 장면들만 있으면 복원할 수 있다는 것입니다. 서랍 열기, 물건 집기, 문 통과하기처럼 단계가 나뉘는 과제에서는 이 가정이 꽤 자연스럽습니다. 중간에 아무리 빈 걸음이 길어도, 갈림길에서 무엇을 봤는지만 기억하면 다음 행동이 정해지기 때문입니다. 연구진은 이런 구조를 전제로, mnemonic 선택이 잘 되면 horizon이 늘어나도 필요한 기억의 크기는 그대로 둬도 된다고 보입니다.

이 주장을 길게 보면 결국 비용의 문제로 돌아옵니다. recurrent처럼 모든 것을 압축하지 않고, attention처럼 창을 무한히 넓히지도 않으면서, 필요한 것만 골라 작은 메모리에 유지하겠다는 것이기 때문입니다. 반면 선택이 빗나가면 보장은 함께 흔들립니다. 결정적인 장면을 놓치면 뒤의 행동이 통째로 어긋나기 때문입니다. 그래서 이 논문의 보장은 무조건적인 약속이 아니라, 선택의 질에 걸린 조건부 약속에 가깝습니다.

제가 이 부분에서 가장 흥미롭게 본 것은, 보장의 대상이 성능 수치가 아니라 맥락 유지라는 점입니다. 성공률이 얼마라는 말이 아니라, horizon이 길어져도 맥락을 잃는 방식으로는 망가지지 않는다는 구조적 주장에 가깝기 때문입니다. 저는 그래서 이 이론 부분을 점수 이상으로 평가했습니다. 점수는 다음 실험에서 얼마든지 흔들릴 수 있지만, 언제 망가지고 언제 버티는지를 미리 말해주는 틀은 시스템을 설계할 때 바로 쓸 수 있기 때문입니다.

그렇다면 실제 숫자는 이 틀을 뒷받침할까요. 다음 절에서는 합성 기억 과제에서 나온 100퍼센트라는 값을 뜯어보겠습니다.

합성 기억 과제에서 100퍼센트라는 숫자를 어떻게 읽어야 할까

100퍼센트라는 숫자를 보면 먼저 실험의 조건을 봐야 합니다. 무엇을 재는지, 얼마나 길게 재는지, 그리고 기준선과 무엇을 맞췄는지를 묻지 않으면 숫자는 그냥 장식에 그치기 때문입니다. 이 논문의 합성 기억 도메인은 그런 점에서 의도적으로 가혹하게 설계됐습니다. 짧은 horizon에서 배우고, 그보다 자릿수 단위로 긴 horizon에서 시험하는 식이기 때문입니다.

결과부터 말하면 mnemonic 조건부 행동 복제 정책은 합성 기억 과제들에서 100퍼센트의 성공률을 기록했고, 학습 때보다 orders of magnitude 긴 horizon에서도 성능 저하 없이 일반화했다고 보고됩니다. 같은 데이터를 본 recurrent나 attention 기반 기준선은 horizon이 길어지면서 흔들렸는데, 이 방법은 길이가 늘어나도 같은 장면을 붙잡고 있었기 때문입니다. 일반 파일에만 남겼을 때는 17퍼센트에 그쳤지만 특정 위치에 옮겨 적었을 때는 55퍼센트까지 올라갔다는 식의 paired 숫자처럼요. 여기서는 짧게 배워도 길게 버틴다는 대비가 결과의 뼈대입니다.

여기서 한 가지 짚고 넘어갈 점이 있습니다. 합성 과제는 현실의 지저분함을 걷어내고 기억의 순수한 능력을 재는 시험장입니다. 그래서 100퍼센트라는 값은 이 방법이 기억 문제 자체는 풀 수 있다는 증거로는 강하지만, 현실 로봇에서도 그대로 100퍼센트가 나온다는 뜻은 아닙니다. 연구진도 이런 구분을 흐리지 않으려고 합성과 실제를 나눠 보고하는데, 저는 이 태도가 마음에 들었습니다. 쉬운 시험에서 만점을 받았다고 어려운 시험도 만점이라고 말하지 않기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 합성에서 통했던 고르기가, 노이즈와 접촉과 미끄러짐이 뒤섞인 로봇 조작에서도 통할까라는 것이죠. 답은 다음 절에 나오는 23개 과제와 13.9퍼센트라는 숫자 안에 있습니다.

로봇 팔 실험에서 13.9퍼센트 개선은 어디에서 왔을까

로봇 팔이 물건을 집는 장면을 떠올려보죠. 오전 10시 실험실, 테이블 위에 컵과 상자와 천이 어지럽게 놓여 있고, 로봇은 왼쪽 서랍에서 도구를 꺼내 오른쪽 상자에 넣어야 합니다. 중간에 카메라가 가려지고, 팔이 물체를 잠깐 놓치고, 조명이 바뀌는 일이 생기면, 지금 화면만 보고는 다음 동작을 정하기 어렵습니다. 한참 전에 본 서랍 안의 배치와 도구의 손잡이 방향이 답이 되기 때문입니다.

연구진은 이런 기억 집약적인 조작 과제 23개에서 가장 강한 기준선과 비교했고, 평균적으로 13.9퍼센트포인트의 절대 성공률 개선을 보고합니다. 상대적인 비율이 아니라 절대적인 차이이기 때문에 체감이 큽니다. 예컨대 기준선이 60퍼센트에서 머물 때 이 방법이 73.9퍼센트까지 올렸다는 뜻에 가깝기 때문입니다. 23개라는 과제 수 역시 눈여겨볼 만합니다. 한두 개의 잘 맞는 과제에서만 튀는 결과가 아니라, 여러 과제에서 같은 방향의 개선이 모였다는 뜻이기 때문입니다.

그렇다면 이 개선은 어디에서 왔을까요. 논문의 흐름을 따라가면 답은 기억의 선택에 있습니다. 기준선들이 전체 맥락을 압축하거나 잘라내면서 결정적인 장면을 흐릿하게 만들 때, 이 방법은 그 장면들을 mnemonic으로 따로 보관했기 때문입니다. 서랍을 연 순간의 배치, 도구를 잡기 직전의 손잡이 각도 같은 것들이죠. 정책이 이런 장면들을 조건으로 삼으니 중간에 빈 구간이 길어져도 헤매지 않았던 것입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 13.9퍼센트라는 평균이 모든 과제에서 똑같이 나왔다는 뜻은 아니기 때문입니다. 기억이 크게 중요한 과제에서는 개선이 컸고, 지금 화면만으로 충분한 과제에서는 차이가 작았을 가능성이 큽니다. 저는 이 편차를 오히려 자연스럽게 봅니다. 기억을 고르는 방법이 기억이 필요 없는 곳에서까지 큰 차이를 만들 이유가 없기 때문입니다.

문제는 그다음입니다. 실험실의 정돈된 조건을 넘어, 길이가 스무 배로 늘어난 실제 로봇에서는 어떻게 될까라는 것이죠. 다음 절에서는 80퍼센트라는 숫자를 살펴보겠습니다.

스무 배 길어진 실제 주행에서도 80퍼센트가 남는 이유는 무엇일까

실제 로봇이라는 말을 들으면 시뮬레이션과 무엇이 다른지를 먼저 물어야 합니다. 시뮬레이션에서는 리셋이 깔끔하고 관찰이 정직하지만, 실제에서는 바퀴가 미끄러지고 조명이 바뀌며 사람이 지나가면서 장면을 가리기 때문입니다. 게다가 horizon이 20배로 길어지면 그만큼 실수가 쌓일 기회도 늘어납니다. 그래서 실제 로봇에서 20배 horizon까지 80퍼센트 성공률을 유지했다는 보고는 합성 실험과는 다른 무게를 갖습니다.

이 결과를 길게 보면 결국 선택의 안정성 문제로 돌아옵니다. horizon이 스무 배가 되면 전체 프레임 수는 스무 배가 되지만, 결정적인 장면의 수는 그만큼 늘지 않기 때문입니다. 갈림길은 여전히 몇 개이고, 나머지는 이동과 대기에 가까운 구간이 됩니다. mnemonic 선택이 이 몇 개를 정확히 붙잡으면, 길이가 늘어나도 working memory에 올라가는 내용은 크게 바뀌지 않습니다. 길어진 것은 빈 구간이지, 기억해야 할 것의 양이 아니기 때문입니다.

그렇다면 왜 100퍼센트가 아니라 80퍼센트일까요. 이 20퍼센트포인트의 차이는 생각보다 솔직합니다. 실제에서는 선택이 완벽할 수 없고, 접촉의 실패나 인식의 흔들림 같은 기억 바깥의 변수가 개입하기 때문입니다. 저는 그래서 80퍼센트라는 숫자를 결함이 아니라 조건으로 읽었습니다. 기억의 문제는 버텼지만, 물리와 만나는 지점에서는 여전히 실패가 남는다는 뜻이기 때문입니다.

개인적으로 인상 깊었던 점은, 길이가 늘어나도 성능이 서서히 무너지는 대신 비교적 평평하게 유지됐다는 것입니다. 흔히 긴 horizon에서는 뒤로 갈수록 실수가 누적되면서 성공률이 가파르게 꺾이는데, 여기서는 그런 꺾임이 크지 않았다고 보고됩니다. 이는 실패의 원인이 기억 상실에서 실행의 실수로 옮겨갔다는 신호로 읽을 수 있습니다. 기억 때문에 헤매는 일은 줄었고, 남은 실패는 손이 미끄러지는 쪽에 가깝다는 것이죠.

다행히 막는 방법이 따로 있는 것은 아닙니다. 기억할 장면을 잘 고르면 되는 것이고, 그 고르기는 이미 앞에서 배운 기준을 그대로 쓰면 되기 때문입니다. 그렇다면 이 결과를 어디까지 일반화할 수 있을까요. 마지막 절에서는 남는 질문들을 정리하겠습니다.

무엇을 남기고 무엇을 의심해야 할까

앞에서 미뤄뒀던 질문으로 돌아올 차례입니다. 이 방법은 어디까지 믿을 수 있고, 어디부터는 더 지켜봐야 할까요. 먼저 남는 것부터 말하면, 기억과 행동을 분리해서 배우는 순서 자체는 꽤 단단해 보입니다. 무엇을 기억할지를 self-supervised로 먼저 배우고, 그 위에서 행동을 배우는 구조는 horizon이 길어질수록 빛나기 때문입니다.

그런데 이 흐름이 통하려면 한 가지 전제가 맞아야 합니다. 과제 안에 정말로 몇 개의 장면으로 요약되는 구조가 있어야 한다는 것이죠. 단계가 분명한 조작이나 탐색에서는 이 전제가 자연스럽지만, 매 순간이 조금씩 중요한 과제에서는 얘기가 달라집니다. 모든 장면이 조금씩 필요하면 고르기의 이득이 줄고, 자칫 중요한 것을 버리는 실수가 생기기 때문입니다. 연구진이 task-structure assumption이라는 조건을 붙인 이유도 여기에 있습니다.

다음으로 물을 것은 선택의 비용입니다. 무작위로 뽑은 과거에서 정보량을 배우는 과정 자체가 공짜는 아니기 때문입니다. 학습 때는 과거를 샘플링하고 점수를 매기는 추가 계산이 들고, 실행 때는 어떤 장면을 남기고 버릴지를 계속 판단해야 합니다. working memory는 작아졌지만, 고르는 일을 위한 계산이 새로 생긴 셈이죠. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 교환이 길이가 길어질수록 이득일까라는 것인데, 논문이 보여주는 20배 horizon 결과는 그 답에 대한 하나의 증거입니다.

저는 앞으로 보고 싶은 것이 분명합니다. 고른 장면이 실제로 무엇을 담고 있는지를 사람이 들여다보는 분석이 더 쌓였으면 합니다. 점수가 높은 장면들이 매번 갈림길과 손잡이 같은 해석 가능한 순간인지, 아니면 데이터셋 특유의 우연한 단서를 붙잡은 것인지가 궁금하기 때문입니다. 해석 가능성이 쌓이면 실패를 예측하기도 쉬워지고, 다음 과제로 옮길 때 무엇을 조심해야 할지도 보이기 때문입니다.

그렇다면 사람의 역할은 무엇일까요. 기억을 통째로 외우는 대신, 무엇을 남길지를 고르는 일이 중요해졌다는 점에서, 이 논문은 로봇의 기억을 사람의 정리 방식에 조금 더 가깝게 옮겨놓았습니다. 여행 사진을 다 보관하지 않고 몇 장만 남기는 것처럼요. 앞으로 로봇이 더 오래 일하고 더 많은 장면을 보게 될수록, 모든 것을 기억하는지가 아니라 무엇을 버리고 무엇을 붙잡는지가 실력을 가를 것 같습니다.