평균은 맞는데 걸음은 흔들릴 때, 강조 학습을 다시 고정하는 법

Regularized Emphatic Temporal-Difference Learning: Stability under Constant Stepsizes는 arXiv 번호 2609.19170으로 공개된 연구입니다. 원문 링크는 제목 아래에 걸어두었습니다.

이 연구가 내세우는 주장은 하나의 문장으로 정리됩니다. ETD가 평균 업데이트의 안정은 되찾았지만 고정된 걸음 크기 아래에서 표본 경로는 여전히 발산할 수 있으니, follow-on trace와 importance ratio에는 손대지 않은 채 강조된 TD 신호를 새는 스칼라 상태에 담았다가 늦게 보정하는 정칙화 구조로 그 흔들림을 잡아야 한다는 것입니다. 그래서 이 글에서는 그 진단에서 출발해 두 상태 반례와 재생 주기 분석, RETD의 동작 방식과 읽기 방식, 증명의 범위와 만 번의 짝지은 실행이 말하는 것을 차례로 따라가겠습니다.

왜 평균이 맞는데도 학습이 흔들릴까

제가 이 논문을 집어 든 이유는 출발점의 불편함 때문이었습니다. 평균적으로는 맞는 이야기가 실제로 돌려보면 틀어지는 장면을 저는 현장에서 몇 번 봤는데, 시험에서는 맞는 답이 현장에서는 어긋나는 것과 같은 종류의 어긋남입니다. 강화학습의 off-policy 학습에도 바로 그 어긋남이 숨어 있다고 저는 봤고, 이 논문은 그 틈을 정면으로 찌릅니다. 평균 지도가 가리키는 방향과 에이전트가 실제로 걷는 발자국이 다를 수 있다는 주장이라서, 말로만 들으면 당연해 보이지만 수식으로 확인하면 꽤 아프게 다가오죠.

생각해보면 사람도 비슷하게 배웁니다. 운전 강습을 옆에서 지켜본 것만으로 운전대를 잡는 일과 직접 차선 변경을 해보는 일은 전혀 다르며, 지켜본 평균은 매끈하지만 막상 손에 땀이 차면 핸들이 꺾이기 마련이죠. 강화학습에서 behavior policy로 모은 데이터로 target policy를 배우는 일은 바로 그 상황과 겹치는데, 보는 것과 걷는 사이에 간격이 생기기 때문입니다. 그렇다면 평균적으로 안정이라는 말은 도대체 무엇을 보장할까요. 이 질문이 논문의 문을 엽니다.

저는 이 숫자보다 그 뒤의 구조가 더 궁금했습니다. 평균 업데이트가 수축한다는 말은 기대값을 취하면 오차가 줄어든다는 뜻인데, 기대값이란 무수히 많은 시행을 겹쳐 놓은 상상의 평균이니까요. 실제 학습은 한 번의 궤적을 따라 한 걸음씩 가는 일이라서, 그 한 걸음의 곱이 쌓이는 방식은 평균의 곱과 다릅니다. 평균의 곱이 0으로 가도 표본 곱은 커질 수 있다는 것이 논문의 문제의식입니다. 저는 여기서 멈칫했습니다. 우리가 안정이라고 부르던 것이 어느 층위의 안정이었는지를 다시 묻게 됐기 때문입니다.

운영 측면에서 보면 이 차이는 그냥 이론의 취향이 아닙니다. 실제 에이전트는 diminishing stepsize처럼 걸음을 계속 줄이면서 살지 않으며, 밤새 돌아가는 배치나 계속 상호작용하는 서비스에서는 고정된 걸음 크기를 쓰기 때문입니다. 걸음을 줄이면 흔들림이 잦아들 수 있지만, 고정된 걸음으로 오래 달리면 작은 흔들림이 복리로 쌓입니다. 그래서 평균 안정만 믿고 배포하면 밤중에 터질 수 있죠. 이런 걱정이 드는 분이라면 이 논문의 문제 설정이 바로 와닿을 것입니다.

다른 사람의 발자국을 따라갈 때 생기는 일

Off-policy 학습이 어려운 이유는 데이터가 남의 발자국이기 때문입니다. Behavior policy가 돌아다니며 모은 상태와 보상과 다음 상태를 가지고 target policy였으면 어땠을까를 추정해야 하는데, 두 정책이 자주 가는 곳이 다르면 어떤 상태는 자주 보고 어떤 상태는 드물게 봅니다. 그래서 importance ratio로 보정을 거는데, 이 비율이 크면 그 샘플을 무겁게 보고 작으면 가볍게 봅니다. 말이 쉽지 실제로는 이 비율이 튀면서 업데이트가 출렁이죠.

여기에 시간차 학습의 부트스트랩이 겹치면 사정이 더 까다로워집니다. 현재의 가치 추정치로 다음 추정을 고치는 구조라서 오차가 스스로를 물고 들어가기 때문입니다. On-policy에서는 방문 빈도와 업데이트 방향이 어느 정도 맞아떨어지니까 버틸 수 있지만, off-policy에서는 방문은 한 정책이 하고 평가는 다른 정책이 하다 보니 업데이트가 어느 방향으로 힘을 받을지가 어긋나기 쉽습니다. 발산 사례로 오래 거론된 Baird 반례 같은 이야기가 바로 이 어긋남에서 나왔으며, 선형 근사 아래에서도 가치가 튀어버리는 장면이었죠.

ETD는 이 어긋남을 고치려고 나온 방법입니다. 아이디어를 풀어 쓰면 방문한 순서대로 같은 무게를 주지 않고, target policy 관점에서 쓸모 있는 방문에 더 무게를 싣겠다는 것이며, follow-on trace라는 누적량이 그 무게를 잽니다. 과거의 importance ratio를 타고 흐르면서 지금 상태가 얼마나 강조돼야 할지를 재기 때문입니다. 기대값으로 보면 이 강조가 투영의 기하를 바꿔서 평균 업데이트를 안정 쪽으로 돌려놓죠. 그래서 ETD는 off-policy TD의 평균을 고친 해법으로 읽혀 왔습니다.

하지만 여기서 재미있는 질문이 생깁니다. 평균을 고친 것과 매 걸음을 고친 것은 같은 일일까요. 평균 식탁에서는 반듯해 보이는 다리가 실제 바닥에서는 흔들리는 경우가 있듯이, 다리 길이를 평균 내면 맞지만 네 다리가 따로 놀기 때문입니다. ETD의 follow-on trace도 비슷한 구석이 있어서, 평균에서는 힘을 좋은 방향으로 모아주지만 표본 경로에서는 그 trace 자체가 크게 출렁일 수 있습니다. 그렇다면 평균 안정이라는 성적표만 보고 안심해도 될까요. 저는 이 대목에서 논문이 진짜 질문을 던졌다고 봅니다.

평균 지도와 실제 걸음은 왜 달라질까

평균 이야기는 기대값을 취한 뒤의 지도이고, 실제 학습은 난수 곱을 한 걸음씩 쌓는 걷기입니다. 논문이 꺼낸 잣대는 top Lyapunov exponent인데, 말이 거창해 보여도 뜻은 단순합니다. 무작위 행렬을 계속 곱했을 때 벡터 크기가 지수적으로 커지는지 줄어드는지를 재는 것이며, 부호가 양수면 작은 차이가 점점 벌어지고 음수면 차이가 잦아듭니다. 평균 행렬의 스펙트럼이 안정 쪽이어도, 곱해지는 순서와 방향이 나쁘게 맞물리면 표본 곱은 커질 수 있죠.

이 차이는 생각보다 중요합니다. 평균 행렬은 매번 같은 도장을 찍는 셈이지만, 실제 경로는 매번 다른 도장이 찍히기 때문입니다. 도장 찍는 순서가 바뀌면 결과가 달라지는데, 행렬 곱은 교환이 안 되기 때문입니다. 그래서 기대값의 수축은 매번의 수축을 뜻하지 않으며, 고정된 걸음 크기에서는 이 간격이 그대로 드러납니다. 걸음을 점점 줄이면 흔들림이 눌리면서 평균이 이기지만, 걸음을 고정하면 표본의 기세가 살아남기 때문입니다.

저는 여기서 조금 의심했습니다. 혹시 이 양수 부호라는 것이 그냥 follow-on trace의 분산이 무한해서 생긴 소동은 아닐까 하고요. Trace가 가끔 엄청나게 튀면 곱이 커 보이는 것은 당연하니까요. 하지만 논문의 답은 아니오입니다. 그 근거를 댈 때 재생 주기라는 장치를 쓰는데, 궤적을 독립적으로 볼 수 있는 구간으로 끊어서 trace가 크든 작든 곱 자체의 기세가 양수인지를 따로 잽니다. 비유하자면 하루 매출이 들쭉날쭉한 가게에서도, 손님이 오는 패턴과 별개로 임대료 구조 자체가 적자 방향인지를 따지는 셈입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 고정된 걸음 크기를 쓰는 한, 평균 안정만으로 배포를 결정해도 될까요. 배치 학습이나 온라인 서비스에서는 학습률을 0으로 보내지 않으며, 계속 들어오는 데이터를 받아야 하기 때문입니다. 이런 환경에서는 표본 경로의 기세가 그대로 비용이 됩니다. 메모리는 터지고, 가치 추정치는 밤사이에 튀고, 그 위에서 움직이던 정책은 이상한 행동을 내놓죠. 그래서 저는 평균 안정과 경로 안정을 같은 말로 쓰는 습관을 여기서 고쳐야 한다고 봅니다.

분산이 문제가 아니라고 말할 수 있는 이유

Follow-on trace는 악명이 높습니다. 분산이 무한해질 수 있다고 알려져 있기 때문인데, 그래서 ETD가 흔들리면 많은 사람이 먼저 분산을 의심합니다. 그런데 이 논문은 그 의심을 정면으로 다루며, 재생 주기 분석으로 곱의 부호와 trace의 꼬리를 분리했기 때문입니다. trace가 두꺼운 꼬리를 가져서 가끔 크게 튀는 것과, 곱 자체가 지수적으로 벌어지는 것은 다른 층위의 현상이라는 것이며, 논문은 둘을 같은 봉투에 넣지 않죠.

방법을 풀어 쓰면 이렇습니다. Ergodic한 궤적을 재생되는 지점마다 끊으면 구간들이 서로 비슷한 성질을 갖게 되며, 각 구간에서 행렬 곱이 얼마나 커졌는지를 보고 장기 기세를 잽니다. Trace가 순간적으로 커진 구간이 몇 개 섞여 있어도, 전체 기세가 양수인지 음수인지는 따로 드러나는데요. 마치 마라톤 기록을 볼 때 급경사 한 구간만 떼어내지 않고 전체 페이스의 기울기를 보는 것과 비슷하며, 언덕 때문인지 체력 배분 자체가 잘못됐는지를 가르는 셈입니다.

이 구분을 놓치기 쉽습니다. 분산이 크다는 말은 추정이 출렁인다는 뜻이고, Lyapunov 부호가 양수라는 말은 오차가 체계적으로 벌어진다는 뜻이기 때문인데, 출렁임은 평균을 많이 모으면 잦아들 수 있습니다. 하지만 벌어짐은 평균을 모으는 것만으로 잡히지 않으며, 방향 자체가 바깥을 향하기 때문입니다. 논문이 이 둘을 나눈 덕분에 다음 말이 설득력을 얻습니다. trace 분산을 줄이는 것만으로는 이 발산을 설명할 수 없다는 것입니다. 그렇다면 손봐야 할 곳은 trace의 크기가 아니라 신호가 곱해지는 구조가 아닐까요.

여기서는 조금 조심해서 읽을 필요가 있습니다. 분산이 중요하지 않다는 뜻이 아니기 때문인데, trace 분산이 크면 학습이 시끄러운 것은 맞습니다. 다만 이 논문이 겨냥한 발산은 시끄러움의 문제가 아니라 기세의 문제이며, 시끄러운 것과 벌어지는 것을 같은 약으로 치료할 수는 없기 때문입니다. 저는 이 구분을 논문의 조용한 성과라고 봅니다. 소음이 크다고 소음만 줄이다가 방향이 틀어진 채로 빨리 가는 경우를 막아주니까요.

두 개의 상태로 만든 반례가 말하는 것

논문은 ergodic한 두 상태짜리 작은 세계를 직접 만듭니다. 상태가 두 개뿐이라서 머릿속으로 굴려볼 수 있으며, 작은 만큼 속임수가 통하지 않죠. 이 작은 세계에서 ETD의 평균 지도는 수축하지만, 표본 곱의 top Lyapunov exponent는 양수로 나옵니다. 평균으로 보면 오차가 줄어드는 방향이지만, 실제로 한 걸음씩 곱해보면 오차가 벌어지는 방향이라는 것이며, 말로 쓰면 모순처럼 들리지만 행렬 곱의 세계에서는 일어나는 일입니다.

이 반례가 날카로운 이유는 조건을 깔끔하게 갖췄기 때문입니다. Ergodic해서 궤적이 어딘가에 갇히지 않고 두 상태를 오가며, 그래서 특정 구간에서만 생긴 우연이라고 둘러댈 수 없습니다. 재생 주기로 끊어도 같은 기세가 나오며, 평균 행렬의 고유값은 안정 영역에 있는데 표본 곱은 바깥으로 향합니다. 지도만 보고 걸으면 낭떠러지로 가는 셈입니다. 저는 이 장면에서 평균 안정이라는 말이 얼마나 얇을 수 있는지를 실감했습니다.

구체적인 장면을 떠올려 보겠습니다. 두 방을 오가는 로봇이 있는데, 한 방은 자주 가고 다른 방은 드물게 간다고 합시다. 평균으로 보면 드문 방의 영향은 작게 잡히니까 전체 업데이트는 안정적으로 보이지만, 실제 궤적에서는 드문 방에 갈 때마다 importance ratio와 trace가 맞물리면서 큰 업데이트가 터집니다. 그 큰 걸음이 다음 추정치에 그대로 남아 다음 곱을 키우며, 자주 가는 방에서 작은 걸음으로 만회하기 전에 드문 방의 한 방이 판을 흔듭니다. 평균은 그 한 방을 희석하지만 실제 에이전트는 그 한 방을 정면으로 맞기 때문입니다.

그렇다면 이 반례는 ETD가 틀렸다는 말일까요. 저는 그렇게 읽지 않았습니다. ETD가 평균을 고친 공로는 그대로 있으며, 고정된 걸음 크기에서 표본 경로까지 책임지지는 못한다는 경계가 그어진 셈이기 때문입니다. 작은 세계에서조차 이 간격이 벌어진다면, 상태가 많고 근사가 얽힌 큰 세계에서는 더 벌어질 수 있습니다. 그래서 이 두 상태짜리 이야기는 논문 전체의 나침반처럼 읽힙니다. 뒤에 나오는 정칙화도 결국 이 작은 세계에서 먼저 시험받기 때문입니다.

흔적은 손대지 않고 신호를 늦추는 방법

RETD의 선택은 처음 보면 우회로처럼 느껴집니다. Follow-on trace와 importance ratio는 그대로 두는데, 이 둘은 ETD의 정체성에 해당하기 때문입니다. 대신 강조된 TD 신호를 새는 스칼라 상태에 담았다가 늦게 보정하며, Leaky라는 말이 뜻하는 대로 이 상태는 매번 조금씩 샙니다. 그래서 과거 신호가 무한히 쌓이지 않고 잦아들며, 지금의 큰 신호가 다음 업데이트를 곧바로 흔들지 않고 샌 뒤에 남은 만큼만 천천히 반영되는 셈입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. Trace를 손보는 접근은 무게 자체를 바꾸는 일이라서, 그러면 ETD가 겨냥한 투영의 기하까지 건드리기 쉽기 때문입니다. 가중치를 건드리면 평균이 가리키는 답 자체가 움직일 수 있지만, 반면 신호를 담았다가 늦게 푸는 접근은 무게는 그대로 두고 때를 바꾸는 일입니다. 답이 가리키는 곳은 지키면서 가는 길의 출렁임을 줄이려는 셈이며, 수도꼭지를 잠그는 대신 물탱크를 하나 두고 파도를 가라앉히는 것과 비슷합니다. 물의 총량은 그대로 두되 출렁이는 타이밍을 늦추는 것입니다.

동작을 시간 순서로 풀어보면 감이 옵니다. 매 걸음마다 강조된 TD 신호가 계산되면, 그 신호가 파라미터로 곧장 가지 않고 스칼라 상태에 먼저 들어가며, 이 상태는 이전에 담긴 값을 조금 흘려보낸 뒤 새 신호를 더합니다. 그리고 파라미터 업데이트는 이 상태에 쌓인 값을 일정한 지연을 두고 읽어서 쓰는데, 큰 신호가 터진 직후에는 상태가 부풀지만 파라미터는 그 부푼 값을 한 박자 늦게 받아들입니다. 그 사이에 leak이 부푼 값을 조금씩 덜어내기 때문이며, 그래서 드문 방에서 온 한 방짜리 신호가 곧바로 판을 흔들지 못합니다. 한 박자의 여유가 완충지대가 되는 셈입니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 돌릴까요. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문입니다. RETD는 trace를 고치지 않으니 기존 ETD 파이프라인에 얹기 쉽고, 추가 상태도 스칼라 하나라서 메모리가 크게 늘지 않죠. 지연된 보정은 구현이 단순한 편인데요. 읽기 시점을 하나 미루는 셈이기 때문입니다. 물론 지연이 길어지면 반응이 느려질 수 있습니다. 논문이 뒤에서 안정 영역을 따지는 이유가 바로 여기에 있으며, 완충이 깊을수록 안정은 좋아질 수 있지만 너무 깊으면 답을 따라가는 속도가 느려지기 때문입니다.

답을 옮기고 다시 되돌리는 읽는 법

RETD를 이해할 때 헷갈리기 쉬운 대목이 평형점 이야기입니다. 논문은 날것의 평형과 읽어내는 답을 나누는데, 새는 상태와 지연된 보정을 그대로 두면 파라미터가 멈추는 지점이 ETD의 고정점과 어긋나기 때문입니다. affine shift만큼 옮겨간다는 것이며, 기울기는 같은데 절편이 밀린 셈입니다. 업데이트에 누수가 생기면 멈추는 위치가 원래 멈춤점과 달라지는 것은 자연스러우며, 욕조에 구멍이 있으면 수면이 원래 높이에 멈추지 않는 것과 비슷한데요.

그래서 논문은 읽는 법을 따로 둡니다. Single-regularization readout과 two-regularization readout라는 두 가지 읽기가 ETD 고정점을 정확히 되찾는다는 것이며, 옮겨간 자리에서 원래 자리를 역산하는 셈입니다. 이사를 간 뒤에도 옛 주소를 찾을 수 있게 변환식을 적어두는 것과 비슷하며, 학습은 옮겨간 자리에서 안정적으로 돌리는데요. 보고하는 답은 원래 자리로 되돌려 읽습니다. 저는 여기서 멈칫했습니다. 답을 옮겨놓고 읽을 때 되돌린다는 발상이 언뜻 돌아가는 길처럼 보이지만, 안정과 정확을 분리하는 수완이기 때문입니다.

이 분리를 놓치기 쉽습니다. 안정은 궤적이 튀지 않는 것이고 정확은 멈춘 자리가 맞는 것인데, 둘을 한 몸으로 묶으면 하나를 고치다가 다른 하나가 깨지기 쉽기 때문입니다. Trace를 직접 건드리면 안정과 정확이 함께 움직이지만, RETD처럼 날것의 평형은 옮겨가되 읽기로 원래 답을 되찾으면 흔들림은 완충지대에서 잡고 답은 변환식으로 지키는 분업이 됩니다. 말하자면 달리는 자세와 도착 지점을 따로 설계하는 것이며, 자세는 낮게 잡아도 도착점은 그대로 두는 셈입니다.

그렇다면 읽기를 쓰면 공짜로 원래 답을 얻는 것일까요. 여기서는 조건을 봐야 합니다. 읽기가 정확하다는 것은 평형점 관계에 대한 이야기라서, 과도기의 흔들림까지 없애주지는 않기 때문입니다. 학습 초반의 출렁임은 여전히 있을 수 있지만, 멈추는 곳이 ETD가 겨냥한 곳과 같다는 보장이 생깁니다. 이 보장이 있어야 뒤의 실험에서 고정점 회복을 말할 수 있으며, 저는 그래서 이 대목을 논문의 정직한 부분으로 읽었습니다. 정칙화가 답을 바꾸는 것 아니냐는 의심을 피하지 않고, 옮겨간 만큼 되돌리는 식을 내놓았기 때문입니다.

줄여가는 걸음에서는 증명되고 고정된 걸음에서는 조건이 붙는 이유

증명 이야기를 할 차례입니다. 논문은 두 층위를 나누는데, Harmonic diminishing stepsize 아래에서는 거의 확실한 수렴을 증명합니다. 걸음을 조화급수처럼 줄이면 흔들림이 잦아들면서 평균의 힘이 이기기 때문이며, 시간이 갈수록 걸음이 가벼워지니까 표본의 기세가 눌립니다. 이 결과는 RETD가 평균 답을 향해 간다는 것을 이론으로 못 박으며, 읽기를 통해 ETD 고정점으로 간다는 이야기와 맞물립니다.

고정된 걸음 크기에서는 말이 달라집니다. 논문은 무조건적인 안정이 아니라 조건부 moment-contraction 결과를 주는데, Markovian random-product bound에서 끌어낸 것입니다. 상태 전이가 마르코프 구조를 가질 때 곱의 크기를 구간별로 묶어서 보는 기술이며, 조건이 붙는 이유는 고정된 걸음에서는 표본 기세가 살아남아서 파라미터 영역과 걸음 크기와 누수 정도가 맞아떨어져야 수축이 나오기 때문입니다. 비유하자면 속도를 줄이지 않고 코너를 돌 때는 타이어와 노면과 속도가 맞아야 한다는 것이며, 하나만 어긋나도 바깥으로 밀립니다.

저는 이 조건부를 약함이 아니라 정직함으로 읽었습니다. 고정된 걸음에서 무조건 안정을 주장했다면 오히려 의심했을 것이며, 안정 영역이 단조롭지 않다는 뒤의 실험과도 맞아떨어지기 때문입니다. 걸음을 키우면 좋아지다가 어느 구간에서는 나빠지고, 누수를 키우면 잡히던 것이 다시 흔들리는 식입니다. 조건부라는 말은 이론의 빈틈이 아니라 지형의 모양을 가리키며, 어디에서는 되고 어디에서는 안 되는지를 미리 말해주는 셈입니다. 실제 시스템 관점에서 보면 이런 조건이 있어야 튜닝의 감이 잡히는데, 무조건 된다는 말보다 어디서 깨지는지를 아는 것이 운영에는 더 쓸모가 있으니까요.

그렇다면 이 증명은 실무자에게 무엇을 남길까요. 줄여가는 걸음에서는 안심하고 돌리라는 신호와, 고정된 걸음에서는 세 개의 손잡이를 함께 보라는 신호이며, 걸음 크기와 정칙화 정도와 읽는 방식이 그것입니다. 하나만 올리면 된다는 식의 처방이 아니라 조합을 보라는 것이며, 저는 이 대목이 에이전트 학습과 잘 맞는다고 봅니다. 에이전트는 멈추지 않고 배우니까 걸음을 0으로 보낼 수 없으며, 대신 완충과 읽기로 버티는 법을 배워야 하기 때문입니다.

만 번을 나란히 돌려서 확인한 것들

논문의 실험은 paired 10,000-run이라는 말이 말해주듯 물량으로 밀지 않고 짝을 맞춰 비교합니다. 같은 난수 흐름에서 ETD와 RETD를 나란히 돌려서 차이가 우연인지를 가리는 것이며, 같은 바람에서 두 배를 띄우는 것과 비슷합니다. 바람 탓과 배 탓을 가를 수 있기 때문이며, 이 짝짓기 덕분에 분리, 고정점 회복, 안정 영역의 모양, 과제 의존성 같은 말이 힘을 얻습니다. 각 주장이 같은 출발선에서 갈린 것이기 때문입니다.

먼저 분리 주장이 확인됩니다. 양수 부호와 무한 분산이 따로 간다는 것이며, Shared follow-on-trace variance를 줄이지 않고도 안정 쪽 기세가 달라집니다. RETD가 trace 분산을 낮춰서 이긴 것이 아니라는 뜻이며, 소음을 줄인 것이 아니라 방향을 잡은 셈입니다. 같은 소음 아래에서도 한쪽은 벌어지고 한쪽은 잦아든다면 원인은 소음이 아니라 구조에 있기 때문입니다. 저는 이 대목이 논문의 태도를 잘 보여준다고 봅니다. 쉬운 승리인 분산 감소를 가져가지 않고, 어려운 승리인 기세 반전을 노렸기 때문입니다.

고정점 회복도 확인됩니다. 날것의 평형은 옮겨가도 읽기를 거치면 ETD 고정점으로 돌아온다는 것이며, 실험에서 멈춘 값을 읽는 방식대로 바꿔 읽으면 ETD가 겨냥한 값과 맞물립니다. 이사가도 우편물을 새 주소에서 옛 주소로 정확히 돌려보내는 것과 비슷하며, 주소 변환이 틀어지지 않았다는 뜻입니다. 다만 과도기의 출렁임까지 같아지는 것은 아니라서, 같은 도착점에 다른 길로 가는 셈이죠. 이 차이를 읽지 못하면 안정과 정확을 같은 말로 착각하기 쉽습니다.

안정 영역이 단조롭지 않다는 점도 눈에 밟힙니다. 정칙화를 세게 걸수록 무조건 좋아지지 않고 과제마다 모양이 다르다는 것이며, 어떤 과제에서는 누수가 커지면 잡히던 것이 다른 과제에서는 다시 흔들립니다. Baird 쪽 결과도 같은 결이며, 두 상태 반례와 하나의 Baird 지점에서는 RETD의 음수 부호가 증명으로 못 박히지만 다른 Baird 지점의 ETD 양수 부호는 수치로만 남기 때문입니다. 저는 이 비대칭을 솔직하게 밝혔다고 봅니다. 되는 곳은 증명으로, 아직 수치에 머무는 곳은 수치로 말하며, 그래서 다음 연구가 어디를 메워야 할지가 분명해지기 때문입니다. (참고로 이 비대칭은 약점이 아니라 지도의 빈칸을 표시하는 일인데요. 빈칸을 숨기면 다음 탐사가 길을 잃기 때문입니다.)

에이전트에게 안정이란 무엇일까

여기까지 오면 질문이 남습니다. 에이전트에게 안정이란 도대체 무엇일까요. 멈춰 있는 것이 안정이 아니라, 계속 배우면서도 밤중에 터지지 않는 것이 안정이며, 고정된 걸음 크기라는 말은 결국 멈추지 않겠다는 선언이기 때문입니다. 배치로 돌리든 온라인으로 돌리든 데이터는 계속 들어오며, 그 흐름을 끊지 않고 타는 법이 필요하다는 것입니다. RETD는 그 타는 법에 대한 하나의 답이며, 흔적은 존중하고 신호는 늦추는 것이죠.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문입니다. RETD는 추가 상태가 스칼라 하나라서 부담이 작고, trace를 그대로 두니 기존 코드에 얹기 쉽습니다. 지연된 보정도 읽기 시점을 미루는 일이라서 분산 시스템에서도 내구성이 있는 편이며, 큰 신호가 터져도 곧바로 전파되지 않기 때문입니다. 물론 지연이 길면 반응이 굼떠질 수 있습니다. 그래서 안정 영역의 지형이 운영 문서처럼 읽혀야 하며, 어디까지 늦춰도 되는지, 어디부터는 오히려 흔들리는지를 아는 것이 배포의 감각이기 때문입니다.

제가 앞으로 보고 싶은 것은 세 가지입니다. 먼저 Baird의 나머지 지점에서 수치로 남은 양수 부호가 증명으로 메워질지이며, 수치가 가리키는 곳과 증명이 닿는 곳 사이의 간격이 얼마나 빨리 좁혀질까요. 다음으로는 과제 의존성의 모양이며, 어떤 과제의 어떤 성질이 안정 지형을 바꾸는지를 미리 알 수 있다면 튜닝이 감이 아니라 설계가 되기 때문입니다. 마지막으로는 에이전트 스택과의 만남이며, 가치 추정이 살짝 늦게 반영될 때 정책 개선 루프가 어떻게 반응하는지를 보고 싶습니다. 늦게 온 정확한 신호와 빨리 온 출렁이는 신호 중에 정책은 무엇을 더 좋아할까요.

그래서 지금은 얼마나 믿을 수 있을까. 저는 평균 안정만 믿던 시절로는 돌아가기 어렵다고 봅니다. 표본 경로의 기세를 재는 눈을 얻었기 때문이며, 한 번 본 간격은 다시 안 보이지 않습니다. 다만 RETD를 만능으로 읽을 필요는 없으며, 분산을 줄이지 않고 조건부 안정에 머무는 한계가 분명하기 때문입니다. 그 한계를 안고도 남는 것이 있으며, 흔들림의 원인을 소음이 아니라 구조에서 찾고, 답을 옮기지 않고 길을 고치는 태도입니다. 에이전트가 오래 일할수록 필요한 것은 더 큰 점수가 아니라 밤을 버티는 자세이며, 이 논문은 그 자세를 수식으로 적은 셈입니다. 그렇다면 우리의 학습 루프는 평균의 안심을 넘어 경로의 안심을 물을 준비가 됐을까요.