함수 공간에서 다시 쓰는 학습의 통계역학

A Function-Space Approach to the Statistical Mechanics of Learning Dynamics라는 제목의 논문이 arXiv에 2609.09589번으로 공개되었습니다. 이 연구는 파라미터가 아니라 함수와 그 동역학적 연산자를 거시 변수로 삼으면 학습의 집단적 질서를 더 안정적으로 설명할 수 있다고 주장합니다. 원문 논문으로 이어지는 연결은 제목 아래에 붙어 있습니다.

제가 이 논문을 집어 든 이유는 단순합니다. 신경망은 수백만 개 파라미터가 비선형으로 얽혀 있는데도 학습 곡선은 이상하리만치 규칙적으로 움직이고, 왜 그런 규칙성이 생기는지 늘 궁금했기 때문입니다. 파라미터 궤적을 하나하나 따라가다 보면 설명이 금방 복잡해지는데, 저자들은 아예 보는 층위를 바꾸자고 제안합니다. 미시적인 파라미터 배열은 실현(realization)으로 내려보내고, 함수가 어떻게 오차를 줄여가는지를 거시적인 장면으로 올려다보자는 것이죠. 그렇다면 이 층위의 이동은 실제로 무엇을 보여줄까요. 오늘 글에서는 그 질문을 처음부터 따라가 보겠습니다.

왜 파라미터가 아니라 함수를 봐야 할까

신경망을 학습시킨다는 말은 보통 가중치를 업데이트한다는 뜻으로 쓰입니다. 그런데 같은 함수를 만드는 가중치 배열이 하나가 아니라는 점은 다들 경험으로 알고 있죠. 순서를 바꾼 뉴런, 부호가 뒤집힌 가중치, 서로 상쇄되는 경로를 생각하면 같은 출력이 여러 파라미터에서 나올 수 있고, 규모가 커질수록 그런 중복은 기하급수적으로 늘어납니다. 그래서 파라미터 공간의 궤적은 미시적으로 보면 지그재그로 요동치는데, 정작 모델이 내놓는 함수는 천천히 매끈하게 변하는 경우가 많습니다.

저는 이 간극이야말로 통계역학이 들어설 자리라고 봅니다. 기체 분자 하나하나의 속도를 추적하는 대신 압력과 온도라는 거시 변수를 쓰듯이, 파라미터 하나하나의 움직임 대신 함수와 그 변화를 이끄는 연산자를 거시 변수로 쓰자는 제안이기 때문입니다. 논문이 내세우는 장면도 바로 그겁니다. 깊은 신경망은 파라미터 공간에서는 심하게 비선형이지만, 함수 공간이라는 거시 층위에서는 규칙적인 집단 행동이 나타난다는 것이죠.

여기서 재미있는 질문이 생깁니다. 거시 변수로 삼을 만한 연산자는 무엇일까요. 저자들의 답은 학습 연산자(learning operator) M입니다. 평균제곱오차를 쓰는 상황에서 오차의 정확한 동역학이 M에 의해 지배된다는 것이고, M은 파라미터에서 함수로의 야코비안 J로부터 M = J J* 형태로 만들어집니다. 수식만 보면 건조하지만, 뜻을 풀면 꽤 직관적입니다. 파라미터를 조금 움직였을 때 함수가 어느 방향으로 얼마나 민감하게 바뀌는지를 모아둔 것이 J이고, 그 민감도를 함수 공간의 방향별로 제곱해서 더한 것이 M이기 때문입니다. 다시 말해 M은 학습이 어느 함수 방향으로 빨리 가고 어느 방향으로 더디 가는지를 정해주는 지도와 같습니다.

같은 답을 내는 수많은 길이 있다는 뜻

파라미터와 함수가 다대일로 대응한다는 사실은 이론을 세울 때 그냥 넘길 수 없는 조건입니다. 같은 함수라도 그 뒤에 서 있는 파라미터 배열은 셀 수 없이 많고, 학습 동역학만 보면 그 중복이 잘 드러나지 않기 때문입니다. 저자들은 그래서 동역학에서 오는 가중치와 파라미터 공간의 상태 밀도를 함께 쓰는 길을 택합니다.

앞부분을 먼저 풀면, 조건부 확률 동역학(conditional stochastic dynamics)에서 유도된 동역학적 볼츠만 가중치(dynamical Boltzmann weight)가 등장합니다. 학습이 확률적 요동을 안고 진행될 때, 어떤 함수 궤적이 얼마나 가능했는지를 재는 저울이라고 이해하면 됩니다. 그런데 저울 하나만으로는 부족합니다. 같은 함수 궤적 뒤에 숨어 있는 파라미터 실현이 몇 개인지를 세어주지 않으면, 자주 관측되는 것과 실제로 방대한 부피를 차지하는 것을 구분할 수 없기 때문입니다. 그래서 등장하는 것이 파라미터 공간의 상태 밀도(density of states)이고, 두 요소를 곱한 형태가 이론의 출발점이 됩니다.

생각해보면 사람 일도 비슷하게 돌아갑니다. 회의실에서는 같은 결론에 도달해도 각자 머릿속에 그린 과정은 조금씩 다르고, 그중 어떤 과정은 유독 많은 사람이 떠올릴 수 있는 흔한 경로이고 어떤 과정은 한두 사람만 떠올리는 드문 경로입니다. 결론의 설득력만 따지면 같아 보이지만, 그 결론을 떠받치는 경로의 개수를 세어보면 흔한 결론과 드문 결론이 갈립니다. 논문이 상태 밀도를 끌어들이는 이유도 이와 같습니다. 함수 궤적의 가능성뿐 아니라 그 궤적을 실현하는 파라미터 부피까지 함께 재야 집단 행동을 제대로 설명할 수 있기 때문입니다.

문제는 그다음입니다. 상태 밀도는 공간 전체에 고르게 깔려 있지 않고, 함수 주변에서 국소적으로 휘어 있습니다. 그 휘어짐을 무시하면 이론은 깔끔해지지만 현실과 어긋나고, 그대로 두면 계산이 감당하기 어려워집니다. 그렇다면 이 국소적인 휘어짐을 어떻게 다룰 수 있을까요.

오차는 어떻게 움직이는 걸까

평균제곱오차를 가정하면 이야기가 꽤 명확해집니다. 함수 공간에서의 오차는 학습 연산자 M이 정해주는 방향과 속도를 따라 줄어들고, 이는 근사가 아니라 정확한 동역학으로 적혀 있습니다. 파라미터 공간의 복잡한 비선형 궤적을 쫓아가지 않아도, 함수 공간에서는 오차가 M이라는 하나의 연산자에 의해 정돈된 형태로 움직인다는 것이죠. 저는 이 대목에서 논문의 태도가 마음에 들었습니다. 미시적인 복잡함을 부정하지 않으면서도 설명의 층위를 올려 규칙성을 꺼내오는 방식이기 때문입니다.

다만 실제 학습에는 요동이 있습니다. 미니배치의 무작위성, 초기화의 차이, 수치 오차 같은 크고 작은 흔들림이 궤적을 계속 건드리고, 그 흔들림이 어느 방향으로 얼마나 증폭되거나 감쇠되는지는 M의 고유값 스펙트럼이 정합니다. 고유값이 큰 방향은 오차가 빨리 가라앉는 방향이고, 고유값이 작은 방향은 오래 남는 찌꺼기에 해당합니다. 여기서 흔히 떠올리는 단순한 그림은 빨리 배우는 방향이 곧 중요한 방향이라는 해석인데, 여기서는 조금 조심해서 읽을 필요가 있습니다. 빨리 가라앉는다고 해서 그 방향이 일반화에 늘 좋은 것은 아니고, 무엇이 빨리 가라앉는지를 따로 물어야 하기 때문입니다.

저자들이 끌어들이는 통계 연산자 B가 바로 그 질문에 답하는 장치입니다. 상태 밀도의 국소 곡률이 정의하는 연산자인 B는 요동 항을 통해 동역학과 결합하고, 어떤 함수 방향이 통계적으로 얼마나 무거운지를 재줍니다. M이 움직임의 속도를 정한다면, B는 그 움직임이 놓인 지형의 기울기 같은 역할을 한다고 볼 수 있습니다. 두 연산자가 따로 놀면 설명은 반쪽에 머물고, 둘이 어떻게 맞물리는지를 봐야 전체 그림이 완성됩니다.

흔들림을 세어 보면 보이는 것들

국소 요동을 모두 적분해내면 이론에서 가장 눈에 띄는 식이 나옵니다. 요동 기여분은 상수를 제외하고 Phi_fluc(M;B) = (sigma_xi^2/2) log det(M^{-1} + B) 형태로 정리됩니다. 처음 보면 기호가 많아 보이지만, 차근차근 뜯으면 의미는 또렷합니다. sigma_xi^2은 요동의 세기를 재는 분산이고, M^{-1}은 학습이 느린 방향일수록 크게 기여하는 항이며, B는 상태 밀도의 국소 곡률이 더해지는 항입니다. 행렬식과 로그가 붙은 것은 모든 방향의 기여를 곱해서 더하는 통계역학적 합산이라고 읽으면 됩니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 이 식은 M과 B를 따로 평가하지 않고 반드시 함께 보라고 요구하기 때문입니다. M만 좋다고 학습이 안정되는 것이 아니고, B만 평탄하다고 요동이 사라지는 것도 아닙니다. 두 연산자의 합이 행렬식 안에서 한 몸처럼 움직이면서 가능성의 부피를 정하고, 그 부피가 작아지는 쪽으로 이론의 선호가 생깁니다. 통계역학에서 자유에너지가 낮은 상태를 선호하듯이, 여기서는 요동 기여분이 작은 연산자 배치가 선호되는 셈입니다.

여기서 한 가지 오해를 미리 걷어낼 필요가 있습니다. 이 식을 보고 요동을 그저 잡음으로 오해하면 곤란합니다. 요동은 제거 대상이 아니라 정보를 가진 신호에 가깝고, 어떤 방향이 통계적으로 무거운지를 드러내는 탐침이기 때문입니다. 요동이 큰 방향은 상태 밀도가 가파르게 바뀌는 곳일 수 있고, 요동이 작은 방향은 파라미터 실현이 넓게 깔린 평평한 골짜기일 수 있습니다. 그래서 요동을 적분한다는 말은 잡음을 지운다는 뜻이 아니라, 잡음의 모양에서 지형의 정보를 읽어낸다는 뜻에 가깝습니다. 그렇다면 두 지형이 서로 어긋나 있을 때는 무슨 일이 생길까요.

두 연산자가 같은 방향을 볼 때

스펙트럼을 고정한 채로 회전만 허용하면, 요동 기여분은 M과 B가 교환할 때([M,B]=0) 회전 방향으로 정류 상태가 됩니다. 말이 어렵지만 그림으로 상상하면 단순합니다. M이 빨리 움직이는 방향과 B가 가벼운 방향이 서로 같은 축을 바라볼 때, 작은 회전으로는 전체 부피가 달라지지 않는다는 뜻입니다. 축이 맞아떨어진 상태에서는 어느 쪽으로 조금 돌려도 손해 볼 것이 없다는 것이죠.

개인적으로는 이 조건이 논문에서 꽤 멋진 대목이라고 느꼈습니다. 정렬을 가정하고 시작하는 대신, 정렬된 상태가 왜 선호되는지를 에너지 비슷한 양의 정류 조건으로 보여주기 때문입니다. 다시 말해 축이 맞는 배치는 손으로 끼워 맞춘 해가 아니라, 요동 기여분이라는 저울 위에서 스스로 안정점이 되는 배치입니다. 물론 실제 학습이 매 순간 이 정류점에 앉아 있는 것은 아니고, 학습이 진행되면서 M과 B 자체가 함께 변하기 때문에 정류점은 움직이는 목표에 가깝습니다. 그럼에도 불구하고 이론이 가리키는 방향은 분명합니다. 학습은 두 연산자의 축이 어긋난 상태보다 맞물린 상태 쪽으로 기울어져 있다는 것이죠.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 축이 맞물린다는 것은 고유벡터가 공유된다는 뜻인데, 수백만 차원에서는 그 공유가 얼마나 엄밀할 수 있을까요. 논문이 말하는 정류성은 국소적이고 이상화된 조건 아래의 이야기라서, 현실에서는 완전한 교환보다는 부분적인 정렬로 읽는 편이 건강합니다. 그럼에도 불구하고 이 조건은 뒤에 이어지는 최소화 원리를 이해하는 발판이 됩니다. 축이 맞을 때 안정하다면, 그다음에는 어떤 축끼리 짝지어지는 것이 가장 좋은지를 물어야 하기 때문입니다.

빠른 길은 매끈한 길과 겹친다

스펙트럼이 고정된 상황에서 요동 기여분은 M의 큰 고유값과 B의 작은 고유값이 짝지어질 때 가장 작아집니다. 말이 길지만 뜻은 간결합니다. 학습이 빠른 방향과 통계적으로 가벼운 방향이 겹칠 때 전체 부피가 줄어든다는 것이죠. 그래서 빠른 완화는 B가 작은 부분공간에서 일어나기 쉽다는 결론이 나옵니다.

여기서 재미있는 질문이 생깁니다. 왜 하필 빠른 방향과 가벼운 방향이 만나야 할까요. 직관적으로 풀면, M이 큰 방향은 오차가 빨리 사라지는 방향이라 요동이 오래 남지 않고, B가 작은 방향은 상태 밀도가 완만해서 파라미터 실현이 넓게 깔린 방향입니다. 두 조건이 겹치면 오차는 빨리 가라앉으면서도 넓은 골짜기에 안착하게 되고, 그만큼 요동 기여분이 작아집니다. 반대로 M이 큰 방향에 B까지 크면, 빨리 움직이긴 하지만 좁고 가파른 능선을 타는 셈이라 요동의 대가가 커집니다. 이론은 전자를 선호하고 후자를 피하라고 말합니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 태도로 이 결과를 읽으면, 단순히 학습이 빠르다는 말보다 어느 부분공간에서 빠른지가 더 중요해집니다. B가 작은 부분공간에서의 빠른 완화는 넓은 실현 부피와 함께 오기 때문에 안정적으로 읽히지만, B가 큰 부분공간에서의 빠른 완화는 자칫 좁은 해에 급히 끼워 맞추는 움직임일 수 있기 때문입니다. 저는 그래서 이 짝지음 원리를 속도 이야기가 아니라 안정한 속도 이야기로 이해했습니다.

어긋나면 되돌리려는 힘이 생긴다

M과 B의 축이 어긋나면 그냥 어긋난 채로 머물지 않고, 회전 어긋남에 맞서는 국소 복원 기여가 생깁니다. 용수철을 조금 비틀면 원래 자리로 돌아가려는 힘이 생기듯이, 두 연산자의 방향이 틀어지면 그 틀어짐을 줄이는 쪽으로 이론의 선호가 기울어진다는 것이죠. 정류 조건이 안정점이라면, 이 복원 기여는 안정점 주변의 기울기에 해당합니다.

이 대목은 학습을 살아 있는 과정으로 느끼게 합니다. M은 학습이 진행되면서 데이터와 현재 함수에 따라 계속 바뀌고, B도 상태 밀도의 국소 곡률이라 위치에 따라 달라집니다. 두 연산자가 완전히 고정된 채로 한 번 정렬되고 끝나는 것이 아니라, 서로를 쫓아가며 어긋나고 되돌아오기를 반복하는 셈입니다. 그 과정에서 복원 기여는 일종의 안내 표지판처럼 작용합니다. 어긋남이 커지면 되돌리려는 경향도 커져서, 두 축이 완전히 따로 놀기 어렵게 만든다는 것이죠.

다만 이 힘을 너무 기계적으로 받아들이면 안 됩니다. 복원이라는 말이 정해진 목적지를 향한 자동 조종을 뜻하지는 않기 때문입니다. 여기서 복원은 전역 최적점을 보장하는 장치가 아니라, 국소 부피를 줄이는 쪽으로 기울어진 통계적 경향에 가깝습니다. 저는 이 구분이 중요하다고 봅니다. 이론이 학습의 성공을 보장한다고 읽으면 과장이 되지만, 학습이 왜 축 정렬 쪽으로 자주 기우는지를 설명한다고 읽으면 설득력이 생깁니다. 그렇다면 이런 추상적인 정렬 이야기는 실제 신경망의 어떤 성질과 만날까요.

ReLU 공간에서 매끈한 길은 무엇을 뜻할까

이론이 가장 구체적으로 손에 잡히는 대목은 ReLU 형태의 함수 공간에 안정적인 통계 조건을 얹었을 때입니다. 이 경우 B는 B = sigma_xi^2 L* K L 형태로 적히고, 여기서 L은 거칠게 coarse-grained된 이차 구조를 재는 연산자입니다. 기호가 낯설 수 있지만, 하고 있는 말은 의외로 소박합니다. 국소 곡률을 직접 재기 어려운 대신, 함수를 조금 뭉개서 본 뒤 그 위에서 이차적인 굽음을 재겠다는 것이죠.

이렇게 정의된 B가 작다는 것은 구조적 곡률이 낮다는 뜻에 가깝고, K의 이방성이 bounded된 범위 안에 머무르는 한 매끈하고 데이터에 적응적인 방향이 B가 작은 방향과 겹칩니다. 다시 말해 울퉁불퉁하게 꺾이는 방향이 아니라 완만하게 휘는 방향, 데이터의 배치와 어긋나게 튀는 방향이 아니라 데이터가 깔린 결을 따라가는 방향이 먼저 완화된다는 것입니다. 학습 초기에 신경망이 거친 윤곽부터 잡고 세부를 나중에 채운다는 흔한 관찰과도 자연스럽게 이어집니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 매끈함이 곧 좋음이라는 도식은 언제나 반례를 부르기 때문입니다. 매끈한 방향이 먼저 완화된다는 것이 매끈한 해가 항상 정답이라는 뜻은 아니고, 데이터의 결을 따른다는 것이 모든 문제를 풀어준다는 보장도 아닙니다. 논문이 말하는 것은 선호의 방향이지 승리의 선언이 아닙니다. 저는 그래서 이 결과를 일반화의 마법 공식으로 읽기보다, 왜 신경망이 자주 매끈한 해 쪽으로 기우는지를 설명하는 지형 이야기로 읽는 편이 정확하다고 봅니다. K의 역할도 같은 맥락에서 이해해야 합니다. K가 심하게 찌그러져 있으면 같은 곡률이라도 방향에 따라 체감이 달라질 수 있는데, 논문은 그 찌그러짐이 일정 범위 안에 갇혀 있다는 조건 아래에서 매끈함과 낮은 B를 연결합니다.

구체적인 장면을 하나 그려보면 이해가 쉽습니다. 밤늦게 이미지 분류기를 학습시키는데, 초기 에폭에서는 고양이의 전체 실루엣 같은 큰 구조가 먼저 잡히고, 수염 한 올 같은 미세한 질감은 뒤늦게 따라옵니다. L의 눈으로 보면 전자는 coarse-grained된 이차 구조가 작은 방향이고 후자는 큰 방향에 가깝습니다. 이론이 말하는 바는 전자의 B가 작아서 빠른 완화와 짝지어지기 쉽고, 그래서 전체 윤곽이 먼저 가라앉는다는 것입니다. 물론 실제 학습에서는 데이터 증강이나 최적화기 설정이 이 순서를 흔들 수 있고, 그래서 이 그림은 경향으로 읽어야지 법칙으로 읽으면 어긋납니다.

이 그림을 어디까지 믿어야 할까

이론이 아름답다고 해서 곧바로 현실이라고 믿으면 안 됩니다. 논문의 전제는 분명하고, 그 전제가 깨지는 자리에서는 결론도 함께 흔들리기 때문입니다. 평균제곱오차를 가정한 정확한 동역학은 출발점이지만, 분류에서 쓰는 교차엔트로피나 대비 학습의 목적함수에서는 같은 형태로 그대로 옮겨지지 않습니다. 요동의 세기를 재는 sigma_xi^2도 학습 내내 일정한 상수가 아니라 스케줄과 배치, 최적화기에 따라 흔들리는 양입니다. 고정된 스펙트럼 아래에서 회전만 따지는 분석 역시 실제 학습의 일부를 잘라낸 장면이라서, 고유값 자체가 움직이는 현실과는 거리가 있습니다.

그럼에도 불구하고 이 논문이 허무하게 느껴지지 않는 이유는, 가정한 것을 숨기지 않고 그 안에서 무엇을 말할 수 있는지를 끝까지 밀어붙였기 때문입니다. 근사나 직관에 기대지 않고 오차 동역학을 정확하게 적어둔 뒤, 상태 밀도의 곡률이 들어오는 자리를 식으로 보여주고, 정렬과 짝지음이 왜 선호되는지를 같은 식 안에서 풀어냅니다. 과장된 일반화보다 이런 정직한 범위 설정이 오히려 오래 남는 경우가 많습니다. 저는 앞으로 보고 싶은 것도 바로 이 확장입니다. 다른 손실 함수에서 같은 연산자 구조가 어떻게 변형되는지, 스펙트럼 자체가 움직일 때 정렬 경향이 유지되는지, 그리고 유한한 배치와 학습률 스케줄이 sigma_xi^2을 통해 결론을 얼마나 흔드는지까지 이어지면 이론의 무게가 달라질 것입니다.

또 하나 짚을 점은 이 이론이 무엇을 설명하지 않는지입니다. 특정 벤치마크 점수가 몇 점 올랐는지, 어떤 모델 규모에서 역전이 일어나는지 같은 실증적 질문에는 직접 답하지 않습니다. 대신 그런 숫자들이 자주 보이는 방향을 지형의 언어로 설명합니다. 숫자 자체를 다투는 논문과 숫자가 모이는 이유를 묻는 논문은 역할이 다르고, 이 논문은 분명히 후자에 속합니다. 그래서 읽을 때는 점수표를 찾지 말고, 점수표가 왜 그런 모양으로 기울어지는지를 묻는 편이 좋습니다.

함수를 거시 변수로 본다는 발상의 값어치

처음으로 돌아가면, 이 논문이 던진 가장 큰 질문은 기술적인 식이 아니라 층위의 선택입니다. 파라미터를 미시적 실현으로, 함수와 그 동역학적 연산자를 거시 변수로 두면 학습의 안정된 집단 조직을 더 잘 볼 수 있다는 제안이 바로 그것입니다. 깊은 신경망이 방대한 파라미터 공간의 비선형성에도 불구하고 거시적으로 규칙적으로 행동한다는 관찰은 많은 사람이 공유하지만, 그 규칙성을 어떤 변수로 적어야 하는지는 늘 열려 있었습니다. 저자들은 그 답으로 함수 공간을 지목합니다.

이 선택이 주는 실무적 힌트도 있습니다. 학습을 볼 때 가중치의 궤적만 쫓지 말고, 어느 함수 방향이 먼저 가라앉는지, 그 방향이 데이터의 결을 따르는 매끈한 방향인지를 함께 보라는 것이죠. 손실 곡선이 매끈하게 내려간다고 안심하는 대신, 어떤 부분공간에서 내려가는지를 묻는 습관이 생깁니다. 물론 이 통찰이 곧바로 새로운 최적화기로 이어지지는 않습니다. 하지만 무엇을 재야 하는지를 알려주는 이론은 무엇을 바꿔야 하는지를 알려주는 처방만큼 쓸모가 있습니다.

그렇다면 사람의 역할은 무엇일까요. 이론이 정교해질수록 해석의 책임은 오히려 사람에게 남습니다. 어느 조건에서 읽은 것인지, 어디까지 일반화해도 되는지, 무엇이 아직 열려 있는지를 구분하는 일은 식이 대신해주지 않기 때문입니다. 저는 이 논문을 덮으며 그런 구분이 더 또렷해졌습니다. 함수 공간이라는 거시 층위에서 학습을 바라보는 관점은 분명히 매력적이고, 정렬과 매끈함에 대한 설명은 직관과도 잘 맞물립니다. 이제 남은 것은 이 매력적인 지도를 실제 학습의 험한 지형 위에서 얼마나 멀리 들고 갈 수 있는지 확인하는 일입니다. 그 확인의 과정이 다음 연구의 몫이라면, 오늘의 이해는 그 다음 걸음을 위한 꽤 단단한 출발점이 됩니다.