Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models라는 논문이 arXiv에 공개됐습니다. 식별자는 2609.21113입니다. 이 연구는 파인튜닝으로 생긴 내부 표현의 변화량과 작업 성능을 실제로 이끄는 인과적 중요도가 서로 분리된다는 주장을 펼칩니다. 원문 링크는 제목 아래에 걸어두었습니다. 이번 글에서는 이 분리가 어떻게 측정됐고, 층별 분석과 작업 사이 겹침 실험에서 무엇을 보여주는지 차근차근 따라가 보겠습니다.
안녕하세요, 파인튜닝 전후를 비교할 때 저는 어디를 봤을까요
안녕하세요, 패트릭입니다.
저는 파인튜닝된 모델을 볼 때마다 비슷한 실수를 반복했습니다. 학습 전후 가중치가 얼마나 움직였는지, 활성화가 어느 층에서 크게 달라졌는지를 먼저 보는 것이죠. 숫자가 크면 그곳에서 중요한 일이 일어났다고 믿고 싶어집니다. 그런데 생각해보면 사람도 비슷하게 오해합니다. 사무실에서 가장 시끄럽게 움직인 팀이 가장 중요한 일을 했다고 단정하는 것과 비슷하죠. 실제로는 조용히 서류 한 장으로 결정을 바꾼 사람이 있을 수 있는데요.
제가 이 논문을 집어 든 이유도 바로 그 지점 때문입니다. 연구진은 파인튜닝을 두 개의 눈으로 보자고 제안합니다. 하나는 내부 표현이 얼마나 달라졌는지를 재는 눈이고, 다른 하나는 어떤 부품이 작업 성능을 인과적으로 이끄는지를 가려내는 눈입니다. 어텐션 패턴과 층별 활성화 변화가 전자에 해당하고, EAP로 찾은 작업 관련 구성 요소가 후자에 해당합니다. 그렇다면 두 눈이 같은 층을 가리킬까요. 이 글에서는 그 질문을 끝까지 따라가겠습니다.
많이 움직인 부품이 열심히 일한 부품일까
파인튜닝을 설명할 때 흔히 쓰는 그림이 있습니다. 사전학습된 모델이라는 큰 덩어리에 새 작업을 위한 조정을 살짝 얹는다는 그림이죠. 이 그림이 주는 인상은 단순합니다. 바뀐 만큼 배운 것이고, 많이 바뀐 곳이 많이 배운 곳이라는 인상입니다. 저도 오랫동안 그렇게 읽었는데요. 문제는 그 인상이 측정에서 온 것인지 습관에서 온 것인지 헷갈린다는 데 있습니다.
표현 변화량은 재기 쉽습니다. 파인튜닝 전후 어텐션 패턴을 비교하고, 층별 활성화를 나란히 놓고 거리를 재면 숫자가 바로 나옵니다. 숫자가 크면 눈이 가고, 보고서에 쓰기도 좋습니다. 반면 인과적 중요도는 재기가 까다롭습니다. 특정 어텐션 헤드를 끄거나 되살렸을 때 작업 성능이 어떻게 달라지는지 일일이 따져야 하기 때문입니다. 그래서 많은 분석이 전자에서 멈춥니다. 보기 쉬운 숫자를 본 것이죠.
여기서 재미있는 질문이 생깁니다. 보기 쉬운 변화가 실제로 중요한 변화일까요. 논문은 이 질문을 정면으로 붙잡습니다. 변화량을 재는 작업과 인과를 따지는 작업을 같은 모델, 같은 파인튜닝 조건 위에 올려놓고 층 단위로 비교한 것이죠. 이 비교가 숨겨둔 가정은 파인튜닝 해석에서 자주 쓰이는 전제와 연결됩니다. 많이 달라진 층이 그 작업의 책임 층이라는 전제인데요. 이 전제가 맞는지부터 확인해야 다음 이야기가 설득력을 얻습니다.
EAP라는 인과 현미경은 무엇을 가려낼까
그렇다면 인과를 어떻게 가려낼 수 있을까요. 논문이 쓴 도구는 EAP입니다. EAP는 작업 수행에 실제로 기여하는 구성 요소를 찾아내는 인과 분석 방법으로 읽으면 됩니다. 어텐션 헤드나 로짓 수준 활성화처럼 모델 안의 작은 부품들을 하나씩 건드려보면서, 어떤 부품을 건드렸을 때 작업 성능이 흔들리는지를 보는 방식이죠. 상관관계를 보는 것이 아니라 개입했을 때 결과를 보는 셈입니다.
일상적인 비유로 옮기면 오답 노트와 출석부의 차이와 비슷합니다. 표현 변화량은 누가 수업 시간에 많이 움직였는지를 적은 출석부에 가깝습니다. 자주 일어났다 앉았다 한 학생 이름 옆에 체크가 늘어나는 것이죠. 반면 EAP는 모의고사 오답 노트에 가깝습니다. 어떤 개념을 빼먹었을 때 점수가 떨어지는지를 적어두는 것이니까요. 출석부에서 바빴던 학생과 오답 노트에서 자주 등장하는 개념은 같은 사람일 수도 있고 아닐 수도 있습니다. 논문은 바로 그 일치 여부를 묻습니다.
저는 이 대목에서 도구의 성격을 조심해서 읽을 필요가 있다고 봅니다. EAP가 찾아낸 구성 요소가 곧 작업의 전부라는 뜻은 아니기 때문입니다. 측정 조건, 작업 형식, 개입 방식에 따라 결과가 달라질 수 있고, 찾은 회로 바깥에도 여백이 남습니다. 그럼에도 이 도구가 주는 이득은 분명합니다. 변화량이라는 쉬운 숫자에서 인과라는 어려운 질문으로 시선을 옮겨주기 때문입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 파인튜닝이 건드린 곳과 작업이 의존하는 곳은 얼마나 겹칠까요.
일은 특정 층에 모여 있었습니다
EAP로 인과 관련 구성 요소를 추려내자 분포에서 뚜렷한 모양이 나타났습니다. 어텐션 헤드와 로짓 수준 활성화를 포함해 작업 성능을 이끄는 부품들이 여러 층에 고르게 흩어져 있지 않고 특정 층에 모여 있었던 것이죠. 연구진은 이 모습을 기능적 국재화 정도로 표현합니다. 작업별 행동이 모델 안 어딘가에 뭉쳐서 자리 잡는다는 뜻입니다.
이 관찰은 생각보다 중요합니다. 파인튜닝이 모델 전체를 골고루 흔든다는 막연한 인상과 거리가 있기 때문입니다. 오히려 작업이 들어앉는 자리가 있고, 그 자리에서 인과적 책임이 두드러진다는 그림에 가깝습니다. 제가 일하던 팀을 떠올리면 이해가 쉬운데요. 전체 회의에서는 모두가 말을 보태지만, 막상 장애가 터졌을 때 호출되는 사람은 정해져 있습니다. 모델 안에서도 비슷한 분업이 일어난다는 것이죠.
물론 이 모임이 얼마나 단단한지는 작업마다 다를 수 있습니다. 논문이 말하는 것은 절대적인 주소가 아니라 경향입니다. 인과적으로 중요한 부품이 분산보다 집중에 가깝다는 경향이죠. 그런데 이 경향만으로는 절반만 본 셈입니다. 모인 자리가 표현이 많이 바뀐 자리와 같은지까지 봐야 해석이 완성되기 때문입니다. 그래서 다음 비교가 이어집니다.
많이 바뀐 층과 일하는 층이 어긋납니다
논문에서 제가 가장 오래 멈춘 대목은 바로 여기입니다. 층별로 EAP 구성 요소의 분포를 놓고, 같은 층별 표현 변화량과 견주었을 때 둘 사이의 상관관계가 대체로 낮았다는 결과인데요. 많이 바뀐 층이 인과적으로 중요한 층과 일치하지 않았다는 뜻입니다. 표현이 크게 출렁인 층에서 꼭 작업 회로가 나온 것은 아니었고, 작업 회로가 모인 층이 항상 크게 바뀐 것도 아니었습니다.
이 차이는 생각보다 큽니다. 파인튜닝 해석에서 흔히 쓰는 지름길이 막히기 때문입니다. 활성화 차이가 크니 여기가 배운 곳이라는 식의 해석이 더 이상 안전하지 않게 됩니다. 반대로 말하면 변화량이 작다고 해서 그 층을 건너뛰어도 된다는 보장도 없습니다. 작은 조정이 인과적으로는 큰 지렛대가 될 수 있기 때문입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 변화량과 인과가 다른 축이라는 구조 말이죠.
왜 이런 어긋남이 생길까요. 가능한 그림은 여러 가지입니다. 파인튜닝이 넓게 번지는 조정을 남기면서 정작 작업 결정은 좁은 회로에서 이뤄질 수 있습니다. 또는 표현 공간 전체가 미세하게 이동하면서 판독 지점 근처 일부 부품만 성능과 강하게 연결될 수도 있죠. 어느 그림이 맞든 한 가지는 분명합니다. 변화량 지도만 보고 파인튜닝을 읽으면 작업의 책임 소재를 놓치기 쉽다는 점입니다. 저희가 새로운 AI 아키텍처를 볼 때도 숫자 하나만 보지는 않습니다. 무엇이 바뀌었고 그 변화가 어디에서 성능으로 연결되는지를 함께 보는데요. 이 논문은 그 습관에 근거를 하나 더 얹어줍니다.
겹치는데도 도움이 안 되는 경우가 있습니다
그렇다면 작업 사이를 비교하면 어떤 일이 생길까요. 논문은 서로 다른 작업에서 찾은 EAP 구성 요소의 겹침을 봅니다. 겹침이 크면 한 작업에서 배운 것이 다른 작업에도 도움이 될 것 같다는 예상이 자연스럽죠. 같은 부품을 쓰니 전이가 일어날 것 같기 때문입니다. 그런데 결과는 그 예상과 달랐습니다. 작업의 성격이 다를 때, 이를테면 분류 작업과 생성 작업처럼 요구하는 형식이 다를 때 겹침이 성능 전이로 이어지지 않았던 것입니다.
이 대목은 일상적인 팀 일로 비유하면 잘 와닿습니다. 같은 회의실을 쓰는 두 팀이 있다고 해보죠. 회의실이 겹친다고 해서 한 팀의 노하우가 다른 팀으로 옮겨가지는 않습니다. 한쪽은 서류 심사를 하고 다른 쪽은 무대 공연을 준비한다면, 공간은 같아도 필요한 기술이 다르기 때문입니다. 모델 안 회로 겹침도 비슷하게 읽힙니다. 부품을 공유한다는 사실과 그 부품을 같은 방식으로 쓴다는 사실은 다른 문제인데요. 형식이 다르면 공유가 전이가 되지 않습니다.
여기서는 조금 조심해서 읽을 필요가 있습니다. 겹침이 무의미하다는 뜻이 아니기 때문입니다. 겹침은 여전히 두 작업이 모델 안 같은 자리를 두고 있다는 신호입니다. 다만 그 신호를 전이의 증거로 바로 읽으면 안 된다는 것이죠. 형식이 다르면 같은 자리에서도 다른 연산이 필요할 수 있고, 판독 방식도 달라질 수 있습니다. 저는 그래서 겹침이라는 말을 들을 때마다 용도를 함께 묻습니다. 어디에 겹쳤는지보다 어떻게 쓰였는지가 전이를 가르기 때문입니다.
겹치면 오히려 잃는 경우도 있습니다
이야기는 여기서 한 걸음 더 나아갑니다. 한 작업에 대한 파인튜닝이 다른 작업의 성능을 떨어뜨릴 수 있는데, 그 하락이 EAP 구성 요소의 겹침이 클 때 나타났다는 관찰입니다. 같은 자리를 두고 두 작업이 서로 다른 방향으로 조정을 요구하면, 한쪽을 맞추는 과정이 다른 쪽을 어긋나게 만들 수 있죠. 공유가 도움이 아니라 간섭이 되는 경우입니다.
이 현상은 멀티태스크 운영을 해본 분이라면 낯설지 않을 겁니다. 야간 배치와 주간 대화형 서빙이 같은 캐시와 대역폭을 두고 다투면, 한쪽을 최적화한 설정이 다른 쪽의 지연을 키우는 경우가 생기는데요. 모델 안에서도 비슷한 경합이 일어납니다. 같은 어텐션 헤드와 판독 경로를 두고 분류 기준과 생성 스타일이 서로 다른 조정을 원한다면, 파인튜닝은 한쪽 손을 들어주면서 다른 쪽 손을 내려놓게 됩니다.
그렇다면 이 간섭을 어떻게 다뤄야 할까요. 논문이 주는 힌트는 겹침 자체를 재는 일에서 시작합니다. 어떤 작업 쌍이 같은 회로를 두고 있는지를 EAP로 미리 그려두면, 순차 파인튜닝에서 무엇이 지워질지 가늠할 수 있기 때문입니다. 물론 겹침이 크다고 해서 하락이 항상 온다는 법칙으로 읽으면 안 됩니다. 작업 형식, 학습 순서, 용량 여유에 따라 결과는 달라질 수 있습니다. 그럼에도 방향은 분명합니다. 겹침이 큰 작업들을 같은 모델에 차례로 얹을 때는 이전 작업의 점수를 함께 보면서 가야 한다는 것이죠. 저는 이 대목을 실무 연결 고리로 읽었습니다. 파인튜닝 전후에 새 작업 점수만 보는 습관에서 벗어나야 한다는 신호로 말이죠.
파인튜닝을 보는 눈을 두 개로 나눠야 하는 이유
지금까지의 결과를 한 문장으로 모으면 이렇습니다. 내부 표현 변화의 크기와 인과적 중요도는 같은 현상의 두 이름이 아니라 서로 다른 축입니다. 층별 분포가 어긋나고, 작업 사이 겹침이 전이를 보장하지 않으며, 겹침이 클 때는 오히려 간섭이 생길 수 있다는 관찰이 그 축 분리를 뒷받침합니다. 그래서 파인튜닝을 읽을 때는 변화량 지도와 인과 지도를 나란히 놓고 봐야 합니다.
이 분리는 해석 습관을 바꿉니다. 예전 습관은 이랬습니다. 파인튜닝 전후 차이를 재고, 차이가 큰 층을 골라 그곳에 작업 지식이 들어갔다고 말하는 습관이죠. 새 습관은 질문을 하나 더 얹습니다. 그 층을 건드렸을 때 작업 점수가 실제로 움직이는지를 묻는 질문입니다. 이 질문을 빼먹으면 해석이 미끄러집니다. 시끄러운 층을 중요한 층으로 착각하기 때문입니다. 반대로 조용한 층에 있는 작은 조정이 전체 성능을 쥐고 있을 가능성도 놓치게 됩니다.
저는 이 구분이 평가 방식에도 영향을 준다고 봅니다. 파인튜닝 보고서를 쓸 때 전후 활성화 거리만 적어두면 절반의 이야기만 한 셈입니다. 어떤 부품을 인과적으로 확인했고, 그 부품이 어느 층에 모여 있는지까지 적어야 해석이 완성됩니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 이 인과 지도를 운영에 어떻게 써먹을 수 있을까요.
실제 모델 운영 관점에서 무엇을 바꿔야 할까
연구실 결과를 운영으로 옮기면 그림이 조금 달라집니다. 논문은 특정 모델과 조건에서 분리를 보였을 뿐, 모든 모델과 모든 파인튜닝에 같은 지도가 그려진다고 말하지 않기 때문입니다. 그럼에도 가져갈 수 있는 태도는 있습니다. 파인튜닝을 도입할 때 새 작업 점수만 보지 말고 이전 작업 점수와 함께 보는 태도, 층별 변화량만 보지 말고 인과 확인을 곁들이는 태도죠.
구체적인 장면을 떠올려보겠습니다. 어느 화요일 오후에 분류 모델을 같은 기반 모델에 얹은 생성 모델로 갈아탄다고 해보죠. 표현 변화량은 크지 않아 보여서 안심합니다. 그런데 막상 열어보니 두 작업의 EAP 회로가 같은 층 근처에 겹쳐 있습니다. 그렇다면 출시 전에 이전 분류 점수를 다시 재봐야 합니다. 겹침이 크면 하락이 따라올 수 있기 때문입니다. 반대로 변화량이 크게 튄 층이 있어도 인과 확인에서 조용하다면, 그 층을 너무 무겁게 해석하지 않아도 됩니다. 소음이 클 뿐 결정은 다른 곳에서 날 수 있으니까요. (참고로 저는 이런 확인을 자동화 파이프라인에 넣어두는 편이 좋다고 봅니다. 사람이 매번 기억해서 챙기기에는 놓치기 쉬운 지점이기 때문입니다.)
저희가 모델을 고를 때도 적용되는 이야기입니다. 같은 연산 예산을 어디에 쓸지를 정할 때 변화량만 보면 넓게 퍼진 조정에 예산을 쓰기 쉽습니다. 하지만 인과 지도까지 보면 좁지만 결정적인 회로에 집중하는 선택이 가능해집니다. 물론 이 논문 하나로 예산 공식이 바뀌지는 않습니다. 다만 무엇을 재야 하는지에 대한 목록이 하나 늘어난 셈이죠. 변화량과 인과, 두 숫자를 함께 보는 목록 말입니다.
그래서 다음에 제가 보고 싶은 것은 이것입니다
이 논문이 남긴 빈칸도 분명합니다. EAP로 찾은 회로가 특정 조건에서 모이고 어긋난다는 사실까지는 보였지만, 그 회로가 학습 과정에서 언제 생기는지, 용량이 커지면 모양이 어떻게 바뀌는지까지는 아직 말해주지 않기 때문입니다. 작업 쌍도 분류와 생성이라는 대비에 기대고 있어서, 더 가까운 작업 사이에서는 겹침과 전이의 관계가 어떻게 달라질지 궁금합니다. 간섭이 생기는 조건을 더 잘게 쪼개면 회피책도 더 구체적해질 텐데요.
제가 앞으로 보고 싶은 것은 시간 축입니다. 파인튜닝 초기에는 넓게 흔들리다가 뒤쪽에서 좁은 회로로 모이는지, 아니면 처음부터 좁은 자리에서 조정이 시작되는지를 보고 싶습니다. 체크포인트마다 EAP 지도를 그리면 변화량 곡선과 인과 곡선이 어떻게 따로 노는지가 드러날 테니까요. 그렇게 되면 파인튜닝을 일찍 멈춰야 하는지, 특정 층만 따로 다뤄야 하는지에 대한 판단도 근거를 갖게 됩니다.
마지막으로 한 가지만 더 묻고 싶습니다. 여러분이 파인튜닝 보고서를 받는다면 무엇을 먼저 보시겠습니까. 변화량이 가장 큰 층입니까, 아니면 건드렸을 때 점수가 흔들리는 부품입니까. 저는 이제 후자를 먼저 보려고 합니다. 많이 바뀐 곳이 아니라 실제로 일하는 곳을 찾는 일이, 파인튜닝을 이해하는 더 짧은 길이 되었기 때문입니다.