학습 데이터의 어느 조각이 이 답을 만들었을까

이미지와 문장을 잇는 공유 희소 잠재 공간으로 패치와 구절 단위 영향력을 추적하는 MOSAIC 연구를 해설합니다.

원문 논문 보기
'학습 데이터의 어느 조각이 이 답을 만들었을까' 기사 커버 이미지

Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models는 arXiv 2610.14190으로 공개된 연구로, 영상과 언어를 함께 다루는 모델의 예측을 학습 데이터의 작은 조각까지 거슬러 올라가 설명하려는 시도입니다. 원문 링크는 제목 아래에 걸어 두었습니다.

이 연구가 내세우는 주장은 한 문장으로 정리됩니다. 영상과 문장이 함께 머무는 공유 희소 잠재 공간을 먼저 배우고, 그 개념들을 경유하는 학습 샘플의 영향력을 EK-FAC으로 쪼개면 문장 구절과 영상 조각 단위로 귀속을 따질 수 있다는 것입니다. 이번 글에서는 그 공간을 어떻게 만드는지, 영향력 계산이 개념을 거쳐 조각으로 되돌아오는 과정은 어떤지, 그리고 Qwen과 Gemma를 가로지르는 캡셔닝과 흉부 엑스레이 이해와 시각 질의응답 실험이 무엇을 말해주는지 차례로 풀어보겠습니다.

왜 샘플 번호 하나로는 설명이 끝나지 않는지

여러분도 비슷한 답답함을 느껴본 적이 있을 겁니다. 모델이 그럴듯한 캡션을 내놓았는데, 그 판단이 학습 데이터의 어디에서 왔는지 묻자 돌아오는 답은 고작 샘플 번호 몇 개뿐이니까요. 그렇다면 그 번호를 알았다고 해서 우리가 정말 이해한 걸까요. 저는 여기서 멈칫했습니다. 번호는 어디를 봐야 할지 알려주지 않거든요.

기존 귀속 방법이 대체로 샘플 수준에 머문다는 지적은 그래서 아프게 들립니다. 이 사진이 저 캡션을 낳았다는 말은 맞을 수 있는데, 사진 속 어느 구석이, 문장 속 어느 구절이 그 다리를 놓았는지는 여전히 안개 속에 남습니다. 특히 영상과 언어가 얽힌 모델에서는 그 안개가 더 짙어집니다. 눈으로 본 단서와 말로 풀어낸 단서가 서로를 당기면서 답을 만드는데, 샘플 번호 하나로는 그 밀고 당김을 가를 수 없기 때문입니다.

가령 바닷가에서 개가 공을 무는 사진을 떠올려 보죠. 모델이 파도 앞에서 노란 공을 문 갈색 개라고 말했을 때, 학습 데이터 속 어느 사진이 영향을 줬는지 아는 것만으로는 부족합니다. 개의 털 색을 가리킨 조각인지, 파도의 결을 가리킨 조각인지, 아니면 공의 둥근 윤곽을 가리킨 조각인지가 갈려야 설명이 되니까요. 이런 갈증이 바로 이번 연구가 출발하는 지점입니다. 어디에서 왔는지를 묻는 질문을, 어디의 어느 조각을 거쳐 왔는지로 바꾸는 것이죠. 그래서 저는 이 문제를 성적표보다 지도 문제에 가깝다고 읽었습니다. 점보다 경로를 그려야 하는 일로요.

이미지 패치와 문장 구절을 잇는 공유 희소 잠재 공간의 전체 구조
이미지 패치와 문장 구절을 잇는 공유 희소 잠재 공간의 전체 구조

제가 이 논문에서 오래 머문 장면

안녕하세요, 패트릭입니다. 제가 이 논문을 처음 펼쳤을 때 눈이 간 것은 거창한 주장보다 작은 표현 하나였습니다. 학습 샘플의 영향력을 multimodal evidence가 매개한다는 대목이었는데요. 매개라는 말이 마음에 남았습니다. 영향력이 허공을 가로지르기보다 무언가를 거쳐 온다는 뜻이니까요.

생각해보면 사람도 비슷하게 배웁니다. 시험에서 틀린 문제를 복기할 때 우리는 그냥 교재 번호를 적어두지 않습니다. 어느 페이지의 어느 그림, 선생님이 덧붙인 어느 한마디가 내 오답을 만들었는지 되짚죠. 일종의 오답 노트처럼요. 그런데 모델 해석은 오랫동안 교재 번호만 적어온 셈입니다. 몇 번 샘플이 영향이 컸다는 말까지만 하고, 그 샘플 안의 무엇이 지금 예측의 어느 조각과 이어졌는지는 비워뒀던 것이죠.

그래서 이 연구가 제안한 MOSAIC이라는 이름, Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization의 약자인데, 저는 약자보다 부제가 말하는 일을 더 눈여겨봤습니다. 직교화되고 희소한 오토인코더로 영향력의 성격을 가려낸다는 발상인데요. 말은 길지만 하는 일은 분명합니다. 영상과 문장이 겹치는 방을 먼저 만들고, 그 방의 가구 하나하나가 어떤 개념인지 알아볼 수 있게 다듬겠다는 것입니다. 가구가 어지럽게 겹쳐 있으면 누구 발자취인지 알 수 없으니, 먼저 방을 정돈하겠다는 순서가 마음에 들었습니다. 정돈 없이 추적부터 하면 발자국이 서로 밟히기 마련이니까요.

이미지와 문장을 같은 방에 들이는 방법

그렇다면 그 방은 어떻게 만들까요. 연구진이 말하는 공유 희소 잠재 공간은 영상 쪽 잠재와 문장 쪽 잠재가 같은 좌표계를 쓰도록 배우는 공간입니다. 왼쪽에서는 이미지 패치가 들어오고, 오른쪽에서는 문장 구절이 들어오는데, 둘 다 같은 개념들을 거쳐 표현되도록 학습됩니다. 이 대목에서 제가 주목한 것은 희소하다는 조건입니다. 모든 개념이 매번 켜지기보다 각 입력에 대해 소수만 켜지도록 강제하니까요.

희소가 왜 필요할까요. 만약 매번 수백 개가 함께 켜진다면, 나중에 영향력을 나눌 때 누구 몫인지 가리기 어렵습니다. 반대로 매번 두세 개만 켜진다면 추적이 훨씬 수월해집니다. 켜진 것이 곧 단서가 되니까요. 그래서 희소는 절약을 넘어 해석을 위한 사전 정지 작업에 가깝습니다. 미리 켜지는 것을 묶어두면, 나중에 누구 책임인지 물을 때 대답이 짧아집니다.

여기에 각 modality 안에서 희소가 따로 걸린다는 점도 눈여겨볼 만합니다. 영상 쪽에서도 소수만 켜지고, 문장 쪽에서도 소수만 켜지도록 배우는데, 이 둘을 같은 개념 사전으로 묶는 것이죠. 이렇게 되면 영상 패치 몇 개가 특정 개념을 켜고, 문장 구절이 같은 개념을 켜는 식으로 만남이 일어납니다. 서로 다른 언어를 쓰는 두 사람이 같은 사물을 가리키며 조금씩 말을 맞추는 모습과 비슷합니다. 처음에는 어색해도, 같은 것을 가리키는 횟수가 쌓이면 좌표가 맞기 시작하죠. 저는 이 대목을 읽으면서, 정렬은 선언보다 반복된 만남의 결과에 가깝다는 생각을 했습니다. 한 번의 매핑으로 끝나지 않고, 여러 입력에 걸쳐 같은 개념이 함께 켜지는 경험을 쌓으면서 공간이 다져지니까요.

샘플 단위 귀속과 패치 및 구절 단위 귀속의 대비
샘플 단위 귀속과 패치 및 구절 단위 귀속의 대비

흩어진 불빛을 모으는 것과 비슷한 제약 세 가지

이 공간을 만드는 데는 희소 말고도 두 가지 제약이 더 붙습니다. 하나는 영상 쪽 잠재가 연속된 영역 위에 올라타도록 한다는 것이고, 다른 하나는 그 잠재가 서술적인 구절과 정렬되도록 한다는 것입니다. 세 개를 나란히 놓고 보면 연구진의 취향이 보입니다. 흩어지지 말고, 알아볼 수 있게 있으라는 것이죠.

연속된 영역이라는 조건이 와닿았던 이유는 실제 시각 단서가 그렇게 생겼기 때문입니다. 개의 귀는 한 점보다 이어진 몇 패치에 걸쳐 있고, 엑스레이의 음영도 흩어진 점보다 뭉친 영역으로 읽힙니다. 만약 잠재 하나가 화면 구석구석에 떨어진 점들을 마구 켠다면, 사람은 그 개념을 알아보지 못합니다. 그래서 연속성은 해석 가능성을 위한 물리적 상식에 가깝습니다. 눈에 보이는 것은 대개 뭉쳐 있으니까요.

구절과의 정렬은 다른 방향의 상식입니다. 개념이 영상으로만 뭉쳐 있고 말로는 설명되지 않으면, 우리는 그 개념을 부를 이름이 없습니다. 반대로 말로만 번지르르하고 영상에서는 어디에도 닿지 않으면 공허하죠. 연구진은 잠재를 서술적인 구절에 붙이면서 이 둘을 함께 잡으려 합니다. 그림에서 뭉치고 문장에서 불리는 개념만이 남는 셈인데요. 저는 이 대목을 읽고 초등학교 과학실의 표본 상자를 떠올렸습니다. 표본마다 이름표가 붙어 있어야 하고, 이름표마다 가리키는 실물이 있어야 하죠. 둘 중 하나라도 비면 상자는 정돈된 척만 하는 겁니다. 이 연구가 원하는 방도 그런 상자에 가깝습니다. 패치에서는 뭉치고, 구절에서는 이름이 불리는 개념들만으로 채운 방이요.

연속된 영상 영역에 자리 잡고 구절과 정렬되는 희소 잠재의 모습
연속된 영상 영역에 자리 잡고 구절과 정렬되는 희소 잠재의 모습

서로 겹치지 않게 만드는 작업이 왜 필요할까

그렇다면 개념끼리 겹치면 어떤 일이 생길까요. 이 질문이 바로 직교화에 관한 대목으로 이어집니다. 연구진은 개념들을 대략적으로 decorrelate하기 위해 직교화를 쓴다고 밝히는데, 풀어 말하면 서로 다른 개념이 같은 방향을 보지 않게 밀어내는 작업입니다. 겹침을 줄여서 결을 살리고 구분을 낫게 하려는 것이죠.

왜 이런 손질이 필요할까요. 희소하게 켜지더라도, 켜지는 것들끼리 늘 함께 다닌다면 사실상 하나의 덩어리나 마찬가지입니다. 가령 노란색과 둥근 모양이 늘 붙어 다닌다면, 모델이 공을 봤을 때 색 때문인지 모양 때문인지 가릴 수 없습니다. 직교화는 이런 달라붙음을 느슨하게 푸는 손질에 가깝습니다. 완전히 독립되지는 않더라도, 각 개념이 자기 자리에 서 있게 만드는 것이죠.

개인적으로 이 대목은 해석 연구의 오래된 고민과 이어져 있다고 봤습니다. 분리되지 않은 표현에서는 귀속이 늘 미끄러지니까요. 영향력이 개념 A를 거쳤다고 말했는데, 알고 보니 A와 B가 늘 함께 켜졌다면 그 말은 반쪽짜리 설명입니다. 그래서 직교화는 정확도를 올리는 장식을 넘어 설명의 주어를 분명히 하는 문법에 가깝습니다. 주어가 둘로 겹쳐 있으면 문장이 흐려지듯, 개념이 겹쳐 있으면 귀속 문장도 흐려집니다. 연구진이 결이 살아나고 구분이 낫아진다고 말하는 배경에는 이런 문법적 욕심이 깔려 있다고 저는 읽었습니다. 무엇을 켰는지보다, 켜진 것들이 서로 다른 말인지가 먼저라는 것이죠.

개념을 서로 겹치지 않게 다듬고 EK-FAC으로 영향력을 나누는 흐름
개념을 서로 겹치지 않게 다듬고 EK-FAC으로 영향력을 나누는 흐름

영향력을 개념을 거쳐 다시 조각으로 되돌리는 계산

이제 계산 이야기로 들어갈 차례입니다. 연구진은 학습된 개념들을 거쳐 학습 샘플의 영향력을 쪼개기 위해 EK-FAC을 사용합니다. 이름만 들으면 멀게 느껴지는데, 하는 일을 풀면 의외로 또렷합니다. 지금 예측에 대한 학습 샘플의 기여를 한 번에 재는 대신, 그 기여가 어떤 개념을 얼마나 거쳐서, 그 개념이 다시 어느 구절과 어느 영역으로 이어지는지로 나누는 것이죠.

이 나누기가 좋은 이유는 경로가 보이기 때문입니다. 샘플 123번이 중요하다는 말은 여전히 맞을 수 있는데, 그 중요함이 개념 C를 통해 지금 이미지의 오른쪽 아래 패치와 캡션 속 특정 구절로 흘렀다는 식으로 구체화됩니다. 영향력이 개념이라는 중간역을 찍고 간다는 발상이죠. 중간역이 없으면 출발지와 도착지만 남고, 중간역이 있으면 어느 선로를 탔는지 알 수 있습니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 습관으로 이 계산을 보면, EK-FAC 단계는 비용을 치르고 경로를 사는 선택에 가깝습니다. 한 번의 숫자로 끝낼 수 있는데도 굳이 개념 단위로 쪼개는 이유는, 나중에 조각 단위로 묻고 답하기 위해서니까요.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이 쪼개기가 인과를 완전히 증명하는 것은 아닙니다. 개념을 경유한 기여를 나눈 것이지, 그 개념이 없었다면 예측이 어떻게 됐는지를 직접 본 것은 아닙니다. 다만 연구진은 뒤따르는 실험에서 이 나눔이 헛된 나눔으로 보기 어렵다는 쪽으로 증거를 보탭니다. 영향력 순으로 개념을 껐을 때 모델의 말이 더 크게 바뀌었다는 결과인데요. 계산의 타당성을 행동의 변화로 뒷받침하는 순서가 설득력 있게 느껴졌습니다. 말로만 경로를 그리는 데서 그치지 않고, 경로를 건드리자 실제로 기차가 멈췄다는 식의 확인이니까요.

Qwen과 Gemma 앞에서 같은 질문을 던지면 생기는 일

그렇다면 이 장치는 특정 모델에만 붙는 임시방편일까요. 연구진은 Qwen과 Gemma 계열 모델 앞에서 같은 방식으로 시험했다고 밝히는데, 저는 이 선택을 유심히 봤습니다. 계열이 다르면 tokenizer와 시각 인코더와 학습 이력이 달라서, 한쪽에서만 통하는 해석은 쉽게 무너지기 때문입니다. 두 계열을 함께 본 것은 그래서 겸손한 일반화 시험에 가깝습니다.

시험 무대도 일부러 넓혔습니다. 캡셔닝과 흉부 엑스레이 이해와 시각 질의응답을 함께 본 것이죠. 세 무대는 묻는 방식이 다릅니다. 캡셔닝은 그림을 말로 풀어내는 일이고, 엑스레이 이해는 놓치면 안 되는 단서를 짚는 일이며, 시각 질의응답은 질문이 시선을 이끄는 일입니다. 이렇게 묻는 방식이 다른데도 같은 장치가 돌아간다면, 그 장치가 특정 과제용 눈속임으로 보기 어렵다는 쪽으로 마음이 기웁니다.

보고된 결과의 결도 흥미롭습니다. 배운 특징이 더 국소적이고 결이 살아나면서도 과제 수행은 해치지 않았다는 것이죠. 이 문장을 저는 두 겹으로 읽었습니다. 첫째, 해석을 위해 성능을 바치지 않았다는 뜻이고, 둘째, 국소성과 일관성이 공짜로 왔다기보다 설계한 제약의 대가라는 뜻입니다. 연속성과 구절 정렬과 직교화가 없었다면 특징은 더 흐릿했을 텐데, 그 흐릿함을 걷어내고도 할 일은 그대로 했다는 말이니까요. 물론 여기서 성능을 해치지 않았다는 말의 범위는 조심해서 받아들여야 합니다. 과제 수행이라는 말이 각 무대의 측정 방식에 기대어 있으니, 측정 밖에 있는 능력까지 보장하는 것은 아닙니다. 그럼에도 방향은 분명합니다. 해석을 덧씌우기 위해 모델을 약하게 만들었다기보다 함께 가도록 만들었다는 점에서 저는 후한 점수를 주고 싶었습니다.

영향력 순으로 잠재를 껐을 때와 활성화 순으로 껐을 때의 차이
영향력 순으로 잠재를 껐을 때와 활성화 순으로 껐을 때의 차이

끄는 순서에 따라 모델의 말이 달라지는 이유

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 영향력 순으로 껐을 때 정말 다르게 흔들릴까요. 연구진의 답은 그렇다는 쪽입니다. 영향력으로 매긴 잠재를 지웠을 때가 활성화나 빈도로 매긴 잠재를 지웠을 때보다 모델 출력을 더 크게 바꾼다고 보고합니다. 저는 이 대목을 이 논문에서 가장 흥미롭게 본 부분으로 꼽고 싶습니다. 켜진 정도보다 거쳐간 영향이 더 정직한 순위라는 말이니까요.

왜 이런 차이가 생길까요. 활성화는 지금 입력에서 크게 켜졌다는 뜻이고, 빈도는 여러 입력에서 자주 켜졌다는 뜻인데, 둘 다 지금 예측을 얼마나 떠받치고 있는지는 직접 말해주지 않습니다. 크게 켜진 조명이 무대 뒤편을 비추고 있을 수도 있고, 자주 켜지는 조명이 늘 배경만 비추고 있을 수도 있죠. 반면 영향력 순위는 그 개념이 없었다면 지금 대사가 얼마나 달라졌을지를 겨냥합니다. 그래서 순서를 바꾸면 결과도 바뀝니다. 겉으로 화려한 것부터 끄는 것과 실제로 대사를 떠받치는 기둥부터 끄는 것은 다른 실험이니까요.

이 차이는 생각보다 실무적입니다. 모델이 이상한 말을 했을 때 엔지니어가 가장 먼저 묻는 것은 어디를 건드리면 말이 고쳐지는지인데, 활성화 지도만 들고 있으면 헛손질을 하기 쉽습니다. 밝게 빛나는 곳을 눌러도 대사가 그대로일 수 있거든요. 영향력 지도는 그 점에서 손이 가는 위치가 다릅니다. 눌렀을 때 말이 바뀌는 곳을 먼저 보여주니까요. 참고로 저는 이 결과를 인과 증명으로 읽지 않으려고 애썼습니다. 껐을 때 크게 바뀌었다는 것은 그 개념이 지금 경로에서 무겁다는 뜻이지, 학습 때 그 개념이 원인었다는 뜻과 완전히 같지는 않기 때문입니다. 그래도 실무에서 어디부터 볼지를 정해주는 나침반으로는 충분히 쓸 만하다고 봅니다.

그림 증거를 빼면 귀속 지도가 어떻게 흔들리는지

여기서 재미있는 질문이 생깁니다. 말로만 묻고 그림 단서를 빼면 귀속은 어떻게 될까요. 연구진은 시각 증거가 학습 데이터 귀속을 꽤 크게 다시 짜면서도 공유된 잠재 구조는 더 많이 보존한다고 보고합니다. 문장을 풀면 이렇습니다. 그림을 빼면 누구 책임인지 지목하는 지도는 흔들리는데, 개념들 사이의 뼈대는 쉽게 무너지지 않는다는 것이죠.

이 둘을 함께 놓고 보면 묘하게 안심이 됩니다. 귀속이 흔들린다는 것은 장치가 그림을 실제로 보고 있다는 뜻이고, 뼈대가 남는다는 것은 그림을 뺐다고 개념 사전 자체가 증발하지는 않는다는 뜻이니까요. 만약 그림을 빼도 귀속이 그대로라면, 그 장치는 그림을 본 척만 한 셈입니다. 반대로 그림을 뺐더니 개념 사전까지 와르르 무너졌다면, 그 사전은 너무 여린 것이죠. 보고된 양상은 그 중간 어딘가에서 균형을 잡습니다. 증거가 바뀌면 지목은 바뀌되, 말을 맞추던 좌표는 남는다는 것인데요. 저는 그래서 이 결과를 강건함의 방향으로 읽었습니다. 입력이 흔들려도 해석의 뼈가 남는다면, 운영에서 마주치는 흐린 사진이나 잘린 구도 앞에서도 설명이 완전히 백지가 되지는 않을 테니까요.

가령 새벽에 접수된 흉부 엑스레이를 떠올려 보죠. 촬영 각도가 조금 기울었고, 환자 설명 문장은 짧게 끊겨 있습니다. 이런 조건에서 모델이 특정 소견을 내놓았다면, 우리는 그 소견이 학습 데이터의 어느 영상 조각과 어느 구절 표현에 기대었는지 알고 싶어집니다. 그림 증거를 빼는 실험은 바로 그 기대가 얼마나 그림에 기대었는지를 재는 셈인데요. 지목이 바뀌는 폭이 크다면 그 소견은 그림 의존적이고, 뼈대가 남는다면 그 의존을 설명할 말은 남아 있다는 뜻입니다. 밤사이 공시가 늦게 도착해도 라인이 멈추면 안 되듯, 아침 회진 전에 올라온 영상 판독 보조에서도 설명 라인은 멈추면 안 됩니다. 저는 이 장치를 연구실 점수 이상으로 평가한 이유가 여기에 있습니다. 점수보다 먼저, 설명이 멈추지 않는 구조를 봤기 때문입니다.

흉부 엑스레이와 시각 질의응답에서 귀속 지도가 바뀌는 장면
흉부 엑스레이와 시각 질의응답에서 귀속 지도가 바뀌는 장면

한 장의 설명을 어디에 쓸 수 있을까

좋은 건 알겠는데, 이걸 실제로 어떻게 곁에 둘까요. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 패치와 구절 단위로 귀속을 나눈 뒤, 그 지도를 어디에 쓸 수 있는지 말이죠. 저는 크게 세 갈래를 떠올렸습니다. 학습 데이터를 고를 때, 모델이 이상한 말을 했을 때, 그리고 설명을 내놓아야 할 때입니다.

먼저 데이터 쪽을 보면, 영향력이 특정 개념에 몰리는 학습 샘플을 골라내는 일이 가능해집니다. 어떤 개념이 자주 중요한 경로가 된다면, 그 개념을 잘 가르치는 샘플과 잘못 가르치는 샘플을 가를 수 있겠죠. 다음으로 디버깅 쪽을 보면, 잘못된 캡션 뒤에 있는 개념과 그 개념을 켠 학습 조각을 함께 볼 수 있습니다. 번호만 들고 데이터를 뒤지는 것보다 손이 훨씬 덜 갑니다. 마지막으로 설명 쪽을 보면, 사용자에게 보여줄 근거를 샘플 통째보다 조각 단위로 줄 수 있습니다. 이 사진 전체가 근거라는 말보다, 이 사진의 이 부분과 그 사진을 설명한 이 구절이 근거라는 말이 훨씬 알아듣기 쉽습니다.

여기서는 조금 의심스러운 마음으로 읽을 필요가 있습니다. 조각 단위 설명이 항상 옳게 읽히는 것은 아니기 때문입니다. 패치가 뭉쳐 있고 구절이 붙어 있어도, 사람이 그 둘을 엮는 방식과 모델이 엮는 방식이 다를 수 있습니다. 그래서 저는 이 지도를 답안지보다 질문지로 쓰고 싶습니다. 이 조각이 이 구절을 불렀다면, 학습 데이터의 어느 장면이 그 연결을 가르쳤을까를 묻는 질문지로요. 답을 단정하는 용도보다, 의심할 곳을 좁히는 용도가 먼저라는 것이죠. 이런 쓰임에서는 영향력 순위가 특히 쓸 만합니다. 의심스러운 개념부터 끄고 켜보면서 모델의 말이 어떻게 달라지는지 직접 확인할 수 있으니까요.

다음 연구에서 제가 지켜보고 싶은 대목

그렇다면 앞으로 무엇이 남을까요. 제가 앞으로 보고 싶은 것은 크게 두 가지입니다. 하나는 시간과 비용에 관한 것이고, 다른 하나는 사람에 관한 것입니다.

먼저 비용 이야기를 해보죠. 공유 공간을 배우고, 직교화로 다듬고, EK-FAC으로 나누는 일은 모두 계산을 요구합니다. 논문은 과제 수행을 해치지 않았다고 말하지만, 학습과 해석에 드는 추가 비용이 운영에서 어떻게 느껴질지는 아직 열려 있습니다. 가령 매일 새로 들어오는 영상과 문장을 계속 반영해야 하는 팀이라면, 개념 사전을 얼마나 자주 고쳐야 할까요. 한 번 배워두면 오래 쓸 수 있을까요, 아니면 데이터 분포가 바뀌면 다시 배워야 할까요. 이런 질문은 논문 밖에서 답해야 하지만, 도입을 고민하는 팀에게는 논문 안의 정확도만큼 절실합니다.

다음으로 사람 이야기로 마무리하고 싶습니다. 패치와 구절 단위로 귀속을 따지는 일이 결국 누구의 일을 돕는지를 묻는 것이죠. 저는 엑스레이 판독 보조처럼 설명이 필요한 자리에서 이 지도가 의사의 눈과 어떻게 만나는지가 궁금합니다. 지도가 가리킨 영역과 의사가 본 영역이 겹칠 때 신뢰가 생기고, 어긋날 때 새로운 질문이 생기니까요. 그렇다면 우리의 역할은 무엇일까요. 모델이 내놓은 조각 지도를 그대로 믿기보다 그 지도가 학습 데이터의 어느 장면에서 비롯됐는지 함께 읽는 일이 아닐까 싶습니다. 영향력이 어디를 거쳐 왔는지 아는 사람은, 다음에 무엇을 가르쳐야 할지도 알게 되니까요. 저는 그 지점에서 이 연구를 오래 기억할 것 같습니다. 번호보다 경로를 묻기 시작했다는 점에서요.

참고 자료

  1. Cross-Modal Latent Influence: Patch-Level Training Sample Attribution for Vision-Language Models · arxiv.org

    리뷰 원문