쌍 몇 백 개로 표현을 맞추는 법 증류된 최적 수송의 제안

오늘 다룰 논문은 arXiv에 2610.12781로 공개된 Representation Alignment from a Few Paired Data via Distilled Optimal Transport이다. 제목 그대로 읽으면 몇 개의 쌍 데이터로 표현 정렬을 하겠다는 이야기인데, 공개 번호까지 적어 두는 이유는 검색으로 들어온 독자가 같은 문서를 바로 찾을 수 있게 하기 위해서이다. 원문 링크는 이 글의 제목 아래에 걸어 두었으니 전문이 궁금하면 그곳에서 확인할 수 있다. 이 논문이 내세우는 주장은 한 문장으로 정리된다. 따로 학습된 두 개의 unimodal 인코더를 맞추는 데 수백만 쌍이 아니라 100쌍에서 500쌍 사이의 앵커와 순서 없는 대량의 짝 없는 데이터, 그리고 전체 풀 위에서 푸는 한 번의 엔트로피 정칙 최적 수송과 가벼운 증류면 충분하다는 것이다. 이 글에서는 그 주장이 어떤 관찰에서 출발했는지, 앵커 기반 상대 표현이 무엇을 바꾸는지, 수송 계획이 왜 필요했는지, 그리고 이미지 텍스트와 분자 텍스트에서 같은 예산의 기존 방식과 무엇이 달라졌는지를 차례로 따라가 보겠다.

왜 쌍 몇 백 개 이야기에 멈춰 섰을까

저는 이 논문을 처음 볼 때 쌍 개수가 먼저 눈에 들어왔습니다. 수백만 쌍이 관행처럼 여겨지던 정렬 문제에서 100쌍에서 500쌍이라는 숫자는 언뜻 믿기 어려웠기 때문입니다. 그런데 숫자를 다시 보니 무모한 축소로 보였지만, 실상은 문제 설정 자체를 바꾸는 제안이었습니다. 모든 것을 쌍으로 가르치려는 대신, 쌍은 좌표를 잡는 용도로만 쓰고 나머지는 순서 없는 분포로 맞추겠다는 것이었죠. 그렇다면 쌍이 적어도 되는 이유가 무엇일까요. 이 질문이 이 글 전체를 이끄는 실마리입니다.

평소에 멀티모달 정렬을 생각하면 paired data를 모으는 일이 가장 큰 장벽으로 떠오릅니다. 이미지와 설명문을 한 장 한 장 맞추거나, 분자 구조와 설명 문장을 전문가가 짝지어 주는 일은 시간과 비용이 많이 들고, 도메인이 바뀌면 다시 처음부터 모아야 합니다. 그래서 쌍이 적어도 정렬이 된다면 실무의 풍경이 달라집니다. 저는 그래서 이 논문을 점수표보다 설정의 전환으로 읽었습니다. 쌍을 얼마나 모을지를 묻기보다 쌍 없이 무엇을 맞출 수 있는지를 묻고 있었기 때문입니다.

구체적인 장면을 하나 떠올려 보겠습니다. 어느 연구실에 이미지 인코더 하나와 텍스트 인코더 하나가 따로 학습되어 있습니다. 두 모델은 각자 잘 학습되었는데 서로 말을 섞은 적은 없습니다. 이때 새로 300쌍 정도만 구할 수 있다면 무엇을 할 수 있을까요. 예전 답은 다시 학습하거나 대규모 쌍을 더 모으는 쪽에 가까웠습니다. 이 논문은 그 300쌍을 앵커로 삼아 나머지를 풀어 보자고 말합니다. 저는 이 대목에서 고개를 끄덕였습니다. 있는 자원을 좌표로 쓰고, 없는 쌍은 분포로 메우는 발상이었기 때문입니다.

따로 배운 눈과 귀를 맞추는 일은 원래 비쌌다

따로 학습된 unimodal 인코더를 맞춘다는 말은 생각보다 까다로운 상태를 가리킵니다. 이미지 쪽은 이미지끼리의 관계로 공간을 만들었고, 텍스트 쪽은 텍스트끼리의 관계로 공간을 만들었는데, 두 공간의 축이 서로 통하지 않기 때문입니다. 차원이 같아도 방향이 다르면 바로 비교할 수 없고, 차원 자체가 달라도 비교가 어렵습니다. 그래서 관행은 두 인코더를 쌍 데이터로 함께 묶어 학습하면서 공간을 맞추는 쪽이었습니다. 그런데 이 묶음 학습이 쌍을 수백만 개 요구했습니다.

이 비용 구조는 작은 팀이나 새로운 도메인에서는 쉽게 감당하기 어렵습니다. 이미지와 텍스트처럼 자료가 많은 영역도 쌍을 깨끗하게 모으는 일은 별개의 노력이 들고, 분자와 텍스트처럼 전문 지식이 필요한 영역에서는 쌍 하나하나의 단가가 더 올라갑니다. 그래서 쌍이 적으면 정렬 품질이 급격히 떨어진다는 통념이 생겼습니다. 적은 쌍으로는 방향을 잡을 수 없고, 방향이 틀어지면 검색도 생성도 흔들린다는 이야기였죠.

여기서 재미있는 질문이 생깁니다. 쌍이 적은 것이 정말 방향을 잡을 수 없어서일까요, 아니면 쌍을 쓰는 방식이 비효율적이어서일까요. 논문은 후자에 가깝게 답합니다. 쌍을 일대일로 외우는 데 쓰면 300쌍은 금방 바닥나지만, 쌍을 공통 좌표로 쓰면 300개의 기준점이 수만 개의 짝 없는 점을 설명하는 도구가 될 수 있다는 것입니다. 저는 이 전환을 운영 관점에서도 눈여겨보았습니다. 데이터를 더 모으기 전에 이미 모은 데이터의 쓰임을 바꾸는 편이 훨씬 싸기 때문입니다.

좌표를 공유하면 거리가 통한다

이 논문의 출발점은 모든 표현을 N개의 쌍 앵커와의 유사도로 다시 쓰는 일입니다. 이미지 샘플이든 텍스트 샘플이든, 앵커 집합에 속한 N개의 짝과 얼마나 닮았는지를 순서대로 나열하면 길이가 N인 벡터가 얻어집니다. 이미지 공간에서 잰 유사도와 텍스트 공간에서 잰 유사도는 원래 단위가 달랐지만, 같은 앵커 순서를 공유하면 두 벡터는 같은 좌표계에 놓이게 됩니다. 생각해보면 사람도 비슷하게 설명합니다. 낯선 향을 맡으면 그 향 자체를 정의하기보다 장미에 가깝고 레몬과는 멀다는 식으로 알려진 향과의 거리로 표현하죠. 이 논문은 그 직관을 표현 공간에 그대로 적용합니다.

이 방식이 설득력을 갖는 이유는 절대 좌표가 아니라 상대 좌표를 쓰기 때문입니다. 이미지 인코더의 512차원과 텍스트 인코더의 768차원을 직접 맞추려면 차원과 회전을 동시에 다뤄야 하는데, 앵커와의 유사도로 바꾸면 두 쪽 모두 N차원의 유사도 벡터가 됩니다. 그러면 비교의 기준이 모델 내부의 축에서 공유된 앵커 집합으로 옮겨갑니다. 저는 이 대목에서 가장 흥미롭게 본 부분이 바로 기준의 이동이었습니다. 모델을 뜯어고치는 대신 모델 바깥에 공통 자를 놓는 선택이었기 때문입니다.

물론 앵커가 적으면 좌표의 해상도가 걱정됩니다. 100개나 300개의 기준으로 수만 개의 점을 구분할 수 있을까요. 논문의 답은 앵커 하나하나를 외우는 대신 앵커들과의 관계 패턴을 쓰는 데 있습니다. 300개의 앵커와 맺는 유사도 패턴은 300차원의 지문처럼 작동하고, 서로 다른 샘플은 서로 다른 지문을 갖습니다. 그래서 앵커 수가 적어도 상대적인 배치가 보존되면 이후 단계에서 분포를 맞출 여지가 생깁니다. 여기서 다음 질문이 바로 이어집니다. 공통 좌표에 올려놓은 두 점 구름을 어떤 규칙으로 맞출 것인가 하는 점입니다.

이 방법은 조인트 학습이 아니다

오해하기 쉬운 지점을 먼저 정리하고 싶습니다. 이 방법은 두 인코더를 쌍으로 다시 학습시키는 조인트 학습과 다릅니다. 이미 학습된 unimodal 인코더는 그대로 두고, 그 위에 정렬을 얹는 방식에 가깝습니다. 인코더 자체를 바꾸면 기존에 잘하던 단일 모달 성능이 흔들릴 수 있고, 학습 비용도 다시 커지기 때문입니다. 그래서 논문은 무거운 재학습 대신 가벼운 정렬층을 택합니다.

또 다른 오해는 앵커를 단순한 학습 데이터로 보는 시각입니다. 보통 few-shot이라고 하면 300쌍으로 모델을 미세 조정하는 장면을 떠올리지만, 여기서는 300쌍이 좌표축의 역할을 맡습니다. 축이 튼튼하면 짝 없는 점들도 같은 자로 잴 수 있고, 축이 흔들리면 뒤의 모든 매칭이 흔들립니다. 그래서 앵커의 개수도 개수지만 앵커가 분포를 얼마나 고르게 덮는지가 함께 중요해집니다. 저는 이 차이를 실제 시스템 관점에서 보면 바로 이해된다고 봅니다. 기준점이 편중되면 검색 결과가 특정 영역으로 쏠리기 때문입니다.

저희가 새로운 AI 아키텍처를 볼 때도 점수만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문의 경우 바뀐 것은 학습량보다 정렬의 입력입니다. 쌍의 절대량을 늘리는 대신 앵커라는 소수의 paired 기준과 대량의 unpaired 풀을 입력으로 씁니다. 이 설정이 뒤의 최적 수송과 증류를 만나면서 적은 쌍으로도 전체 분포를 맞추는 흐름이 됩니다.

순서 없는 점 구름을 한 번에 맞추는 법

이제 두 점 구름을 맞추는 단계로 들어갑니다. 공통 좌표에 올려놓은 이미지 점들과 텍스트 점들은 아직 짝이 정해지지 않은 상태입니다. 어느 이미지 점이 어느 텍스트 점과 같은 내용을 가리키는지 모르지만, 전체 분포의 모양은 비교할 수 있습니다. 논문은 이 전체 풀 위에서 한 번의 엔트로피 정칙 최적 수송 문제를 풉니다. 하나하나 가장 가까운 이웃을 찾는 대신, 전체 이동 비용이 작아지도록 두 분포 사이의 대응을 한 번에 구하는 것입니다.

이 선택은 탐욕적인 매칭과 꽤 다릅니다. 가장 가까운 이웃을 하나씩 찾으면 먼저 선택된 점이 좋은 짝을 독차지하고 뒤에 남는 점은 어쩔 수 없이 먼 짝과 연결됩니다. 반면 수송 문제는 모든 점의 대응을 동시에 정하면서 전체 비용을 낮춥니다. 엔트로피 정칙이 들어가면 대응이 너무 뾰족해지지 않고 부드럽게 퍼지는데, 이는 적은 앵커로 만든 유사도 좌표가 다소 noisy할 수 있다는 점을 감안하면 어울리는 선택입니다. 저는 이 대목에서 문제를 점 대 점에서 분포 대 분포로 바꾼 점이 눈에 들어왔습니다. 쌍이 없을 때 개별 대응을 외우려 하면 금방 틀리지만, 분포의 모양을 맞추면 틀릴 여지가 줄기 때문입니다.

구체적인 흐름을 따라가 보겠습니다. 먼저 앵커를 이용해 모든 짝 없는 이미지와 텍스트를 N차원 유사도 벡터로 바꿉니다. 그러면 두 모달의 점들이 같은 공간에 놓입니다. 이어서 두 점 구름 사이의 pairwise 비용을 재고, 한 번의 수송 문제를 풀어 transport plan을 얻습니다. 이 plan은 어느 이미지 점이 어느 텍스트 점들과 얼마만큼 연결되는지를 담은 부드러운 대응표입니다. 이 표가 다음 단계인 증류의 교사가 됩니다. 그렇다면 이 표는 왜 단순한 최근접 이웃보다 나을까요. 그 답은 허브라는 현상에 있습니다.

허브가 생기면 가까운 이웃이 무너진다

고차원 공간에서 최근접 이웃 매칭이 무너지는 이유 가운데 자주 언급되는 것이 hubness입니다. 일부 점이 유난히 많은 점들의 이웃으로 등장하면서 대응이 그쪽으로 쏠리는 현상인데, 차원이 올라가고 데이터가 많아질수록 심해집니다. 공통 좌표에 올려놓아도 이 쏠림이 완전히 사라지지는 않습니다. 인기 있는 앵커 패턴과 닮은 점이 있으면 많은 반대편 점들이 그 점 하나를 가리키게 되기 때문입니다.

논문이 수송 문제의 주변 제약에 주목한 이유는 바로 여기에 있습니다. 수송 문제는 각 점이 내보내고 받아들이는 총량이 정해져 있어서, 한 점이 모든 연결을 독차지할 수 없습니다. 총량이 고정되면 인기 있는 점도 일정량을 넘겨 다른 점에게 기회를 넘겨야 합니다. 저는 이 장치를 이중 언어 사전 유도 문헌의 one-step 허브 보정과 연결한 설명에서 멈칫했습니다. 서로 다른 분야의 이야기가 같은 수식으로 만나는 지점이었기 때문입니다. 예전에 단어 대응에서 쓰던 간단한 보정이 지금은 수송 문제의 제약으로 다시 등장합니다.

이 연결이 주는 통찰은 분명합니다. 허브 문제는 새로운 현상이라기보다 고차원 대응에서 반복되어 온 오래된 문제에 가깝고, 그 해법도 완전히 새로울 필요가 없다는 것입니다. 논문은 주변 제약을 그 해법의 한 형태로 위치시킵니다. 탐욕적인 이웃 선택이 쏠림을 키운다면, 전체 총량을 고정하는 제약은 쏠림을 누그러뜨립니다. 그래서 같은 유사도 좌표를 쓰더라도 매칭 규칙을 무엇으로 택하느냐에 따라 결과가 달라집니다. 이 차이는 생각보다 큽니다. 좌표는 비교를 가능하게 하지만, 대응의 공정성은 규칙이 만들기 때문입니다.

표를 외워서 새 입력에 쓰는 법

수송 계획까지 구하면 학습에 쓰인 짝 없는 풀에 대한 대응은 손에 들어옵니다. 그런데 이 표는 본 적 있는 점들에 대한 답이라서, 새로 들어오는 이미지나 문장에는 바로 쓸 수 없습니다. 표를 통째로 들고 다니며 매번 다시 계산할 수도 없고, 새로운 입력마다 전체 수송 문제를 다시 푸는 일도 부담이 큽니다. 그렇다면 표가 담은 대응 지식을 어떻게 휴대용으로 만들 수 있을까요.

논문의 답은 두 개의 가벼운 인코더로 증류하는 일입니다. 수송 계획이라는 부드러운 대응표를 교사로 삼아, 이미지 쪽 인코더와 텍스트 쪽 인코더를 각각 학습시켜 새로운 입력도 같은 정렬 공간에 올리도록 만듭니다. 증류라는 말을 들으면 큰 모델을 작은 모델로 줄이는 장면을 떠올리기 쉽지만, 여기서는 크기를 줄이는 일이 중심이 아닙니다. 표 형태의 대응을 함수 형태의 대응으로 바꾸는 일이 중심입니다. 표는 본 적 있는 점에만 답하지만, 함수는 처음 보는 점에도 답할 수 있기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 가벼운 인코더 두 개를 서빙하는 일이 얼마나 들까요. 논문이 가볍다는 표현을 쓰는 이유는 기존 unimodal 인코더를 다시 학습시키는 무거운 경로를 피하고, 정렬에 필요한 추가 연산만 얹기 때문입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 대응 지식을 테이블에 담아 두는 대신 함수로 저장하면, 새로운 이미지나 문장이 들어와도 전체 매칭을 다시 풀지 않고 인코더를 통과시키는 것만으로 정렬된 표현을 얻을 수 있습니다. 운영의 입장에서는 배치로 쌓아둔 풀에 대한 답과 실시간으로 들어오는 입력에 대한 답을 같은 방식으로 처리할 수 있다는 뜻입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 증류가 수송 계획의 품질을 그대로 물려받는다는 점입니다. 수송 계획이 틀어지면 가벼운 인코더도 틀어진 답을 배우게 됩니다. 그래서 앞단의 좌표와 매칭이 중요하고, 앵커의 구성과 주변 제약이 결과에 영향을 줍니다. 증류는 마법처럼 품질을 끌어올리는 장치라기보다, 얻은 대응을 새로운 입력으로 확장하는 장치에 가깝습니다. 이 구분을 해두면 뒤의 벤치마크를 읽을 때 과도한 기대를 피할 수 있습니다.

쌍이 아닌 것은 따로 모아도 된다

이 방법의 설정 가운데 실무적으로 가장 마음에 드는 부분은 짝 없는 데이터를 따로 모아도 된다는 점입니다. 앵커 바깥의 어떤 항목도 두 모달을 함께 관측할 필요가 없다는 말인데, 이미지 풀과 텍스트 풀을 서로 독립적으로 모은 뒤 두 주변 분포에서 각각 가져와도 된다는 뜻입니다. 이미지 5만 장과 텍스트 5만 개가 서로 짝을 이루지 않아도, 두 모둠의 전체 모양만 있으면 수송 문제를 풀 수 있습니다.

이 조건은 데이터 수집의 순서를 바꿉니다. 보통은 이미지와 설명문을 쌍으로 묶는 작업부터 시작하는데, 이 방법에서는 쌍 작업과 대량 수집 작업을 분리할 수 있습니다. 쌍 작업은 100개에서 500개 정도의 앵커에만 집중하고, 대량 수집은 각 모달에서 구하기 쉬운 자료를 따로 모으면 됩니다. 분자 영역을 떠올리면 이 분리의 가치가 더 또렷해집니다. 분자 구조 데이터와 분자 설명 텍스트를 같은 항목에 대해 쌍으로 모으는 일은 까다롭지만, 구조만 모은 자료와 설명만 모은 자료를 따로 모으는 일은 상대적으로 수월할 수 있기 때문입니다.

물론 따로 모은다는 말이 분포가 달라도 된다는 뜻은 아닙니다. 이미지 풀이 특정 카테고리에 치우치고 텍스트 풀이 다른 주제에 치우치면 두 점 구름의 모양 자체가 달라서 매칭이 어긋날 수 있습니다. 논문이 말하는 독립 수집은 짝을 맞추지 않고 모아도 된다는 뜻이지, 서로 무관한 분포를 가져와도 된다는 뜻이 아닙니다. 저는 그래서 이 설정을 읽을 때 수집의 자유와 분포의 정합성을 함께 봐야 한다고 봅니다. 쌍을 맞추는 수고를 덜어주는 대신, 각 모달의 풀이 대상 영역을 잘 덮고 있는지를 확인하는 일이 남습니다.

같은 예산에서 무엇을 더 맞혔을까

이제 같은 앵커 예산에서 기존 방식과 무엇을 달리 맞혔는지를 볼 차례입니다. 논문은 이미지 텍스트 영역의 Flickr30k와 MS-COCO, 그리고 분자 텍스트 영역의 ChEBI-20에서 같은 앵커 예산의 기존 방식들과 비교했다고 보고합니다. 앵커가 100개에서 500개 사이로 묶인 조건에서, 이 방식이 더 나은 정렬을 보였다는 것입니다. 저는 이 대목에서 절대 점수보다 비교의 조건을 먼저 봅니다. 같은 수의 쌍을 쓸 때 무엇을 더 맞혔는지가 이 논문의 주장을 가늠하는 자이기 때문입니다.

이미지 텍스트에서의 비교가 주는 메시지는 분명합니다. 대규모 쌍으로 함께 학습한 모델 대신, 따로 학습된 인코더를 소수의 앵커로 맞추는 설정에서도 검색과 같은 정렬 과제에서 경쟁력 있는 대응을 만들 수 있다는 것입니다. 분자 텍스트에서의 비교는 또 다른 결을 줍니다. 분자처럼 쌍을 모으기 어려운 영역에서도 같은 방식이 통했다는 것은, 이 방법이 특정 모달에 기대어 얻은 우연이라기보다 좌표와 수송과 증류라는 구조에서 비롯되었을 가능성을 높입니다. (참고로 분자 텍스트는 이미지 텍스트보다 쌍의 단가가 높아서, 적은 쌍 설정의 절감이 더 크게 체감되는 영역입니다.)

여기서는 숫자보다 뒤의 구조가 더 중요하다고 봅니다. 앵커 기반 상대 표현이 두 공간을 같은 자 위에 올리고, 전체 풀 위의 수송이 탐욕적인 이웃 선택의 쏠림을 누그러뜨리고, 증류가 그 대응을 새로운 입력으로 확장합니다. 세 장치가 맞물리면 적은 쌍으로도 분포 수준의 대응이 만들어집니다. 반면 앵커가 분포를 못 덮거나 두 풀이 서로 다른 영역을 가리키면 뒤의 장치가 아무리 정교해도 한계가 생깁니다. 그래서 저는 이 결과를 만능 정렬의 증거라기보다, 예산이 묶인 조건에서 어떤 설계가 효율적인지를 보여주는 증거로 읽었습니다.

남은 질문과 앞으로 보고 싶은 장면

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 적은 쌍으로 맞추는 흐름은 어디까지 믿을 수 있을까요. 논문이 보여준 것은 정해진 앵커 예산과 정해진 풀에서의 우위인데, 실제 배포에서는 앵커의 구성도 바뀌고 풀의 분포도 바뀝니다. 앵커 300개를 어떻게 고를지, 무작위로 고른 300개와 영역을 고르게 덮도록 고른 300개가 얼마나 다를지, 그리고 풀이 커지면 수송 문제의 계산 부담을 어떻게 다룰지는 여전히 손에 잡히는 물음입니다. 엔트로피 정칙의 정도로 대응의 부드러움이 달라지는 만큼, 그 값을 정하는 기준도 함께 궁금합니다.

제가 앞으로 보고 싶은 것은 세 가지입니다. 첫째는 앵커 선택의 규칙입니다. 같은 300쌍이라도 어떤 쌍을 앵커로 쓰느냐에 따라 좌표의 해상도가 달라질 텐데, 영역을 고르게 덮는 선택이 무작위 선택보다 얼마나 이득을 주는지 보고 싶습니다. 둘째는 분포 어긋남에 대한 움직임입니다. 이미지 풀과 텍스트 풀이 서로 다른 쪽으로 치우쳤을 때 수송 계획이 어떻게 틀어지고, 그 틀어짐을 사전에 감지할 신호가 있는지 궁금합니다. 셋째는 증류 이후의 변화입니다. 수송 계획의 품질이 인코더로 얼마나 온전히 옮겨지는지, 그리고 새로운 입력에 대한 오차가 어디에서 커지는지를 보고 싶습니다. 이 세 가지가 정리되면 적은 쌍 정렬을 실험실 설정 너머의 운영 설정으로 옮길 수 있습니다.

이 논문이 남기는 감각을 한 문장으로 정리하면 이렇습니다. 쌍을 모으는 일을 좌표를 세우는 일로 바꾸면, 순서 없는 대량의 자료가 정렬의 자원이 됩니다. 쌍이 적다는 사실은 그대로 두되, 쌍의 쓰임을 바꾸고 분포 전체를 맞추고 그 답을 함수로 옮긴 것입니다. 앞으로 쌍이 비싼 영역에서 정렬을 시도하는 팀이라면, 쌍을 몇 개 더 모을지를 묻기 전에 쌍 바깥의 짝 없는 자료를 어떻게 쓸지를 먼저 묻게 될 것 같습니다. 그렇다면 다음에 물을 질문은 이것입니다. 우리의 앵커는 지금 분포를 고르게 비추고 있을까요.