결정을 움직이면 라벨이 사라지고 근거 감사는 답을 내지 못했다

Decision Shifts, Lost Label Functionality, and an Inconclusive Grounding Audit in Correctness-Gated Multi-Teacher Distillation라는 제목의 논문이 arXiv에 공개되어 있습니다(2609.09702). 제목 아래에 걸린 원문 링크를 누르면 전문을 바로 확인할 수 있습니다.

이 논문은 정답 여부로 가중치를 준 다중 교사 증류가 후보 결정의 정답률과 근거의 접지 상태를 어떻게 따로 움직이는지 측정하자고 말합니다.

안녕하세요, 숫자만 보면 속기 쉬운 논문을 만났습니다

안녕하세요, 패트릭입니다.

사람이 여러 명 모여 일하면 누구의 말을 더 믿을지 정하는 일이 생깁니다. 잘 아는 사람의 말을 더 크게 듣고, 틀린 말을 한 사람의 말은 작게 듣는 것이죠. 그렇다면 여러 AI 교사가 한 학생을 가르칠 때도 같은 방식을 쓰면 어떻게 될까요.

제가 이 논문에 오래 머문 이유는 바로 그 질문 때문이었습니다. 정답을 맞춘 교사의 말을 더 크게 듣자고 하면 학생이 더 똑똑해질 것 같잖아요. 그런데 실험을 따라가다 보니 숫자는 좋아진 것처럼 보이는데 어딘가 꺼림칙한 구석이 남았는데요. 맞춘 비율은 올랐는데 말할 수 있는 라벨이 줄었고, 근거가 좋아졌다는 말에는 조사 방식부터 고개를 갸웃하게 됐습니다.

오늘 글에서는 그 꺼림칙함을 하나씩 풀어보려고 합니다. 결정이 어떻게 움직였는지, 어떤 라벨 기능이 사라졌는지, 그리고 근거 감사가 왜 결론을 내지 못했는지를 순서대로 짚어보겠습니다.

그렇다면 결정과 근거는 왜 다른 문제일까요

질문을 하나 던져보겠습니다. 답을 맞추는 일과 답의 이유를 대는 일은 같은 능력일까요.

학교 시험으로 비유하면 감이 옵니다. 객관식 답을 맞추는 학생과 풀이 과정을 바르게 쓰는 학생은 다를 수 있죠. 답만 맞추면 되는 시험에서는 풀이가 엉성해도 점수를 받습니다. 반면 풀이를 보는 시험에서는 답이 맞아도 과정이 비어 있으면 점수를 잃습니다. 이 논문이 처음에 잡은 구분도 그와 비슷합니다. 후보 결정이 맞았는지와 그 결정을 뒷받침하는 근거가 출처에 닿아 있는지는 서로 다른 목표라는 것이죠.

이 구분은 생각보다 쓸모가 있습니다. 증류(distillation) 연구에서는 교사 모형이 만든 답과 설명을 학생이 함께 배우니까요. 그래서 답이 좋아지면 설명도 좋아졌을 거라고 넘겨짚기 쉽습니다. 하지만 교사가 그럴듯한 설명을 덧붙였는데 출처에는 없는 말을 슬쩍 섞었다면 어떻게 될까요. 학생은 답을 맞추는 법과 출처 없는 말을 덧붙이는 법을 함께 배울 수 있습니다. 그래서 저는 이 논문에서 가장 오래 머문 대목이 바로 이 구분이었다고 말씀드리고 싶습니다. 숫자를 읽기 전에 무엇을 재고 있는지부터 가려낸 셈이니까요.

여기서 잠깐 짚고 넘어가면, 이 구분이 있어야 뒤에 나오는 숫자들을 오해하지 않습니다. 정확도가 올랐다는 말과 근거가 단단해졌다는 말은 다른 문장이기 때문입니다. 뒤에서 보겠지만 가중치를 준 쪽이 정확도에서는 앞서는데 근거 감사에서는 답을 내지 못합니다. 이 둘을 한 바구니에 담으면 좋아졌다고도 나빠졌다고도 말할 수 없죠. 그래서 논문은 두 목표를 일부러 갈라서 봅니다.

시험 조건을 하나로 묶어둔 실험이었습니다

실험 이야기를 하기 전에 판을 먼저 봐야 합니다. 판이 다르면 숫자 비교가 즐거울 뿐 판단에는 도움이 안 되니까요.

이 연구는 여덟 가지 실험 팔을 같은 바닥 위에 올려놓았습니다. 출처 4,330개, 6,390만 파라미터 규모의 학생 모형 하나, 최적화 행 12,990개, 업데이트 406회, 같은 증거 입력과 같은 디코더가 그 바닥에 해당합니다. 교사 기반 일곱 팔은 고정된 세 응답 묶음을 함께 썼는데요. 다시 말하면 가르치는 재료의 출처와 양, 학생의 몸집, 학습 걸음 수를 맞춰둔 뒤에 가르치는 방식만 바꾼 것입니다.

저는 이런 설계를 보면 마음이 놓입니다. 저희가 새로운 AI 아키텍처를 볼 때도 벤치마크 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 그런 눈으로 보면 이 실험은 무엇을 바꿨는지가 비교적 또렷합니다. 재료를 늘린 것도 학생을 키운 것도 아니라 교사 신호를 다루는 방식을 바꾼 것이죠.

구체적으로 비교 축은 세 갈래로 읽힙니다. 아무 손질 없이 교사 출력을 그대로 배우는 증류, 틀린 교사 신호를 미리 걸러내고 배우는 하드 필터링(hard filtering), 그리고 정답 여부에 따라 가중치를 달리 주며 배우는 정답 가중 방식입니다. 여기에 출처 라벨로 직접 지도 학습을 한 갈래가 따로 있습니다. 이렇게 놓고 보면 가중치가 정말로 필터링을 넘어서는 무언가를 더하는지가 자연스럽게 질문으로 남죠. 그렇다면 숫자는 어떻게 움직였을까요.

가중치를 켜자 숫자는 움직였지만 기쁨은 짧았습니다

가중치를 끈 증류와 비교하면 정답 가중 쪽의 숫자는 분명히 움직였습니다. 정확도는 0.1660 올랐고 다섯 라벨 매크로 F1은 0.1323 올랐으며 조건부 안전하지 않은 행동률은 0.4979 낮아졌습니다. 같은 판 위에서 방향 자체는 좋아 보이는 이동이죠. 저도 처음에는 이 대목에서 고개를 끄덕였습니다.

그런데 문제는 그다음입니다. 숫자가 움직였다는 말이 행동이 고르게 나아졌다는 말은 아니기 때문입니다. 정확도는 맞춘 비율을 재고, 매크로 F1은 드문 라벨까지 골고루 맞추는지 함께 보며, 조건부 안전하지 않은 행동률은 특정 조건 안에서 위험한 선택이 얼마나 나오는지를 봅니다. 세 지표가 같은 방향을 가리키면 마음이 편한데, 이번에는 지표 아래를 들여다볼수록 편하지 않은 구석이 나옵니다. 라벨별 움직임이 고르지 않았던 것이죠.

일상적인 장면으로 바꿔보면 이해가 쉽습니다. 시험 점수 평균이 올랐는데 특정 과목 점수가 0점이 된 경우를 떠올려 보세요. 평균만 보면 공부가 늘었다고 말할 수 있지만, 과목별 성적표를 보면 그 말이 망설여집니다. 이 실험에서도 평균 비슷한 지표는 올라갔는데, 뒤에서 보듯이 Refuted라는 라벨을 맞추는 능력은 바닥으로 가라앉았습니다. 그래서 논문은 이 이동을 두고 고르게 나아진 것이 아니라고 선을 긋습니다. 저는 그 문장을 읽으며 숫자 읽는 태도를 다시 잡았습니다. 평균이 아니라 분포를 봐야 한다는 것이죠.

맞추려다 말할 수 있는 라벨이 줄었습니다

여기서부터 이야기가 조금 불편해집니다. 정답 가중을 준 팔은 모든 시드에서 Refuted 재현율이 0이었습니다. 다시 말하면 반박되어야 할 사례를 반박이라고 말하는 경우가 한 번도 없었다는 뜻인데요. 두 시드에서는 더 극단적인 모습이 나왔습니다. 청구 예시 167개를 전부 NotEnoughInfo라고 말한 것이죠. 증거가 부족하다는 말만 반복한 셈입니다.

왜 이런 일이 생길까요. 정답을 맞춘 교사 말을 크게 듣는 방식은 얼핏 합리적으로 들립니다. 그런데 교사들이 많이 내놓는 답 쪽으로 귀가 쏠리면 드문 답을 말하는 법을 잊어버릴 수 있습니다. 반박이라는 말은 자주 나오지 않지만 꼭 필요할 때 나와야 하는 말인데, 학습 과정에서 그 말을 쓸 이유가 사라진 것이죠. 사람이 회의에서 다수 의견만 듣다 보면 소수 의견을 말하는 법을 잊는 것과 비슷합니다.

이 대목에서 제가 멈칫했던 이유는 평가 방식 때문입니다. 다섯 라벨 매크로 F1은 드문 라벨을 맞추는지까지 함께 보려는 지표인데, 한 라벨이 통째로 비면 그 지표의 뜻도 달라집니다. 평균이 올라도 말할 수 있는 말이 줄었다면 그걸 배움이 늘었다고 말하기 어렵죠. 논문이 이를 두고 라벨 기능 상실이라고 부른 것도 그래서 이해가 됐습니다. 결정을 한쪽으로 몰아간 대가로 말의 가짓수가 줄어든 것입니다.

그렇다면 이건 작은 부작용일까요. 저는 그렇게 보지 않았습니다. 문서 판단 시스템에서 반박을 말하지 못하면 위험한 구석이 생기니까요. 틀린 주장을 틀렸다고 말해야 할 때 모른다고만 하면 운영에서는 결정을 미루게 되고, 미룬 결정은 사람에게 넘어갑니다. 정확도 숫자 뒤에 이런 운영 비용이 숨어 있다는 점이 이번 실험이 남긴 뼈아픈 지점이라고 봅니다.

가장 넓게 맞춘 쪽은 가장 단순한 쪽이었습니다

비교를 넓히면 그림이 더 또렷해집니다. 출처 라벨로 직접 지도 학습한 쪽이 평균 매크로 F1 0.586으로 여러 팔 가운데 가장 높은 값을 기록했습니다. 교사 말을 해석해서 배우는 대신 출처에 붙은 라벨을 그대로 배우니 말의 가짓수를 비교적 잘 유지한 것이죠. 배우는 경로가 짧을수록 잃어버리는 것도 적었던 셈입니다.

하드 필터링 결과도 눈여겨볼 만합니다. 정확도 0.660, 매크로 F1 0.530, 조건부 안전하지 않은 행동률 0.135를 이미 달성했습니다. 틀린 교사 신호를 미리 덜어내는 것만으로도 이 정도 바닥을 만든 것이죠. 그런데 정답 가중 방식이 이 필터링을 넘어서는 결정 이득을 보였다는 근거는 이번 구현에서는 드러나지 않았습니다. 가중치를 더하는 손질이 필터링 위에 무언가를 얹었는지 묻는다면, 답은 아직 모른다는 쪽에 가깝습니다.

여기서 드는 질문은 꽤 실제적입니다. 좋은데, 이걸 어디에 올릴까요. 운영 측면에서 보면 필터링은 설명하기 쉽고 돌리기도 쉽습니다. 틀린 재료를 덜어내고 배운다는 말이 바로 이해되니까요. 반면 가중치는 손질할 손잡이가 늘어나고 거동도 복잡해집니다. 그런데도 결정 품질에서 분명한 웃돈이 보이지 않는다면 무엇을 위해 복잡함을 감수해야 할까요. 저는 그래서 이 대목을 읽으며 필터링을 기준선으로 삼아야겠다고 생각했습니다. 새로운 가중치가 그 기준을 넘어서는지를 먼저 묻는 것이죠.

아래 그림을 보기 전에 숫자들을 다시 모아보면 이렇습니다. 가중치는 손질 없음과 비교하면 정확도와 매크로 F1을 끌어올리고 안전하지 않은 행동률을 낮췄습니다. 그러나 출처 라벨 학습이 가진 넓은 맞춤에는 못 미쳤고, 하드 필터링이 만든 바닥을 넘어섰다는 말도 아직 못 합니다. 평균의 상승과 기능의 축소가 함께 있었다는 점이 이번 장의 정리라고 할 수 있습니다.

근거 감사는 왜 결론이 아니게 됐을까요

이제 근거 이야기로 넘어가 보겠습니다. 결정이 한쪽으로 움직였다면 근거는 좋아졌을까요. 논문은 감사(audit)를 붙여봤지만 답은 결론 없음이었습니다.

숫자만 보면 이런 모습입니다. 근거가 뒷받침된다고 판정된 긍정 사례가 가중 쪽에서는 20개 가운데 0개, 손질 없음 쪽에서는 20개 가운데 1개였습니다. 반대로 출처로 뒷받침되지 않는 내용이 들어간 긍정 사례는 가중 쪽이 20개 가운데 20개, 손질 없음 쪽이 20개 가운데 19개였습니다. 얼핏 보면 둘 다 근거가 빈약해 보이는데, 이 숫자만으로 우열을 말하기 어렵습니다. 표본이 작고 뽑는 방식에 문제가 있었기 때문입니다.

제가 여기서 조심해서 읽은 부분은 표본이 짝을 이루지 않았다는 점입니다. 같은 출처에서 나온 두 출력을 나란히 놓고 비교한 것이 아니라 서로 다른 출처 묶음에서 따로 뽑아 비교한 것이죠. 출처가 다르면 난이도도 다르고 근거를 찾기 쉬운 정도도 다릅니다. 그래서 0개와 1개라는 차이가 방식의 차이인지 재료의 차이인지 가릴 수 없습니다. 겹치는 출처를 일련번호로 묶어 추적하지 않은 점도 같은 맥락에서 아쉽습니다. 어디서 겹치고 어디서 어긋나는지를 모르면 공통 재료에서의 접지 효과를 잴 수 없으니까요.

이런 사정을 알고 나면 20개 가운데 20개라는 숫자의 느낌도 달라집니다. 전부가 문제 있다는 말처럼 들리지만, 감사 방식이 두 팔을 같은 저울에 올리지 못했으니 저울 자체를 믿기 어렵습니다. 논문이 이 감사를 두고 결론 없음이라고 말한 것도 그래서 타당해 보였습니다. 근거가 나빠졌다는 말도 좋아졌다는 말도 아직 못 한다는 것이죠.

순서가 하나 바뀌면 측정이 달라집니다

감사 이야기는 순서 문제로 이어집니다. 이 감사에서는 출처 보정이라는 손질이 자동 요약 뒤에 들어갔고 사람 주석 전 단계에 놓였습니다. 다시 말하면 재료를 다듬는 파이프라인 중간에 손질이 끼어든 것이죠. 이 순서 때문에 측정이 꼬였습니다.

구체적으로 생각해 보겠습니다. 자동 요약이 먼저 돌아가면 원문의 길이와 모양이 이미 바뀌어 있습니다. 그 뒤에 출처 보정을 얹으면 보정 전후의 근거 상태를 같은 선에서 비교하기 어렵습니다. 사람 주석이 그다음에 붙으면 주석자는 이미 손질된 재료를 보게 되고, 원래 재료에서의 접지력이 어땠는지는 시야에서 사라집니다. 무엇이 좋아졌는지 나빠졌는지를 말하려면 같은 출처에서의 접지 효과를 재야 하는데, 그 공통 분모가 없는 것이죠.

운영 장면으로 옮기면 감이 더 잘 옵니다. 밤사이 공시가 늦게 도착해서 요약기가 먼저 돌고 아침에 출처를 덧붙이는 경우를 떠올려 보세요. 요약이 먼저 굳어지면 뒤에 출처를 붙여도 근거의 빈틈이 어디서 생겼는지 찾기 어렵습니다. 아침 점검 시간에는 결정 라인이 멈추면 안 되는데, 이런 순서에서는 어디를 고쳐야 할지 알기 어렵죠. 저는 그래서 이 순서 문제를 연구실 점수 이상으로 무겁게 봤습니다. 운영의 아침을 지켜주는 장치가 순서에 따라 흔들릴 수 있기 때문입니다.

그렇다면 이 감사는 버려야 할까요. 저는 그렇게 보지 않습니다. 무엇을 못 재는지 분명히 말해준 것만으로도 쓸모가 있으니까요. 공통 출처에서의 접지 효과를 못 잰다는 말, 시스템 수준의 이득이나 해악을 말할 수 없다는 말은 다음 설계를 위한 표지판입니다. 다음에는 같은 출처에서 짝을 맞추고, 겹침을 번호로 묶고, 보정 시점을 고정하면 됩니다. 결론 없음이라는 말은 실패의 도장이 아니라 다음 측정으로 가는 문이라고 봅니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다

숫자를 다 읽고 나면 시스템 질문이 남습니다. 이 방식을 실제 문서 판단 라인에 올리면 무엇이 달라질까요.

먼저 드는 생각은 라벨 분포를 계속 지켜봐야 한다는 점입니다. 정확도 평균은 배치 단위로 바로 보이지만 Refuted 같은 드문 라벨의 움직임은 따로 챙기지 않으면 늦게 발견됩니다. 167개 청구 예시를 전부 NotEnoughInfo라고 말한 시드처럼 극단적인 쏠림은 운영에서는 결정 지연으로 번집니다. 사람이 다시 봐야 하는 큐가 늘어나고, 큐가 늘면 응답이 늦어지죠. 그래서 저는 라벨별 재현율을 대시보드의 앞자리에 두겠다고 생각했습니다. 평균이 아니라 분포를 보는 습관이 필요하다는 것이죠.

다음으로 드는 생각은 비용 구조입니다. 교사 세 응답 묶음을 고정해 두고 학생을 가르치는 방식은 연구에서는 깔끔하지만 운영에서는 교사 호출 비용과 지연이 따릅니다. 6,390만 파라미터 규모의 학생은 가볍게 돌릴 수 있어도 가르치는 과정에서의 손질이 늘면 실험 관리 비용이 커집니다. 하드 필터링으로 0.660 정확도와 0.135 안전하지 않은 행동률 바닥을 만들 수 있다면, 가중치가 그 위에 얹는 웃돈이 얼마인지 먼저 따져야 합니다. 웃돈이 분명하지 않으면 단순한 쪽을 택하는 것이 운영에서는 합리적입니다.

또 하나는 근거를 어떻게 보여줄지의 문제입니다. 이번 감사처럼 근거가 뒷받침된 긍정이 20개 가운데 0개와 1개로 갈린다면 사용자에게 무엇을 보여줘야 할까요. 출처 없는 말이 20개 가운데 20개와 19개로 나왔다는 대목은 더 조심스럽습니다. 이런 상태에서는 결정만 내보내고 근거는 나중에 붙이는 방식이 위험할 수 있습니다. 결정과 근거를 따로 재야 한다는 처음의 구분이 운영에서도 그대로 이어지는 것이죠. 저는 그래서 결정 화면과 근거 화면을 같은 점수로 묶지 않겠다고 생각했습니다. 따로 재고 따로 보여주는 쪽이 정직하기 때문입니다.

제가 앞으로 보고 싶은 것은 더 정직한 비교입니다

마지막으로 남은 질문을 모아보겠습니다. 이 흐름은 어디에서 더 단단해질 수 있을까요. 그 이야기는 다음 연구에서 확인해 보겠습니다.

먼저 보고 싶은 것은 같은 출처에서 짝을 맞춘 근거 비교입니다. 이번 감사가 짝을 맞추지 못해 결론을 내지 못했으니, 다음에는 같은 출처에서 나온 두 출력을 나란히 놓고 근거의 뒷받침 여부를 재면 됩니다. 겹치는 출처는 번호로 묶어 추적하고, 표본도 20개를 넘어서면 좋겠습니다. 0개와 1개라는 숫자 앞에서 망설이지 않으려면 저울 자체를 먼저 고쳐야 하니까요.

다음으로 보고 싶은 것은 가중치가 필터링을 넘어서는지를 묻는 실험입니다. 하드 필터링이 이미 0.660 정확도와 0.530 매크로 F1, 0.135 안전하지 않은 행동률을 만들었으니 그 위에서 가중치가 무엇을 더하는지를 분리해서 재면 됩니다. 가중치의 세기를 달리하거나 교사 묶음의 구성을 바꿔보면서 Refuted 재현율이 언제 무너지는지도 함께 보면 좋겠습니다. 167개를 전부 NotEnoughInfo라고 말한 극단적인 쏠림이 어떤 조건에서 나오는지를 아는 것만으로도 운영에는 큰 도움이 됩니다.

그리고 출처 라벨 학습이 가진 넓은 맞춤을 어떻게 가져올지도 궁금합니다. 평균 매크로 F1 0.586이라는 값 자체보다 그 뒤의 구조가 저에게는 더 크게 남았는데요. 짧게 배우면 넓게 맞추고, 길게 해석해서 배우면 좁아진다는 느낌이 들었기 때문입니다. 그렇다면 짧은 경로의 장점을 살리면서 교사 신호의 장점을 얹을 수는 없을까요. 예를 들어 라벨 분포를 지키는 장치를 따로 두고 가중치를 얹는 방식도 생각해 볼 수 있습니다.

이 논문이 남긴 가장 또렷한 문장은 결국 하나로 모입니다. 후보 결정이 맞았는지와 근거가 출처에 닿아 있는지는 다른 목표라는 것이죠. 결정 이동만 보고 좋아졌다고 말하지 않고, 사라진 라벨을 함께 보고, 근거 감사 앞에서는 결론 없음이라고 말하는 태도가 마음에 남았습니다. 다음에 문서 판단 시스템을 만질 때는 평균 뒤에 숨은 분포를 먼저 묻고, 근거는 결정과 다른 저울에 올리게 될 것 같습니다. 그렇다면 여러분의 팀에서는 지금 평균과 분포 가운데 무엇을 보고 계신가요.