닻 없이 설명을 재는 일, 충실함 지표가 놓친 구조

Faithfulness Without Anchors: A Position Paper on the Structural Misalignments of Explainable AI Faithfulness Metrics for Feature Importance는 arXiv에 공개된 포지션 페이퍼로 arXiv 번호 2610.12493으로 등록되어 있습니다. 원문 링크는 제목 아래에 걸어두었습니다.

이 논문이 내세우는 주장은 하나의 문장으로 정리되는데, 설명이 모델을 얼마나 닮았는지를 재는 충실함 지표에는 닻이 될 기준이 없어서 구조적으로 흔들릴 수밖에 없다는 것입니다. 그래서 이 글에서는 그 진단에서 출발해 충실함의 뜻과 특성 중요도의 한계, 10년의 신뢰 연구가 남긴 결과, 디버깅 도구로서의 현실, 측정의 비용 문제, 다섯 가지 결함과 네 가지 연구 방향이 가리키는 것을 차례로 따라갑니다.

설명이 맞는지 묻는 일이 왜 이렇게 어려울까

안녕하세요, 패트릭입니다. 제가 이 논문을 집어 든 이유는 거창하지 않은데, 평소에 모델 설명을 볼 때마다 같은 찜찜함이 남았기 때문입니다. 설명은 그럴듯한데, 그 설명대로 모델이 움직이는지는 끝내 알 수 없다는 느낌이었습니다. 여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 모델이 내놓은 설명 한 줄도 우리의 판단을 바꿀 수 있을까요. 이 질문은 생각보다 빨리 실무로 이어지는데, 설명을 믿고 버튼을 눌렀다가 틀리면 그 책임은 설명에 있을까요, 모델에 있을까요, 아니면 설명을 믿은 저에게 있을까요.

저는 이 지점에서 포지션 페이퍼라는 형식이 잘 어울린다고 봅니다. 새로운 기법을 자랑하는 논문이 아니라, 지금 우리가 재는 방식 자체가 잘못 놓여 있다는 선언이기 때문입니다. 논문은 충실함을 설명과 모델 사이의 닮음 정도로 정의하는데, 이 정의는 짧지만 뒤에 오는 논의를 전부 떠받칩니다. 닮음을 말하려면 원본과 사본을 나란히 놓고 비교해야 하지만, 우리는 원본인 모델의 속을 들여다볼 방법이 마땅치 않습니다. 그래서 우리는 사본끼리 비교하거나, 사본을 조금 찌그러뜨려보면서 원본을 짐작합니다. 여기서는 조금 조심해서 읽을 필요가 있는데, 지표가 틀렸다는 말이 아니라 지표가 서 있는 땅 자체가 무르다는 말이기 때문입니다.

예를 들어 월요일 아침에 병원 접수 화면을 떠올려보겠습니다. 모델이 특정 환자를 고위험으로 찍었고, 설명은 혈압 수치를 가리킵니다. 의사는 그 설명을 보고 고개를 끄덕이는데, 정작 모델은 혈압이 아니라 접수 시간대의 미묘한 패턴에 반응했을 수도 있습니다. 겉으로는 설명이 이치에 맞으니까 넘어가지만, 나중에 비슷한 혈압의 다른 환자가 저위험으로 나오면 신뢰가 흔들립니다. 문제는 그다음입니다. 설명이 틀린 건지, 모델이 이상한 건지, 아니면 둘 다 맞는 것처럼 보였던 건지를 가릴 도구가 없다는 것이죠. 저는 그래서 이 논문의 첫 문장을 오래 붙잡았습니다. 닻이 없다는 비유가 실무의 아침과 바로 연결되었기 때문입니다.

닮음이라는 말을 꺼냈을 때 우리가 약속한 것

충실함이라는 단어는 일상에서도 자주 쓰이지만, 논문이 쓰는 뜻은 더 좁고 더 단단합니다. 설명이 모델 자체를 얼마나 가깝게 근사하는지를 묻는 것인데, 사람이 이해하기 쉬운지와는 다른 질문입니다. 그런데 이 구분이 생각보다 중요합니다. 이해하기 쉬운 설명은 듣는 사람을 편하게 하지만, 모델의 실제 움직임과 어긋날 수 있기 때문입니다. 반면 충실한 설명은 때로 복잡하고 못생겼지만, 그래도 모델이 한 일을 그대로 비춥니다. 그렇다면 우리는 그동안 어느 쪽을 재왔을까요. 솔직히 말하면, 많은 지표가 두 가지를 슬쩍 섞어서 썼습니다.

생각해보면 사람도 비슷하게 배웁니다. 시험을 잘 보는 학생의 공부법을 물었을 때, 그 학생이 말하는 비법과 실제로 점수를 만든 습관은 다를 때가 많습니다. 말은 깔끔한데 현실은 지저분한 것이죠. 특성 중요도 설명도 여기서 크게 다르지 않습니다. 모델은 수많은 층과 가중치와 비선형 변환을 거쳐 답을 내놓는데, 설명은 그 과정을 몇 개의 막대그래프로 줄여줍니다. 이 줄이기는 필요해서 하는 일이지만, 줄이는 순간 원본과의 거리가 생깁니다. 그리고 그 거리를 재는 자가 또 줄이기를 전제로 하니까, 자와 대상이 함께 흔들리죠.

저는 이 정의 부분에서 논문의 태도가 마음에 들었습니다. 충실함을 엄밀히 재는 일이 가능해지면, 설명의 신뢰도를 이루는 한 조각을 숫자로 말할 수 있다고 보기 때문입니다. 신뢰 전체를 숫자로 바꾸겠다는 과장된 약속이 아니라, 신뢰를 이루는 조각 하나를 제대로 재보자는 제안이죠. 그런데 이어지는 문장에서 바로 제동이 걸립니다. 지금의 지표로는 그 조각을 재는 일이 불가능에 가깝거나 계산 비용이 감당하기 어렵다는 것입니다. 이 차이는 생각보다 큽니다. 재고 싶은 마음과 잴 수 있는 상태가 서로 다른 층에 있기 때문입니다. 그렇다면 무엇이 재는 일을 막을까요. 그 이야기는 특성 중요도의 생김새에서 시작됩니다.

막대 몇 개로 모델의 속마음을 말할 수 있을까

특성 중요도는 설명 중에서도 가장 익숙한 형태인데, 입력 가운데 어디가 답에 영향을 줬는지를 점수로 매깁니다. 어느 단어가, 어느 픽셀이, 어느 수치가 결정적이었는지를 보여주기 때문입니다. 언뜻 보면 공정해 보입니다. 기여도를 숫자로 매기니까 비교도 되고 토론도 되니까요. 그런데 논문이 지적하는 대목은 이 익숙함 바로 뒤에 있습니다. 이런 방법이 모델의 내부 작동을 자주 단순화하고, 그 단순화가 설명과 모델 사이의 어긋남을 만든다는 것이죠. 이 어긋남에는 이름도 있는데, 불충실함 혹은 부정합이라고 부릅니다.

여기서 재미있는 질문이 생깁니다. 단순화가 왜 곧바로 잘못이 될까요. 단순화 자체는 나쁜 일이 아니기 때문입니다. 지도는 영토보다 작아야 쓸모가 있듯이, 설명도 모델보다 작아야 읽히죠. 다만 지도가 강을 빠뜨리면 길을 잃듯이, 설명이 모델의 상호작용을 빠뜨리면 판단을 그르칩니다. 모델은 특성 하나하나를 따로 보지 않고 서로 얽어서 보는데, 설명은 그 얽힘을 풀어서 한 줄로 세우기 때문입니다. 예를 들어 두 단어가 함께 나올 때만 위험 신호가 되는 문장을 생각해보죠. 각 단어의 점수만 보면 둘 다 평범해 보이지만 조합은 강한 신호를 만듭니다. 막대그래프는 이 조합을 담을 그릇이 없습니다.

(참고로 제가 실무에서 특성 중요도를 볼 때 가장 먼저 의심하는 것도 이 지점인데요. 점수가 예쁘게 나올수록 오히려 모델의 비선형성을 덮은 것은 아닌지 묻게 됩니다.) 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 얽힘을 살린 설명은 왜 아직 흔하지 않을까. 답은 어렵지 않지만, 얽힘을 살리면 설명이 다시 모델만큼 복잡해져서 사람이 읽을 수 없게 되기 때문입니다. 읽히려면 줄여야 하고, 줄이면 어긋나고, 어긋난 정도를 재는 자마저 흔들립니다. 이 순환이 논문이 말하는 구조적 엇갈림의 한가운데에 있습니다. 그렇다면 이 엇갈림은 실제로 어떤 결과를 남겼을까요. 지난 10년의 기록이 답해줍니다.

10년의 기록이 우리에게 남긴 불편한 답

논문이 꺼내는 시간의 길이가 인상적인데, 10년이라는 증거가 가리키는 방향이 예상과 다르기 때문입니다. 설명 도구는 오랫동안 모델에 대한 신뢰를 높여준다고 소개되어 왔습니다. 속을 보여주면 믿고 쓸 수 있다는 약속이었죠. 그런데 쌓인 연구들은 적절한 신뢰가 늘었다는 쪽이 아니라 다른 쪽을 가리킵니다. 설명이 오히려 틀린 예측에 대한 과도한 의존을 부추겼다는 것입니다. 설명이 그럴듯하니까 틀린 답도 따라가게 된다는 것이죠.

이 차이는 생각보다 중요한데, 신뢰와 의존은 같은 말이 아니기 때문입니다. 신뢰는 맞을 때 믿고 틀릴 때 의심하는 능력인 반면, 의존은 맞든 틀리든 따라가는 습관에 가깝습니다. 숫자로 비유하면 이해가 쉬운데, 설명이 있을 때 틀린 답을 받아들이는 비율이 눈에 띄게 올라갔다면 그 설명은 신뢰를 키운 게 아니라 의존을 키운 셈이기 때문입니다. 일반 파일에만 남겼을 때와 달리 눈에 보이는 설명이 붙으면 판단이 달라지는 것처럼요. 사람은 그럴듯한 이유를 들으면 의심하는 일을 미루고 싶어하죠.

여기서는 조금 조심해서 읽을 필요가 있는데, 설명이 쓸모없다는 주장으로 오해하면 안 되기 때문입니다. 논문이 말하는 것은 설명의 실패가 아니라 기대의 실패에 가깝습니다. 설명이 신뢰를 자동으로 만들어줄 거라는 기대가 꺾였다는 뜻이죠. 그리고 과도한 의존 뒤에는 더 아픈 후유증이 옵니다. 틀린 예측을 몇 번 따라가다 크게 데이면, 사람들은 모델 자체를 피하기 시작하는데 이를 알고리즘 회피라고 부릅니다. 믿다가 데이고, 데인 뒤에는 아예 안 쓰는 흐름이죠. 그렇다면 설명은 현장에서 아무짝에도 쓸모없었을까요. 그렇지는 않습니다. 살아남은 자리가 따로 있기 때문입니다.

설명이 디버깅 도구로 살아남은 이유

논문이 현장에 대해 말하는 대목은 짧지만 정직합니다. 설명 도구는 신뢰를 키우는 장치라기보다 디버깅 도구로 주로 쓰여왔다는 것인데, 모델이 배운 특성에 대한 단편적인 통찰을 얻는 용도라는 것이죠. 저는 이 문장을 읽고 고개를 끄덕였습니다. 거창한 약속은 무너졌지만, 책상 앞에서의 쓰임은 남았다는 말이 실무와 너무 닮았기 때문입니다.

예를 들어 금요일 저녁 배포 직전 장면을 떠올려보면, 새로운 모델이 특정 지역 상품의 점수를 이상하게 매깁니다. 엔지니어는 특성 중요도를 켜고 어디를 보는지 훑는데, 배송 코드 같은 엉뚱한 칸이 위로 올라와 있습니다. 이 한 장면으로 학습 데이터의 누수를 짐작할 수 있죠. 설명이 모델 전체를 증명한 것은 아니지만, 버그의 냄새가 나는 방향을 가리킨 것이기 때문입니다. 일종의 오답 노트처럼요. 이런 쓰임에서는 설명이 완벽히 충실하지 않아도 도움이 됩니다. 냄새를 맡는 일과 증명하는 일은 다른 층의 일이기 때문입니다.

그런데 이 구분이 바로 다음 문제를 만듭니다. 냄새 맡기에는 충분한 설명이 신뢰 판단에는 충분하지 않은데도, 같은 화면에 같은 얼굴로 나오기 때문입니다. 디버깅 화면에서 본 막대그래프가 보고서에서는 신뢰의 증거로 옮겨갑니다. 맥락이 바뀌는데 모양은 그대로죠. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문입니다. 설명도 마찬가지인데, 어디까지 믿을 수 있는지를 함께 보지 않으면 화면이 판단을 대신하게 됩니다. 그렇다면 믿을 수 있는 범위를 숫자로 긋는 일은 왜 이렇게 비쌀까요.

재는 일이 왜 불가능에 가깝거나 감당하기 어려울까

충실함을 제대로 재려면 모델의 속마음과 설명을 맞대어봐야 하는데, 이 맞대어보기가 말처럼 쉽지 않습니다. 모델은 입력이 조금만 바뀌어도 내부 경로를 크게 바꾸고, 특성들은 서로 영향을 주고받으며, 출력은 확률적인 흔들림을 품고 있기 때문입니다. 그래서 엄밀한 계산은 금방 손이 많이 가는 일이 됩니다. 가능한 모든 조합을 따져보거나, 모델 내부를 샅샅이 뜯어보거나, 끝없이 샘플을 뽑아야 하기 때문입니다. 이론적으로는 길이 보여도 실제로는 지갑이 먼저 비게 됩니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 비용 문제는 돈만의 문제가 아니라 시간과 결정의 문제이기 때문입니다. 배포 전날 밤에 설명 지표 하나를 얻겠다고 추론 서버를 몇 시간씩 돌릴 수는 없죠. 실시간으로 답을 내야 하는 창구에서는 더 말할 것도 없습니다. 측정이 무거우면 측정은 보고서용이 되고, 현장의 선택은 다시 감으로 돌아갑니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 비싸다는 말 뒤에는 잴 때마다 모델을 수없이 다시 돌려야 한다는 구조가 숨어 있기 때문입니다.

여기서 또 다른 질문이 따라옵니다. 싸게 재는 방법은 없을까요. 그래서 등장한 것이 근사 지표인데, 입력을 조금 지우거나 가리면서 출력이 얼마나 바뀌는지를 보는 방식입니다. 중요하다고 한 부분을 지웠을 때 점수가 크게 떨어지면 설명이 맞다는 식이죠. 듣기에는 그럴듯하지만, 이 방법이 모델이 한 번도 본 적 없는 이상한 입력을 만들어낸다는 데에 고민이 있습니다. 단어를 지운 문장, 검은 네모가 박힌 사진은 학습 때의 분포와 멀리 떨어져 있죠. 모델이 그런 낯선 입력에서 내놓는 반응을 근거로 충실함을 말할 수 있을까요. 낯선 손님 앞에서 어색하게 행동한 것을 두고 평소 성격을 단정하는 일과 비슷하지 않을까요. 이 비유가 다음 논의의 문을 엽니다. 닻이 없다는 말이 뜻하는 바가 바로 여기에 있기 때문입니다.

닻이 없다는 말이 뜻하는 구조적 엇갈림

논문 제목에 들어간 닻이라는 비유는 예쁘기만 한 말이 아닙니다. 배가 흔들릴 때 잡아주는 무게처럼, 지표가 흔들릴 때 잡아주는 기준이 없다는 뜻이기 때문입니다. 논문은 이런 엇갈림을 다섯 갈래의 결함으로 정리하고, 신뢰도를 높이기 위한 네 갈래의 연구 방향을 제안합니다. 저는 이 숫자보다 그 뒤의 태도가 더 중요하다고 봅니다. 다섯 대 네라는 배치가 말해주듯이, 문제를 푸는 처방보다 문제를 나누는 일이 먼저라는 선언이기 때문입니다.

제가 이 대목에서 가장 흥미롭게 본 부분은 엇갈림이 지표의 실수가 아니라 지표의 자리에서 온다는 점입니다. 지표를 고치면 될 일이 아니라, 지표를 세우는 땅을 손봐야 하는 일이죠. 예를 들어 설명을 평가하려고 입력을 가리는 순간, 우리는 모델의 평소 세계를 떠나 낯선 세계로 들어갑니다. 그 낯선 세계에서의 반응을 재서 평소의 충실함을 말하는 셈인데, 발을 딛은 곳과 말하는 곳이 다릅니다. 또 어떤 지표는 기준이 되는 입력, 그러니까 아무것도 없다는 상태를 무엇으로 둘지를 판단자에게 맡깁니다. 빈 문장과 검은 화면과 평균값은 서로 다른 무인데, 무엇을 고르느냐에 따라 점수가 달라지죠. 닻이 없다는 말은 이런 장면들을 한 단어로 묶은 것입니다.

그렇다면 다섯이라는 숫자는 어떻게 읽어야 할까요. 저는 목록을 외우는 쪽보다 구조를 보는 쪽을 택합니다. 결함이 다섯 갈래라는 말은 실패가 한두 개의 버그가 아니라 층층이 겹친 설계의 결과라는 뜻이기 때문입니다. 입력의 층, 기준의 층, 합산의 층, 비용의 층이 서로 맞물려 흔들리는 것이죠. 한 층만 고치면 다른 층이 다시 흔들립니다. 그래서 논문이 처방을 서두르지 않고 진단을 나누는 일이 이해가 됩니다. 진단을 나누지 않으면 고친 곳만 반짝하고 전체는 그대로이기 때문입니다. (참고로 포지션 페이퍼를 읽을 때는 이런 선언의 결을 먼저 보는 편인데요. 무엇이 틀렸다는 목록보다 무엇을 고정해야 한다는 질문이 더 오래 남기 때문입니다.) 그렇다면 고정해야 할 것은 무엇일까요.

그렇다면 무엇을 고정해야 다시 잴 수 있을까

논문이 제안하는 네 갈래의 방향은 답안지라기보다 나침반에 가깝습니다. 어디를 파면 지표가 땅을 딛게 될지를 가리키는 것이죠. 저는 이 부분을 읽으면서 실무자의 마음으로 세 가지 질문을 덧붙였습니다. 무엇을 기준으로 삼을 것인가, 무엇을 같은 조건에서 비교할 것인가, 그리고 무엇을 포기하고 무엇을 얻을 것인가입니다. 방향이 네 갈래라는 말은 결국 기준과 조건과 절충을 다시 정하자는 말로 읽히기 때문입니다.

먼저 기준의 문제로 돌아가보면, 아무것도 없다는 상태를 자의적으로 두는 대신 현장에서 실제로 일어나는 상태를 기준으로 삼을 수는 없을까요. 예를 들어 문장에서 단어를 지운 인공적인 문장 대신, 실제로 접수되는 오타 섞인 문장이나 말이 끊긴 음성 기록을 쓰는 것입니다. 분포에서 벗어난 인공 입력이 아니라 분포 안에서 일어나는 자연스러운 변형을 쓰는 것이죠. 이렇게 하면 모델이 낯선 손님 앞에서 당황하는 장면이 줄어듭니다. 물론 자연스러운 변형만으로 모든 조합을 덮을 수는 없는데, 그래서 두 번째 질문이 필요합니다. 같은 조건에서 비교하자는 약속이죠.

다음으로 비교의 문제인데, 지표마다 가리는 방식과 합산 방식이 다르면 점수끼리 만나지 못합니다. 한쪽은 한 번에 하나씩 지우고, 다른 쪽은 여러 개를 함께 지우는데, 그 결과를 같은 이름으로 부르면 혼란이 생기죠. 저는 여기서 멈칫했습니다. 우리가 흔히 하는 실수가 바로 이 지점에 있기 때문입니다. 숫자가 같아 보여도 잰 과정이 다르면 숫자는 다른 말을 하기 때문입니다. 그래서 무엇을 고정할지를 먼저 문서로 남기는 일이 지표 자체보다 중요합니다. 가리는 순서, 기준 입력, 합산 규칙, 반복 횟수를 함께 적는 것이죠. 조건을 적지 않은 점수는 장식에 가깝습니다. 그렇다면 이런 고정이 현장에서는 어떤 모습일까요.

현장 엔지니어가 오늘 당장 물을 질문들

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 논문의 진단을 월요일 아침 회의에서 어떻게 쓰느냐는 것입니다. 저는 그래서 거창한 도입 대신 작은 점검표부터 권합니다. 설명을 켜기 전에 무엇을 물을지를 정하는 것이죠. 첫째, 이 설명은 디버깅용인가요 판단용인가요. 디버깅용이라면 막대그래프를 보고 냄새를 맡으면 됩니다. 판단용이라면 한 걸음 더 들어가야 하죠. 설명이 가리킨 부분을 실제로 바꿨을 때 모델의 결정이 함께 바뀌는지를 현장 데이터에서 확인해야 하기 때문입니다.

둘째, 설명을 얻을 때 모델을 몇 번이나 다시 돌렸나요. 한 번 돌려서 얻은 점수와 여러 번 흔들어서 얻은 점수는 안정성이 다릅니다. 밤사이 공시가 늦게 도착하거나 아침에 특정 종목이 거래 정지에 걸려도 예측 라인은 멈추면 안 되듯이, 설명 라인도 흔들림에 버텨야 하니까요. 입력에 작은 노이즈를 주었을 때 상위 특성이 통째로 바뀐다면, 그 설명을 보고서에 올리기는 어렵죠. 셋째, 기준 입력은 현장의 모습인가요. 검은 화면이나 빈 문장이 아니라 실제로 들어오는 흐릿한 사진과 끊긴 문장으로 시험했나요. 이 질문 세 개는 논문의 다섯 가지 결함을 외우지 않아도 현장의 감각을 지켜줍니다.

예를 들어 대출 심사 보조 화면을 생각해보면, 모델이 거절을 권했고 설명은 소득 항목을 가리킵니다. 심사자는 그 설명을 보고 거절 사유를 적으려 합니다. 그런데 여기서 멈추고 물어야 합니다. 소득을 조금 바꿨을 때 결정이 바뀌나요, 아니면 다른 항목이 대신 올라오나요. 비슷한 신청서 묶음에서도 같은 항목이 가리켜지나요. 이 확인을 거치지 않은 설명은 디버깅용 화면에 머물러야지, 고객에게 나가는 사유서가 되면 안 됩니다. 저는 이 구분이 논문이 말하는 신뢰의 조각을 지키는 가장 싼 방법이라고 봅니다. 비싼 지표를 돌리기 전에 싼 질문으로 울타리를 치는 것이죠. 그렇다면 남은 질문은 연구의 몫입니다. 무엇이 아직 안 풀렸을까요.

다음 연구에서 제가 보고 싶은 장면

논문이 남긴 네 갈래의 방향 위에서, 제가 앞으로 보고 싶은 것은 세 가지 장면입니다. 첫째는 분포 안에서의 평가가 자리 잡는 모습인데, 인공적인 지우기 대신 현장에서 일어나는 변형으로 충실함을 묻는 연구가 더 많아졌으면 합니다. 오타와 생략과 촬영 흔들림 같은 실제 잡음을 기준으로 삼으면, 지표와 현장 사이의 거리가 줄어들기 때문입니다. 물론 실제 잡음은 통제가 어려운데, 그래서 통제의 기준을 문서로 남기는 약속과 함께 가야 합니다. 무엇을 자연스러운 변형으로 보았는지를 밝히지 않으면 또 다른 자의성이 자라기 때문입니다.

둘째는 비용과 엄밀함 사이의 절충을 숫자로 보여주는 연구인데, 얼마나 돌리면 얼마나 안정해지는지를 곡선으로 그려주는 일입니다. 10번 돌릴 때와 100번 돌릴 때 상위 특성이 얼마나 겹치는지, 그 겹침이 현장 결정에 어떤 차이를 만드는지를 보여주면 엔지니어는 예산을 정할 수 있습니다. 저희가 새로운 AI 아키텍처를 볼 때도 이런 곡선을 먼저 찾습니다. 점 하나보다 곡선이 결정을 돕기 때문입니다. 셋째는 설명의 용도를 나눈 평가인데, 디버깅용 점수와 판단용 점수를 같은 잣대로 재지 않는 일입니다. 냄새를 맡는 능력과 증명하는 능력은 다른 시험으로 재야죠. 함께 재면 둘 다 놓치기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이런 바람이 논문의 처방을 대신하는 것은 아니기 때문입니다. 논문은 진단을 나누고 방향을 가리켰고, 제가 말하는 것은 그 방향 위에서 보고 싶은 풍경에 가깝습니다. 그럼에도 이 풍경을 적는 이유는 분명한데, 포지션 페이퍼의 가치는 목록이 아니라 다음 발걸음에 있기 때문입니다. 다섯 가지 결함이라는 말은 외우라고 있는 것이 아니라, 다음 실험의 조건을 어디에 둘지를 묻기 위해 있는 것이죠. 그렇다면 마지막으로 남는 질문은 사람의 몫입니다.

설명을 의심한다는 것은 결국 무엇을 믿는다는 뜻일까

처음 이 논문을 펼쳤을 때의 질문으로 돌아가보면, 설명 한 줄이 우리의 판단을 바꿔도 될까요. 10년의 기록은 쉽게 믿지 말라고 말하고, 디버깅 현장의 경험은 완전히 버리지도 말라고 말합니다. 저는 이 사이에서 한 가지 태도를 건집니다. 설명을 의심한다는 것은 모델을 버린다는 뜻이 아니라, 믿음의 자리를 옮긴다는 뜻이기 때문입니다. 설명의 문장에서 현장의 확인으로, 점수 하나에서 조건이 적힌 곡선으로 믿음의 무게를 옮기는 것이죠.

질문도 바뀌었습니다. 좋은 설명은 무엇인가에서 좋은 설명을 어떻게 잴 수 있는가로 말입니다. 이제는 한 걸음 더 나아가야 합니다. 무엇을 고정해야 그 잼이 현장에서도 통하는가로 말입니다. 닻이 없다는 진단은 비관이 아니라 초대입니다. 기준을 어디에 둘지, 어떤 변형을 자연스럽다고 볼지, 어떤 용도에는 어떤 시험을 쓸지를 함께 정하자는 초대이죠. 설명이 모델을 닮았는지를 묻는 일은 결국 우리가 어떤 확인을 믿을지를 묻는 일이기 때문입니다.

그래서 저는 이 논문을 점수표가 아니라 작업 지시서로 읽었습니다. 당장 전사 시스템을 갈아엎으라는 말이 아니라, 설명 화면 옆에 작은 질문 세 개를 붙이라는 말로 말입니다. 디버깅용인가요, 얼마나 흔들어서 얻었나요, 현장의 모습으로 시험했나요. 이 질문이 붙은 화면은 과도한 의존을 조금 늦추고, 알고리즘 회피까지 가는 길을 조금 멀게 합니다. 그렇다면 사람의 역할은 무엇일까요. 지표가 닻을 내리기 전까지는, 닻이 어디에 있어야 하는지를 묻는 일이 사람의 몫으로 남습니다.