반박할 수 있게 발행하는 법, 발행 권한과 기계가 읽는 출판 기록

오늘 다룰 글은 arXiv에 공개된 논문 Making AI-Assisted Claims Independently Challengeable: Publication Authority and a Protocol for Falsifiable Publication Records이며, 식별자는 arXiv 2609.17631입니다. 제목 아래 연결된 원문을 통해 전체 내용을 확인할 수 있습니다. 이 논문은 AI의 도움을 받아 만든 주장이 서로 다른 상태를 가리키는 조각들로 권위를 얻는 문제를 진단하고, 정확한 상태에 묶인 일회용 발행 권한과 기계가 읽을 수 있는 PAC-2026 기록으로 그 주장을 독립적으로 다툴 수 있게 묶자고 제안합니다.

이 논문을 굳이 꺼낸 이유

안녕하세요, 패트릭입니다.

평소에 보고서를 읽다가 문득 날짜가 어긋난 표를 본 적이 있으신가요. 본문은 3월 데이터를 말하는데 각주에는 1월 스냅샷이 적혀 있고, 그림은 또 다른 버전에서 가져온 듯한 경우 말이죠. 저는 이런 어긋남을 볼 때마다 묘하게 불안해집니다. 어느 하나가 거짓말이라서가 아니라, 어느 것도 같은 시점을 말하고 있지 않다는 느낌 때문인데요.

그렇다면 AI가 초안과 분석, 그림까지 함께 만든 문서에서는 이 불안이 얼마나 커질까요. 모델이 요약한 수치, 사람이 승인한 문장, 독자가 보는 화면, 뒤늦게 고쳐진 이력이 각자 다른 상태를 가리킬 수 있기 때문입니다. 제가 이 논문에서 가장 흥미롭게 본 부분은 바로 이 지점을 정면으로 다룬다는 점입니다. 저자는 정확도를 높이는 새로운 모델을 내놓지 않았고, 대신 출판이라는 행위 자체를 다시 정의하려 들었습니다.

저는 이 선택이 꽤 용감하다고 봅니다. 보통은 평가 점수를 올리는 쪽이 주목받기 쉬운데, 여기서는 점수 바깥에 있는 절차를 붙잡고 있으니까요. 그 절차가 실제로 작동할지, 저와 함께 천천히 뜯어보시죠.

권위 있어 보이는 글은 어떻게 만들어질까

논문이 그리는 진단은 생각보다 일상적입니다. 증거와 분석, 사람의 승인, 화면에 보이는 표현, 그리고 수정 이력이 서로 다른 상태를 참조할 때, AI가 도운 주장은 실제보다 훨씬 권위 있어 보일 수 있다고 지적하는데, 저는 이 대목이 꽤 정확하다고 봅니다.

구체적으로 따져보면 금방 드러납니다. 증거는 어제 스냅샷을 가리키는데, 분석은 오늘 다시 돌린 결과이고, 승인은 그제 버전에 찍혔으며, 독자가 보는 화면은 또 내일 고쳐진 버전이라면 어떻게 될까요. 각 조각은 저마다 진짜지만, 그 조각들을 한 장으로 묶어 내놓는 순간 독자는 하나의 확정된 사실처럼 읽게 됩니다. 문제는 거짓이 아니라 엇박자라서, 겉으로는 매끈한 확신으로 보일 뿐입니다.

생각해보면 사람도 비슷하게 실수합니다. 회의에서 누군가 최신 숫자를 말하면, 다른 누군가는 지난주 보고서를 근거로 고개를 끄덕이고, 결정문에는 또 다른 날짜의 표가 붙기 때문입니다. 그런데 AI가 개입하면 이 엇박자가 더 잘 보이지 않게 되는데, 문장이 유려하고 그림이 정돈되어 있으며 인용과 수치가 그럴듯하게 갖춰져 있기 때문입니다. 그래서 저는 이 진단을 정확도 문제가 아니라 상태 관리 문제로 읽었습니다. 틀린 답을 고치는 일이 아니라, 같은 시점을 가리키게 만드는 일이니까요.

여기서 재미있는 질문이 생깁니다. 그렇다면 권위를 만드는 마지막 도장, 즉 출판 승인은 무엇을 보증해야 할까요. 이 논문의 답은 꽤 엄격한데, 특정하고 정확한 상태 전체를 보증해야 한다는 것입니다.

한 번 쓰고 사라지는 표를 상상해 보신 적 있으신가요

논문이 제안하는 Publication Authority, 우리말로 옮기면 발행 권한이라는 개념은 처음 들으면 낯설지만, 비유를 들어보면 금방 감이 옵니다. 일종의 일회용 승차권 같은 것입니다.

이 표는 정확한 상태에 묶여 있습니다. 어떤 증거를 썼는지, 어떤 실행과 결과물을 남겼는지, 측정을 어떻게 공개했는지, 누가 언제 승인했는지, 화면에 보이는 것과 기록이 일치하는지, 이후 생애주기를 어떻게 이어갈지가 모두 하나의 묶음으로 고정되어 있습니다. 그리고 이 표는 옮길 수 없고, 한 번의 원자적 발행 전환에 통째로 소모됩니다. 복사해서 다른 문서에 붙일 수도 없고, 나눠서 쓸 수도 없습니다.

왜 이렇게까지 엄격해야 할까요. 이유는 승인 도용을 막기 위해서인데, 지난주에 받은 도장을 이번 주 문서에 찍는다면 도장 자체는 진짜여도 보증은 가짜가 되기 때문입니다. 그래서 이 설계에서는 도장이 문서보다 오래 살지 못합니다. 특정 상태와 함께 태어나서, 그 상태를 세상에 내놓는 순간 사라지기 때문입니다. 저는 이 대목을 읽으면서 공연 티켓을 떠올렸습니다. 날짜와 좌석이 찍힌 티켓은 그날 그 자리에서만 유효하고, 찢는 순간 효력이 다하는데, 발행 권한도 같은 방식으로 특정 상태라는 좌표에서만 유효합니다.

물론 이런 엄격함에는 대가가 따릅니다. 매번 상태를 전부 묶어야 하니 번거롭고, 작은 수정에도 새 표를 끊어야 합니다. 그런데 저자는 그 번거로움을 버그가 아니라 기능으로 보는데, 번거로우니까 남용하기 어렵고 그래서 독자가 믿을 수 있기 때문입니다.

PAC-2026과 SF-4는 무엇을 얼려 두는가

그렇다면 이 일회용 표를 기계가 검사하게 하려면 어떻게 해야 할까요. 여기서 등장하는 것이 PAC-2026입니다. 정식으로는 Publication-Accountability Calculus라고 부르는데, AIJIM Protocol 후보로 제시된 기계가 읽을 수 있는 기록 형식이라고 이해하시면 됩니다.

이름에 연도가 들어 있어서 자칫 버전 장난처럼 보일 수 있지만, 실제로는 반대에 가깝습니다. 기계가 다툴 수 있는 기록이 되려면 문장이 아니라 검사 가능한 구조여야 하기 때문입니다. 누가, 무엇을, 어떤 실행으로, 어떤 측정과 함께, 어떤 승인으로, 어떤 화면으로 내놓았는지가 항목별로 나뉘어 있고, 빠진 칸이 있으면 다음 단계로 넘어가지 못합니다. 사람이 읽는 서사가 아니라 기계가 통과시키는 관문이라고 할 수 있습니다.

그리고 SF-4는 네 번째로 묶인 의미 동결이라는 뜻으로, 바꿔 쓸 수 있는 결합부를 전제로 한 고정 프로파일입니다. 말이 조금 어려운데, 일종의 규격 얼음틀이라고 생각하시면 됩니다. 틀 자체는 고정되어 있어서 검사기가 흔들리지 않지만, 안에 들어가는 재료는 갈아 끼울 수 있습니다. 검증 도구는 그대로 두고, 증거 저장소나 실행 환경 같은 바깥 연결은 교체할 수 있다는 뜻입니다.

저는 이 분리가 실제 시스템 관점에서 무척 중요하다고 봅니다. 저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보는데요. 규격이 매번 통째로 바뀌면 아무도 도구를 오래 유지할 수 없습니다. 틀은 얼려두고 연결부만 바꾸는 방식이라야 현장에서 살아남을 수 있기 때문입니다.

여섯 개의 문턱을 모두 넘어야 하는 이유

이제 기록 내용을 들여다볼 차례인데, PAC-2026은 여섯 가지 의무를 두는데, 증거와 실행 및 결과물, 측정 공개, 승인, 표면 일치, 생애주기 연속성이 그것입니다. 하나하나가 서로 다른 어긋남을 막는 문턱입니다.

증거 의무는 무엇을 근거로 말하는지를 묻고, 실행 및 결과물 의무는 그 근거가 실제로 돌았는지와 결과물이 남아 있는지를 묻습니다. 측정 공개 의무는 숫자를 어떻게 재고 무엇을 빠뜨렸는지를 드러내게 하며, 승인 의무는 누가 어떤 상태를 보고 허락했는지를 고정하고, 표면 일치 의무는 기록과 독자가 보는 화면이 같은지를 확인합니다. 마지막 생애주기 의무는 발행 뒤 수정과 정정이 끊기지 않고 이어지는지를 봅니다.

여기서 눈여겨볼 대목은 어떤 의무도 다른 의무를 대신할 수 없다는 점입니다. 측정을 투명하게 공개했다고 해서 승인이 없어도 되는 것이 아니고, 승인이 있다고 해서 화면 불일치가 용납되는 것도 아닙니다. 마치 공항 검색대처럼, 신분증을 냈다고 해서 수하물 검사를 건너뛰지 못하는 것과 비슷합니다. 저는 이 대목에서 고개를 끄덕였습니다. 현장에서 가장 흔한 타협이 바로 이 대신하기이기 때문입니다. 데이터는 많은데 실행 기록이 없고, 실행은 했는데 승인 시점이 모호한 경우가 얼마나 많나요.

그렇다면 여섯 개를 다 채우는 일은 현실적일까요. 솔직히 말하면 작은 팀에는 부담스러운 요구입니다. 그런데 논문이 겨냥하는 것은 모든 메모가 아니라 권위를 주장하는 발행물이라서, 블로그 초고가 아니라 남이 인용하고 정책에 쓰일 수 있는 기록을 말합니다. 그 정도 무게라면 여섯 개의 문턱도 과하지 않다고 저는 봅니다. 가벼운 글은 가볍게 쓰되, 무거운 주장은 무겁게 묶자는 구분이니까요.

도장은 진짜인데 왜 무효가 될까

여기까지 오면 자연스럽게 다음 질문이 생깁니다. 모든 칸을 채우면 발행 허가가 나오는 것일까요. 논문의 답은 새롭고 완전하며 모두 통과한 기록에서만 허가가 도출되고, 그 허가가 발행에 소모된다는 것이어서, 오래된 검사 결과를 재활용할 수 없다는 뜻입니다.

더 따끔한 대목은 SF-4가 진짜 서명이 찍힌 승인도 인과적으로 타당하지 않으면 거부한다는 점입니다. 서명 자체는 위조가 아닌데, 증거 시점과 검증 시점의 순서가 어긋나면 무효로 본다고 말합니다. 예를 들어 어제 증거를 얼려 두고 오늘 검증을 했는데 승인이 그제 상태에 찍혀 있다면, 서명은 진짜지만 가리키는 대상이 틀린 셈입니다. 그래서 SF-4는 증거 지평과 검증 시점을 분리해서 봅니다. 언제까지의 증거로 말하는지와 언제 검사했는지를 따로 적기 때문입니다.

이 구분은 생각보다 중요합니다. 보통은 승인 여부만 묻고, 그 승인이 무엇을 보고 있었는지는 잘 묻지 않기 때문입니다. 그런데 AI assisted 문서에서는 이 무엇이 금방 바뀌어서, 모델과 프롬프트, 검색 결과가 함께 달라집니다. 어제의 승인이 오늘의 화면을 보증할 수 없는 이유입니다. 저는 여기서 유통기한이 찍힌 검사 성적서를 떠올렸습니다. 병원 서류가 진짜여도 검사일이 너무 오래됐다면 접수처에서 돌려보내지 않습니까. SF-4의 거절도 같은 결의 조치입니다.

물론 이런 엄격함이 과하다고 느끼실 수도 있습니다. 진짜 서명까지 거부하다니 기계가 너무 깐깐한 것 아니냐는 반문이 생기지만, 뒤집어보면 이 깐깐함이 있어야 다툼이 가능해집니다. 어디서 어긋났는지가 기록에 남으니, 제3자가 그 지점을 짚고 다시 물을 수 있기 때문입니다.

11만 개의 상태와 76개의 실패를 어떻게 읽어야 할까

이제 숫자를 볼 차례인데요. 같은 모델에 같은 질문을 던져도 결과가 크게 달라질 수 있다는 것을 경험으로 알고 있죠. 그래서 저는 숫자보다 그 숫자가 나온 조건을 먼저 봅니다. 이 논문은 열 개의 모델이 110,764개의 안전한 도달 가능 상태를 탐색했고, 76개의 안전하지 않은 구성에서는 예상된 위반이나 관찰자 반례 모형이 나왔다고 보고합니다.

이 숫자를 어떻게 해석해야 할까요. 11만이라는 크기에 먼저 압도되기 쉽지만, 그것보다 중요한 것은 설계의 태도라서, 안전한 길만 보여준 것이 아니라 일부러 망가뜨린 구성에서 기계가 정확히 걸려넘어지는지를 확인했다는 점이 핵심입니다. 화재 훈련 없이 소화기만 자랑하지 않고, 실제로 불을 내고 경보가 울리는지를 본 셈입니다. 76개는 많은 수가 아니라 오히려 의도된 실패 모음에 가까운데, 여기서 기대한 위반이 나오지 않았다면 검사기가 잠자고 있다는 뜻이니까요.

여기에 두 가지 재현 결과가 더해집니다. 역사적 선행 경로에서는 얼려 둔 승인 후계 결과 17개를 그대로 재현했고, 사례를 가린 검사에서는 183개의 채점 기대를 모두 맞히면서 보관된 관찰 240개를 재현했다고 합니다. 표현이 조금 건조하지만 내용은 꽤 단단해서, 과거에 얼려 둔 것은 과거대로 나오고 이름을 가려도 같은 점수가 나오며 보관한 관찰은 다시 꺼내도 같다는 뜻입니다. 저는 이 대목에서 오답 노트를 떠올렸습니다. 한 번 정리한 기록이 시간이 지나도 그대로 읽히는지, 답지를 가려도 같은 점이 나오는지를 확인한 셈이니까요.

다만 여기서는 조금 조심해서 읽을 필요가 있습니다. 11만이라는 숫자는 완전 탐색이 아니라 경계가 있는 탐색이라서, 무한한 경우를 다 본 것이 아니라 정해 둔 울타리 안에서 샅샅이 본 경우입니다. 그래서 이 숫자는 신뢰의 출발점이지 종결자는 아닙니다. 울타리 바깥에서는 다른 일이 벌어질 수 있으니까요.

이 실험이 증명하지 않는 것들

앞에서 잠시 숨을 고르고, 이제는 논문이 선을 긋는 부분을 봐야 합니다. 이 논문은 내부 일관성과 경계 안의 안전, 결함 민감성, 제한된 구성 가능성을 뒷받침하지만, 사실적 진실이나 일반적인 정제, 맹목적인 상호 운용, 현장 효능, 표준 지위는 뒷받침하지 않는다고 스스로 밝히는데요.

이 고백이 저는 오히려 마음에 들었습니다. 보통은 성과를 넓게 포장하고 싶어지는데, 여기서는 어디까지가 아니라고 분명히 말하기 때문입니다. 내부 일관성이 있다는 것은 기록 규칙이 스스로 모순되지 않는다는 뜻이지, 세상에 대한 주장이 참이라는 뜻은 아닙니다. 거짓말을 일관되게 적을 수도 있지 않습니까. 경계 안의 안전도 마찬가지입니다. 울타리 안에서는 잘 걸러내지만, 울타리 바깥의 새로운 꼼수까지 막는다는 뜻은 아닙니다.

특히 사실적 진실을 증명하지 않는다는 대목은 곱씹을 만합니다. 이 프로토콜은 주장이 참인지 거짓인지를 판정하는 기계가 아니라서, 참과 거짓을 다툴 수 있는 상태로 묶어두는 기계에 가깝습니다. 법정으로 치면 유죄와 무죄를 가리는 판사가 아니라, 증거 목록과 절차 기록을 관리하는 서기 같은 역할에 가깝습니다. 서기가 훌륭하다고 해서 판결이 항상 옳아지지는 않지만, 서기가 부실하면 판결을 되돌릴 길조차 막힙니다.

그래서 이 논문을 읽고 기술이 완성됐다고 말하는 것은 성급합니다. 표준이 됐다거나 현장에서 통한다는 말도 아직은 아닙니다. 다만 다툴 수 있는 형태로 남기는 뼈대가 일관되게 작동한다는 점은 확인한 셈입니다. 저는 그래서 이 절제를 연구의 미덕으로 평가했습니다. 못하는 말을 하지 않는 기록이, 나중에 더 멀리 가니까요.

발행 라인을 실제로 고친다면 어디부터 바꿀까

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 좋은 건 알겠는데, 이걸 발행 라인에 얹으려면 어디부터 손대야 할까요.

저는 먼저 저장과 화면의 분리를 의심해 보겠습니다. 많은 팀에서 편집기는 따로 있고, 독자가 보는 페이지는 빌드 결과물이며, 승인 버튼은 또 다른 도구에 있습니다. 세 군데가 따로 놀면 표면 일치는 구호에 그치기 쉽습니다. 기록에 적힌 해시와 실제 렌더된 결과물이 같은지를 발행 시점에 기계가 대조해야 합니다. 밤사이 공지가 늦게 도착하거나 아침에 특정 지표가 정정돼도 발행 라인은 멈추면 안 되지만, 멈추지 않는 것과 몰래 바뀌는 것은 다르니까요.

다음은 실행 재현입니다. AI가 만든 표나 그림은 코드와 데이터, 모델 버전, 프롬프트, 검색 시점이 함께 있어야 다시 돌릴 수 있습니다. 지금은 결과물 파일만 남기고 과정을 흘려보내는 경우가 많지만, 이 프로토콜이 요구하는 것은 실행과 결과물을 묶어 보관하는 일입니다. 비용이 듭니다. 저장소가 커지고, 파이프라인이 느려지며, 작은 수정에도 다시 묶어야 합니다. 그럼에도 인용되는 글이라면 이 비용을 감당할 만하다고 봅니다. 운영의 아침을 지켜주는 장치가 대개 그렇듯이, 평소에는 번거롭고 사고가 났을 때 빛나기 때문입니다.

마지막은 승인 UX입니다. 사람이 무엇을 보고 승인했는지를 남기려면, 승인 버튼 옆에 상태 요약이 보여야 합니다. 지금처럼 본문만 보고 누르는 승인이 아니라, 증거 범위와 검증 시점, 화면 일치 여부를 함께 보고 누르는 승인입니다. (참고로 저는 승인 화면이 길어지면 사람들이 읽지 않고 누른다는 것도 알고 있습니다. 그래서 요약은 짧아야 하고, 자세한 것은 기계가 검사해야 합니다.)

반박 가능한 기록이 남긴다면 무엇이 달라질까

그렇다면 사람의 역할은 무엇일까요. 기록이 완벽해져도 판단은 여전히 사람의 몫인데요. 저는 앞으로 보고 싶은 것이 기계가 판정하는 세상이 아니라, 사람이 더 정확히 물을 수 있는 세상입니다.

이 프로토콜이 약속하는 것은 진실 자동생산이 아니라 다툼의 좌표입니다. 어디까지의 증거로 말했는지, 언제 검사했는지, 누가 무엇을 보고 승인했는지, 화면과 기록이 같은지가 모두 적혀 있으니, 반박하는 쪽은 감이 아니라 좌표를 짚을 수 있습니다. 3월 데이터로 1월 승인을 주장하지 마시라거나, 화면과 기록이 다르니 어느 쪽이 참인지 밝히시라는 식으로 말할 수 있습니다. 다툼이 감정싸움이 아니라 상태 대조가 되는 것입니다.

물론 걱정도 남습니다. 이런 기록이 의무가 되면 작은 조직에는 부담이 될 수 있습니다. 매번 여섯 개의 문턱을 넘는 일은 시간과 돈이 드니까요. 그래서 적용 범위를 잘 가르는 일이 중요하다고 봅니다. 모든 글에 같은 잣대를 들이댈 필요는 없습니다. 다만 남의 결정에 쓰이는 글, 돈과 안전과 명예가 걸린 글이라면 이 정도 묶음은 요구할 만합니다.

처음에 말씀드린 날짜 어긋난 표 이야기로 돌아오겠습니다. 그때 저를 불안하게 한 것은 숫자의 옳고 그름이 아니라, 물을 곳이 없다는 느낌이었습니다. 무엇을 보고 승인했는지, 어느 화면이 진짜인지 물을 좌표가 없었기 때문입니다. 발행 권한과 PAC-2026이 가리키는 방향은 결국 그 좌표를 남기는 일입니다. 완벽한 진실을 내놓는 일이 아니라, 틀렸을 때 바로잡을 수 있는 형태로 내놓는 일입니다. 다음에 AI가 도운 보고서를 읽으실 때, 저는 숫자보다 그 옆의 상태 표시를 먼저 보시길 권합니다. 그 작은 습관이 모이면, 권위는 외치는 쪽이 아니라 다툴 수 있게 남기는 쪽으로 옮겨갈 것입니다.