정답지 대신 원문을 판사로 세우는 법, GAVEL이 임상 시간표를 비교하는 방식

Grounded Adjudication of Variations across Extracted TimeLines (GAVEL): Comparing Clinical Timelines Against Their Case Reports는 arXiv에 공개된 연구로, 식별자는 2609.13475입니다. 이 연구가 내세우는 주장은 하나로 정리됩니다, 두 개의 임상 시간표를 어느 한쪽을 정답으로 두지 않고 원본 케이스 리포트에 직접 비춰 가며 차이를 판정할 수 있다는 것입니다. 원문 논문으로 이어지는 링크는 제목 아래에 걸려 있습니다.

기존 임상 시간표 추출 평가는 전문가가 만든 참조 시간표를 정답처럼 놓고 기계의 출력을 견주는 방식에 머물렀습니다. 그런데 참조 자체가 비어 있거나 어긋난 부분이 있으면 어떻게 될까요? 점수는 기계의 실력보다 참조의 구멍을 재는 숫자가 되기 쉽습니다. 저는 이 논문에서 가장 흥미롭게 본 부분이 바로 이 지점을 정면으로 다룬 태도였습니다. 정답지를 고치는 데 시간을 쓰기보다, 비교의 기준을 원문 리포트로 옮겨버린 선택이 눈에 밟혔습니다.

정답지가 흔들릴 때 무엇을 믿어야 할까

안녕하세요, 패트릭입니다. 병원 기록을 읽다 보면 하루에도 몇 번씩 시간 순서가 헷갈리는 순간이 생깁니다. 언제 입원했고, 언제 약을 바꿨고, 언제 증상이 잦아들었는지, 종이 몇 장에 흩어진 날짜를 한 줄로 세우는 일은 생각보다 손이 많이 갑니다. 그렇다면 이 정리를 기계에 맡긴 뒤, 그 결과가 잘됐는지 어떻게 확인할 수 있을까요?

임상 타임라인 추출이라는 과제는 바로 이 정리를 자동화하려는 시도입니다. 케이스 리포트라는 서사형 진료 기록에서 사건과 시점을 뽑아 시간 순서로 늘어놓는 일인데요. 문제는 평가 단계에서 바로 생깁니다. 사람이 만든 참조 시간표가 있으면 그것을 잣대로 삼는’écoutez, 관행적으로는 그 방법이 편합니다. 기계 출력과 참조를 나란히 놓고 겹치는 부분을 세면 점수가 나오니까요?

그런데 참조를 만드는 일 자체가 만만치 않습니다. 리포트는 길고, 증상과 검사와 처치가 서로 다른 문장에 흩어져 있으며, 날짜 표현도 일정하지 않습니다. 주석자가 놓친 사건이 있을 수 있고, 같은 사건을 다른粒度로 묶는 경우도 생깁니다. 제가 이 대목을 읽으면서 떠올린 장면은 시험 채점입니다. 모범 답안에 오타가 있으면 잘 쓴 답안까지 틀리게 되는 것처럼요. 참조가 비어 있는 만큼 기계는 억울한 감점을 받습니다.

GAVEL이 던지는 질문은 그래서 방향이 다릅니다. 어느 시간표가 참조에 더 가까운가를 묻는 대신, 두 시간표가 서로 다른 지점에서 원문 리포트는 실제로 무엇을 말하고 있는가를 묻습니다. 정답지를 심판으로 두지 않고 원문을 증인으로 부르는 셈입니다. 이 발상의 전환이 뒤에 이어지는 설계 전체를 끌고 갑니다.

진료 기록에서 시간표를 뽑는 일은 왜 이렇게 어려울까

케이스 리포트는 교과서처럼 날짜별로 정리된 문서가 아닙니다. 입원 경과, 과거력, 검사 결과, 처방 변경이 한 문단 안에 뒤섞여 있고, 어떤 사건은 날짜와 함께 적히고 어떤 사건은 며칠 후, 퇴원 직전 같은 상대 표현으로만 남습니다. 그래서 추출기는 문장을 읽고 사건을 고르고 시점을 붙이는 세 가지 일을 동시에 해야 합니다.

여기서 첫 번째로 걸리는 돌턱은 사건 정렬(event alignment)입니다. 기계가 뽑은 사건 A와 참조에 적힌 사건 B가 같은 일을 가리키는지 판단하는 과정인데요. 표현이 다르면 기계적인 문자열 비교로는 잡히지 않습니다. 호흡곤란 악화와 산소 요구량 증가가 같은 경과를 말하는 것일 수도 있고 아닐 수도 있으니까요? 보통은 임베딩 유사도 같은 점수로 같은 사건인지 재단합니다. 점수가 기준선을 넘으면 같은 사건, 못 넘으면 다른 사건으로 처리하는 방식입니다.

두 번째 돌턱은 참조의 구멍입니다. 참조에 없는 사건을 기계가 올바르게 뽑아내면 어떻게 채점될까요? 기존 방식에서는 틀린 것으로 찍히기 쉽습니다. 반대로 참조에 잘못 들어간 사건이 있으면 기계가 그것을 피한 것이 오히려 감점이 됩니다. 점수표는 조용히 거짓말을 시작합니다. 숫자는 소수점 둘째 자리까지 찍히는데, 그 숫자가 가리키는 현실은 흐릿해집니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 평가 파이프라인이 참조의 완전함을 전제로 깔고 있으면, 추출기가 좋아질수록 평가의 천장이 먼저 드러나기 때문입니다. 좋은 추출기와 평범한 추출기의 차이가 참조의 노이즈에 묻혀버리면 연구는 다음 단계로 나아가기 어렵습니다. 그렇다면 참조를 더 두껍게 만드는 일 말고 다른 길은 없을까요? GAVEL은 이 물음에서 출발합니다.

두 시간표를 정답지와 비교하지 않고 나란히 놓으면

GAVEL이 제안하는 장면은 의외로 단순합니다. 시간표 A와 시간표 B를 책상 위에 나란히 놓고, 두 개가 달라지는 지점마다 원본 리포트를 펼쳐 확인합니다. A가 맞는지 B가 맞는지를 따로 묻지 않고, 달라진 부분 하나하나에 대해서만 원문이 무엇을 지지하는지 판정합니다. 어느 한쪽을 기준점으로 삼지 않으니, 두 쪽이 모두 틀렸거나 두 쪽이 모두 부분적으로 맞는 경우도 그대로 드러납니다.

이런 비교는 일상에서도 자주 쓰는 방식입니다. 두 사람이 같은 회의를 정리한 메모가 서로 다를 때, 예전 메모를 정답이라 우기지 않고 회의 녹취를 다시 들어보는 편이 훨씬 정확하죠. GAVEL도 같은 태도를 취합니다. 케이스 리포트가 녹취에 해당하고, 두 시간표가 각자의 회의 메모에 해당합니다. 심사는 메모끼리 닮았는지가 아니라 각 메모가 녹취와 어긋나는지를 봅니다.

이 구조가 주는 장면 전환은 꽤 큽니다. 기존 평가가 기계 대 참조라는 일대일 대결이었다면, GAVEL은 기계 대 기계 대 원문이라는 삼자 대면입니다. 원문이 매번 증언하니 판정의 근거가 남습니다. 나중에 사람이 검토할 때도 점수만 보는 것이 아니라 어떤 문장에 기대어 판정했는지를 볼 수 있습니다. 저는 여기서 멈칫했습니다. 평가를 자동화하면서 오히려 사람이 감사할 수 있는 여지를 넓혔기 때문입니다. 자동 심사가 흔히 점수만 뱉고 이유를 삼키는 것과는 결이 다릅니다.

판결마다 근거 문장을 함께 내놓는 이유

GAVEL의 심사 출력은 세 가지로 짜여 있습니다. 차이 유형(discrepancy type)과 판정(verdict), 그리고 그 판정을 뒷받침하는 리포트 구절입니다. 다시 말해 무엇이 다르고, 누구의 손을 들어주며, 원문의 어디에 기대었는지를 한 묶음으로 내놓습니다. 판정만 내놓는 심사보다 읽는 사람의 피로가 훨씬 적습니다.

왜 이런 형식을 택했을까요? 임상 기록에서는 같은 결론이라도 근거 문장이 다르면 신뢰도가 달라집니다. 발열이 입원 3일차에 시작됐다는 주장과 입원 5일차에 시작됐다는 주장은 둘 다 그럴듯하게 들릴 수 있습니다. 하지만 원문에 입원 3일차에 측정한 체온 기록이 박혀 있으면 논쟁은 길어지지 않습니다. 근거 구절이 바로 그 못박기 역할을 합니다. 심사 결과에 원문 인용이 붙어 있으면 나중에 사람이 스캔하기도 쉽습니다.

저는 이 설계를 보면서 문서 AI를 오래 만져본 사람의 손때를 느꼈습니다. 저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. GAVEL도 점수 하나를 내놓는 대신 판정의 재료까지 함께 내놓습니다. 점수는 의심할 수 있지만 재료는 직접 만져볼 수 있으니까요? 이런 심사라면 추출기를 고치는 개발자에게도 바로 쓸모가 있습니다. 어디서 틀렸는지가 아니라 원문의 어디를 놓쳤는지가 보이니 수정 방향이 구체적입니다.

또 하나 눈에 들어오는 대목은 차이 유형을 따로 적는 습관입니다. 한쪽에만 있는 사건인지, 시점이 어긋난 것인지, 서술이 겹치는 것인지, 유형이 갈리면 고치는 방법도 갈립니다. 사건 누락은 재현율 쪽을 손봐야 하고 시점 어긋남은 날짜 해석 쪽을 손봐야 합니다. 유형 없이 점수만 있으면 개발자는 다시 원점으로 돌아가 로그를 뒤져야 합니다. 유형과 판정과 근거를 한 번에 주는 형식은 그래서 평가를 디버깅에 가깝게 만듭니다.

0.10이라는 숫자 앞에서 매칭이 흔들리는 지점

기존 평가가 얼마나 흔들리는지를 보여주는 대목에서 논문은 사건 매칭의 경계값을 정면으로 다룹니다. 사건이 같은지를 가르는 점수에 0.10이라는 기준선을 그어놓고, 그 바로 아래와 바로 위에서 실제로 같은 사건인 비율을 재봅니다. 결과는 아래쪽에서 60%, 위쪽에서 48%였습니다. 기준선 바로 아래쪽이 오히려 참 매칭 비율이 더 높게 나온 셈입니다.

이 숫자는 어떻게 읽어야 할까요? 표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 기준선이 사건의 같고 다름을 가르는 칼이 아니라 그냥 그어놓은 줄에 가깝다는 뜻이기 때문입니다. 0.10을 넘었다고 같은 사건이 아니고, 못 넘었다고 다른 사건이 아닙니다. 경계 근처에서는 점수가 운에 가깝게 움직입니다. 이런 줄 하나로 통과와 탈락을 나누면 평가는 매번 조금씩 다른 말을 하게 됩니다.

여기서 재미있는 질문이 생깁니다. 그렇다면 경계값을 조금 옮기면 순위가 바뀌는 것 아닐까요? 추출기 순위를 매기는 연구에서 이 질문은 뼈아픕니다. 좋은 모델이 나쁜 점수를 받는 것보다, 순위를 믿고 다음 연구 방향을 잡았다가 헛걸음하는 쪽이 비용이 더 크기 때문입니다. 논문이 이 대목을 숫자로 보여준 것은 그래서 설득력이 있습니다. 평가 파이프라인의 흔들림을 느낌이 아니라 측정으로 보여주니까요?

저는 이 대목에서 기존 평가를 완전히 버리자는 이야기로 읽지 않았습니다. 매칭 점수 자체가 쓸모없다는 말이 아니라, 그 점수 하나로 승부를 가르는 구조가 위태롭다는 지적에 가깝습니다. GAVEL이 원문으로 돌아가자고 말하는 것도 같은 맥락입니다. 줄 긋기로 승부를 내기보다, 다투는 지점마다 원문을 펼쳐보자는 제안이죠. 측정 방식이 바뀌면 연구의 다음 질문도 바뀝니다.

2,738개의 지적은 실제로 얼마나 맞았을까

GAVEL이 제대로 작동하는지를 확인하기 위해 연구진은 GPT5.6sol과 DeepSeek V3.2에서 나온 2,738개 지적을 사람 검토에 붙였습니다. 심사 결과가 원문과 들어맞는지를 사람이 하나씩 확인한 것인데요. 확인 비율은 89.4%와 88.6%로 나왔습니다. 두 추출기에서 비슷한 수준으로 높게 맞았다는 점이 눈에 들어옵니다.

숫자를 prose 안에 넣어 읽어보면 감각이 옵니다. 백 개를 지적하면 여든아홉 개 정도는 사람이 봐도 고개가 끄덕여진다는 뜻입니다. 자동 심사가 흔히 그렇듯 열 개 중 하나는 어긋납니다. 하지만 열 개 중 아홉이 맞는다면 개발 과정에서는 충분히 쓸 수 있는 도구입니다. 사람이 처음부터 다 읽는 대신 어긋난 소수만 골라내면 되니까요?

여기서는 조금 조심해서 읽을 필요가 있습니다. 사람이 확인했다는 말이 모든 판정이 완벽하다는 뜻은 아닙니다. 확인 작업 자체도 리포트 해석에 기대고 있고, 애매한 서술에서는 검토자마다 판단이 갈릴 수 있습니다. 논문이 두 모델에서 나란히 80% 후반을 보여준 것은 그래서 의미가 있습니다. 특정 모델의 버릇에 기대어 높게 나온 숫자가 아니라, 심사 절차 자체가 어느 정도 안정적이라는 신호에 가깝기 때문입니다.

또 하나 짚고 싶은 대목은 검증의 크기입니다. 2,738개라는 숫자는 몇십 개를 뽑아 보여주는 시범과는 체감이 다릅니다. 검토량이 많아질수록 우연히 잘 맞을 가능성은 줄어듭니다. 물론 이 숫자만으로 모든 진료과와 모든 기록 형식에 통한다는 보장은 없습니다. 그렇지만 적어도 실험에 쓰인 케이스 리포트 묶음 안에서는 심사 결과를 신뢰하고 다음 단계로 넘어갈 만한 발판이 마련된 셈입니다. 그렇다면 이 발판 위에서 무엇을 세울 수 있을까요? 논문은 순위 매기기와 시간표 고치기라는 두 가지 답을 내놓습니다.

여섯 모델과 두 사람의 순위를 매기면 보이는 것

연구진은 126편의 케이스 리포트를 무대로 여섯 개의 LLM 추출기와 두 명의 사람 주석자를 견줍니다. 각 주체에서 나온 시간표를 GAVEL로 서로 맞붙이고, 원문에 비춰 누가 덜 어긋나는지를 가립니다. 참조를 정답으로 두지 않으니 사람 주석자도 심판이 아니라 선수로 들어갑니다. 이 대목이 저는 꽤 신선했습니다. 사람을 자동으로 1등에 올려놓지 않고 같은 링에 올렸기 때문입니다.

결과를 뜯어보면 순위 자체보다 그 순위를 만드는 과정이 더 중요합니다. 기존 방식에서는 참조와 닮은 출력이 유리합니다. 참조를 만든 사람의 버릇, 사건을 묶는粒度, 날짜를 적는 습관까지 닮을수록 점수가 올라갑니다. GAVEL 방식에서는 그런 닮음이 아니라 원문과의 정합이 점수가 됩니다. 참조 바깥에 있는 올바른 사건을 뽑아낸 추출기가 감점 대신 가점을 받는 구조죠. 평가의 유인이 달라지면 개발 방향도 달라집니다. 참조를 외우는 모델이 아니라 리포트를 읽는 모델이 유리해집니다.

여기서 사람 주석자가 함께 들어간 의미도 다시 보입니다. 사람이 늘 기계보다 낫다는 전제를 두지 않고, 같은 잣대로 견주면 사람의 실수도 드러납니다. 실제로 임상 주석에서 사람이 놓치는 사건은 드물지 않습니다. 장시간 기록을 읽다 보면 뒤쪽 문장에 묻힌 처방 변경이나 경과 관찰을 흘리기 쉽습니다. GAVEL은 그런 지점을 가리지 않고 보여줍니다. 사람을 깎아내리려는 것이 아니라, 평가의 눈금을 사람 바깥에 두려는 시도에 가깝습니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 이 순위를 믿고 모델을 고를 수 있을까요? 저는 순위 숫자 하나보다 판정 묶음 전체를 보고 싶습니다. 어떤 유형에서 밀렸는지, 근거 문장은 탄탄한지, 특정 진료과에서만 벌어지는 일인지, 그 내역을 보면 도입 결정이 훨씬 쉬워집니다. GAVEL이 유형과 판정과 근거를 함께 내놓는 형식이 여기서 다시 빛을 발합니다. 순위는 결과이고, 그 결과를 뜯어볼 재료까지 함께 오기 때문입니다.

7.63개에서 0.85개로 줄었다는 말의 감각

논문에서 가장 손에 잡히는 숫자는 병합 실험에 나옵니다. GAVEL의 지적을 길잡이 삼아 두 시간표를 합친 뒤에는 리포트당 차이가 7.63개에서 0.85개로 줄었습니다. 일곱 개가 넘던 어긋남이 한 개도 안 되는 수준으로 떨어진 셈입니다. 처음부터 끝까지 같은 잣대로 잰 전후 비교라는 점에서 읽는 맛이 다릅니다.

이 차이는 생각보다 중요합니다. 시간표 병합은 두 개를 반반 섞는 일이 아닙니다. 서로 다른 지점마다 어느 쪽이 원문에 가까운지를 골라야 합니다. 사람이 일일이 하면 리포트 한 편당 수십 분이 걸릴 수 있습니다. GAVEL이 그 고르는 일을 대신하고, 사람은 그 선택이 근거 문장과 들어맞는지만 확인하면 됩니다. 7.63에서 0.85로의 이동은 그래서 단순한 오차 감소가 아니라 작업 방식의 변화에 가깝습니다. 처음부터 완벽한 추출기를 찾는 대신, 두 개의 평범한 추출기와 좋은 심사를 묶어 쓸 만한 결과에 도달하는 경로죠.

물론 이 숫자를 그대로 믿기 전에 조건을 봐야 합니다. 차이가 줄었다는 말은 두 시간표 사이의 불일치가 줄었다는 뜻이고, 불일치가 줄었다고 진실에 가까워졌다는 보장은 따로 확인해야 합니다. 논문은 이 지점을 선호도 평가로 메웁니다. 병합된 시간표가 비교의 77.0%에서 더 낫다는 선택을 받았고, 구간 추정으로는 69.8%에서 84.1% 사이가 제시됐습니다. 일곱 할을 훌쩍 넘는 선택이 한쪽으로 몰렸다는 점에서 병합의 방향은 설득됩니다.

저는 여기서 병합의 함정을 하나 떠올렸습니다. 두 시간표가 모두 놓친 사건은 병합해도 살아나지 않기 때문입니다. 차이를 고르는 심사는 잘해도, 아무도 뽑지 않은 사건까지 찾아내지는 못합니다. 그래서 0.85라는 숫자는 남은 숙제를 가리키기도 합니다. 서로 다름을 다듬는 일은 거의 끝냈고, 이제는 함께 놓친 부분을 찾는 일이 남았다는 신호죠. 그렇다면 다음 연구는 어디를 봐야 할까요? 빠진 사건을 찾는 회수율 쪽으로 눈이 갑니다.

병합된 시간표가 77% 선택을 받은 뒤에 남는 질문

선호도 77.0%라는 숫자는 겉으로 보면 시원합니다. 백 번 견주면 일흔일곱 번은 병합본이 낫다는 뜻이니까요? 그런데 이 숫자가 말하지 않는 것도 있습니다. 나머지 스물세 번은 왜 병합본이 밀렸을까요? 심사 절차가 틀렸을 수도 있고, 두 원본이 모두 어긋나 병합해도 답이 없었을 수도 있습니다. 저는 실패한 쪽의 내역이 성공한 쪽만큼 궁금했습니다. 다음 버전을 만드는 재료는 대개 그쪽에 있기 때문입니다.

또 하나 생각해볼 지점은 선호를 매긴 사람의 눈입니다. 시간표가 읽기 편하다는 것과 원문에 충실하다는 것은 겹치지만 같은 것은 아닙니다. 정리가 깔끔해서 손이 가는 경우도 있고, 사건은 조금 빠져도 날짜가 정확해서 신뢰가 가는 경우도 있습니다. 77%라는 숫자 안에 어떤 기준이 섞여 있는지를 알면 병합 전략을 더 정교하게 다듬을 수 있습니다. 예를 들어 읽기 편함이 크게 작용했다면 서술 다듬기에 힘을 주고, 충실함이 갈렸다면 근거 연결을 더 조밀하게 만들어야 합니다.

그렇다고 이 숫자의 힘을 깎아내릴 필요는 없습니다. 126편이라는 묶음에서 일관되게 한쪽으로 기울었다는 점은 우연으로 치우기 어렵습니다. 구간 추정이 69.8%에서 84.1%로 제시된 것도 같은 이야기를 합니다. 가장 낮게 잡아도 열 번 중 일곱 번 가까이는 병합본이 낫다는 뜻이니까요? 임상 문서처럼 실수가 부담스러운 영역에서는 이런 정도의 일관성이 도입을 고민할 만한 근거가 됩니다. 완벽하지 않지만, 쓰면서 고칠 수 있는 수준이라는 판단이 서기 때문입니다.

여기서 잠시 개발자의 책상으로 시선을 옮겨보겠습니다. 월요일 아침에 전날 쌓인 케이스 리포트 묶음이 도착했다고 해보죠. 추출기 두 개를 돌리고 GAVEL로 차이를 추린 뒤, 검토자는 근거 문장만 훑으며 확인합니다. 예전에는 참조와 일일이 대조하며 시간을 썼다면, 이제는 어긋난 지점만 골라 봅니다. 검토 시간이 줄면 같은 시간에 더 많은 기록을 볼 수 있습니다. 병합 선호 77%는 이런 운영 그림과 맞물릴 때 더 크게 읽힙니다. 점수표 위의 승리가 아니라 일하는 방식의 승리처럼 보이기 때문입니다.

앞으로 진료 기록 평가를 어떻게 바꿔야 할까

이 논문이 남기는 파문은 점수 몇 점을 넘어섭니다. 평가의 기준을 참조에서 원문으로 옮기면 연구 질문 자체가 바뀝니다. 어떻게 하면 참조와 닮은 출력을 만들까라는 질문은 뒤로 밀리고, 어떻게 하면 원문이 지지하는 시간표를 만들까라는 질문이 앞으로 옵니다. 모델 개발자도 주석 지침을 외우는 대신 리포트를 읽는 능력을 키워야 합니다. 평가가 바뀌면 공부의 방향이 바뀌는 것은 시험도 연구도 마찬가지입니다.

저희가 문서를 다루는 시스템을 볼 때도 같은 지점을 봅니다. 추출 점수가 높다는 말만으로는 도입을 결정하기 어렵습니다. 어떤 문서에서 틀리는지, 틀릴 때 근거를 함께 내놓는지, 사람이 고칠 수 있는 형태로 틀리는지까지 봐야 합니다. GAVEL은 그 세 가지를 한 번에 보여주려는 시도에 가깝습니다. 유형으로 어디가 아픈지, 판정으로 무엇을 골랐는지, 근거 문장으로 왜 그렇게 골랐는지를 말해주니까요? 이런 평가는 연구실 점수를 넘어 운영의 아침을 지키는 데 쓸모가 있습니다. 밤사이 쌓인 기록을 아침에 확인해야 하는 현장에서는 틀리는 방식까지 설계에 들어가야 하기 때문입니다.

물론 남은 빈틈도 분명합니다. 원문에 근거를 대는 심사는 원문이 애매할 때 함께 흔들립니다. 날짜가 빠진 경과 서술, 앞뒤가 엇갈리는 기록, 약어와 대명사가 뒤섞인 문장에서는 심사도 사람도 갈립니다. 두 시간표가 모두 놓친 사건을 찾아내는 일도 아직 숙제로 남습니다. 그리고 89% 전후의 확인 비율은 뒤집어 보면 열 개 중 하나는 사람이 고쳐야 한다는 뜻입니다. 자동 심사를 맹신하는 순간 그 하나가 조용히 새어 나갈 수 있습니다. 저는 그래서 이 방법을 점수 기계가 아니라 검토자의 조수로 읽었습니다. 사람이 볼 지점을 줄여주고, 볼 때는 근거와 함께 보여주는 조수 말입니다.

그렇다면 사람의 역할은 무엇일까요? 심사가 원문을 증인으로 부르는 구조라면, 사람의 일은 증언을 검증하는 쪽으로 옮겨갑니다. 근거 문장이 판정을 정말 지지하는지, 유형 구분이 다음 수정으로 이어지는지, 병합에서 밀린 스물세 번의 이유가 무엇인지, 그 질문들을 붙들고 다음 버전을 만드는 일입니다. 7.63에서 0.85로의 감소와 77%의 선택은 끝이 아니라 시작처럼 보입니다. 원문에 기대어 비교하는 습관이 자리 잡으면, 다음에는 원문이 침묵하는 지점을 다루는 연구가 이어질 테니까요? 제가 앞으로 보고 싶은 것은 바로 그 다음 장면, 함께 놓친 사건까지 찾아내는 심사입니다.