VETNET: 수의학 AI를 위한 벤치마크 데이터 생태계를 짓는 일

VETNET: Assembling Benchmark Datasets for AI-Driven Veterinary Innovation은 arXiv에 공개된 제안으로 식별자 2610.14149를 달고 있습니다. 원문 링크는 제목 아래에 걸려 있습니다.

이 제안은 수의학 AI가 사람 의료 AI에 비해 뒤처진 이유를 데이터 부족이 아니라 평가의 부재에서 찾고, 단발성 데이터셋이 아니라 살아 있는 벤치마크 생태계를 짓자고 말합니다. 이번 글에서는 그 진단이 왜 설득력이 있는지, 살아 있는 평가가 무엇을 바꾸는지, 그리고 여러 기관이 데이터를 함께 모으는 일이 왜 어려운지를 차례로 풀어보려 합니다.

반려견 검진표 앞에서 멈칫한 이유

안녕하세요, 패트릭입니다.

얼마 전 지인의 반려견 검진을 따라간 적이 있습니다. 접수대에서 받은 종이는 사람 병원의 접수지와 겉보기에는 비슷했습니다. 이름과 나이와 몸무게를 적고, 지난 접종 날짜를 적고, 요즘 기침을 하는지를 적는 칸이 있었습니다. 그런데 그 종이를 들고 진료실에 들어가자마자 묘한 어색함이 생겼습니다. 같은 기침이라도 3kg 말티즈와 30kg 래브라도의 기침은 다른 이야기인데, 종이 위에서는 그 차이가 한 줄 메모 정도로만 남기 때문입니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 그 어색함을 정면으로 다룬다는 점입니다. 사람 의료에서는 같은 증상이라도 연령과 성별과 병력을 구조화된 기록으로 묶는 연습이 오래됐습니다. 그래서 모델을 학습시킬 때도 무엇을 입력으로 쓰고 무엇을 정답으로 볼지가 비교적 분명합니다. 반면 동물 진료에서는 종이 바뀌면 정상 범위가 바뀌고, 품종이 바뀌면 취약한 질병이 바뀌고, 농장 동물로 넘어가면 기록 방식 자체가 달라집니다. 종이 검진표 한 장으로는 그 층위를 담기 어렵죠.

그렇다면 이 차이를 모델이 알아서 메울 수 있을까요? 저는 여기서 멈칫했습니다. 데이터가 충분히 많으면 모델이 품종별 차이를 스스로 배울 거라고 말하기 쉽기 때문입니다. 그런데 배우려면 먼저 같은 현상을 같은 방식으로 적은 기록이 있어야 합니다. 말티즈 기침은 자유 텍스트로, 래브라도 기침은 체크박스로, 소 기침은 농장 일지에 손글씨로 남아 있다면, 모델은 의학을 배우기 전에 서로 다른 서식을 해독하는 일부터 해야 합니다. 이 제안이 데이터셋 하나가 아니라 생태계를 말하는 이유도 여기에 있습니다.

사람 의료는 달리는데 수의학 AI는 왜 흩어져 있을까

사람 의료 AI가 지난 몇 년 사이에 빠르게 정리된 데에는 운이 아닌 구조가 있었습니다. 병원이 쓰는 용어가 어느 정도 표준화돼 있었고, 영상 장비에서 나오는 파일 형식도 비슷했고, 연구자들이 같은 평가표 위에서 점수를 다투는 문화가 있었기 때문입니다. 점수를 다툰다는 말이 거창하게 들릴 수 있는데, 실제로는 단순합니다. 같은 시험지를 놓고 누가 더 잘 푸는지 매주 확인하는 환경이 있었던 것이죠.

반면 수의학 쪽은 시험지 자체가 여러 장으로 찢어져 있었습니다. 대학 병원에는 대학 병원의 기록이, 개인 동물병원에는 병원마다 다른 기록이, 농장과 기업에는 현장 일지 형태의 기록이 따로 쌓였습니다. 각각은 현장에서는 소중하지만, 바깥에서 보면 서로 이어지지 않습니다. 그래서 어떤 팀이 좋은 결과를 냈다고 해도 다른 팀이 같은 조건에서 다시 확인하기 어렵습니다. 재현이 안 되면 점수는 이야깃거리에 머물고, 이야깃거리는 임상 판단으로 이어지지 않습니다.

여기서 재미있는 질문이 생깁니다. 수의학 AI가 뒤처진 게 모델이 부족해서일까요, 아니면 모델을 겨룰 마당이 없어서일까요? 저는 후자에 가깝다고 봅니다. 요즘 모델 구조는 사람과 동물 사진을 가리지 않고 특징을 뽑아냅니다. 문제는 뽑은 특징이 진료에 쓸 만한지를 가리는 잣대가 없다는 데 있습니다. 잣대가 없으면 잘했다는 말도, 아직 멀었다는 말도 모두 가벼워집니다. 이 제안이 사람 의료와 수의학 사이의 간격을 기술 격차가 아니라 평가 인프라 격차로 읽는 대목은 그래서 설득력이 있습니다. (참고로 같은 문제를 여러 팀이 같은 숫자로 이야기할 수 있다는 건 연구자에게 큰 복인데요. 사람 의료 쪽에는 그 복이 있었고, 수의학 쪽에는 아직 없습니다.)

데이터 하나가 아니라 생태계를 짓겠다는 말의 뜻

이 제안을 처음 읽으면 생태계라는 말이 다소 크게 느껴질 수 있습니다. 데이터셋 몇 개를 모아두는 일을 왜 생태계라고 부를까요? 문장을 따라가 보면 그 선택이 과장이 아니라 설계 방향이라는 게 드러납니다. 하나의 정답 파일이 아니라, 데이터와 평가 방식과 운영 규칙이 함께 움직이는 묶음을 말하기 때문입니다.

생각해보면 사람도 비슷하게 배웁니다. 문제집 한 권을 풀고 끝내는 게 아니라, 문제집과 모의고사와 오답 노트를 함께 돌리면서 실력이 늡니다. 문제집이 지식을 주고, 모의고사가 현재 위치를 알려주고, 오답 노트가 다음 공부 방향을 정해주죠. 일종의 오답 노트처럼요. 이 제안이 말하는 생태계도 그런 짝을 염두에 둡니다. 학습용 데이터만 던져주는 게 아니라, 무엇을 잘해야 하는지를 정의한 평가와 그 평가를 계속 돌릴 운영이 함께 있어야 한다는 것입니다.

그런데 생태계라는 말에는 책임도 따라옵니다. 문제집을 한 번 만들고 마는 일과 매달 모의고사를 운영하는 일은 완전히 다른 노동이기 때문입니다. 누가 문제를 내고, 누가 정답을 검수하고, 누가 부정행위를 막고, 누가 낡은 문제를 빼는지가 정해지지 않으면 생태계는 이름뿐인 폴더가 됩니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보는데요. 데이터 생태계도 마찬가지입니다. 파일 개수가 아니라 운영의 지속 가능성이 그릇의 크기를 정합니다.

그렇다면 무엇이 살아 있어야 할까요? 다음 장면에서 그 단어를 조금 더 구체적으로 풀어보겠습니다.

살아 있는 벤치마크는 무엇이 다를까

고정된 벤치마크는 처음에는 공정해 보입니다. 모두가 같은 문제를 풀고, 점수표가 공개되고, 1등이 바뀔 때마다 박수가 나옵니다. 그런데 시간이 지나면 이상한 일이 생깁니다. 모델들이 그 시험지의 정답 분포를 외우기 시작하는 것이죠. 공부라기보다는 족보 암기에 가까워집니다. 시험지가 그대로인데 응시자만 바뀌면, 점수는 올라가도 실력은 그대로일 수 있습니다.

살아 있는 벤치마크는 이 순환을 끊기 위해 시험지를 계속 손봅니다. 낡은 문항을 빼고, 새로운 사례를 넣고, 버전을 매기고, 이전 버전 점수와 새 버전 점수를 구분해서 읽습니다. 사람으로 치면 키가 클 때 입던 옷을 성인이 돼서도 입지 않는 것과 같습니다. 몸이 바뀌었는데 옷이 그대로면 옷이 몸을 재는 게 아니라 몸이 옷에 맞춰 구겨집니다.

이 방식은 수의학에서 더 절실합니다. 신종 질병이 돌거나, 사료 성분이 바뀌거나, 특정 품종 유행이 바뀌면 현장 분포가 금세 달라지기 때문입니다. 작년 병원 데이터로 1등을 한 모델이 올해 농장 데이터에서는 헤맬 수 있습니다. 그래서 버전 관리가 장식이 아니라 안전장치가 됩니다. 어떤 데이터로 몇 점을 받았는지를 찍어두지 않으면, 나중에 문제가 생겨도 원인을 거슬러 올라갈 길이 없습니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 살아 있다는 말이 저절로 좋아지는 마법은 아니기 때문입니다. 시험지를 자주 바꾸면 모델끼리 점수를 견주기 어려워지고, 바꾸는 사람의 취향이 시험에 스며들 수 있습니다. 그래서 운영 원칙이 함께 와야 합니다. 무엇을 언제 바꾸는지, 바꾼 뒤 이전 점수를 어떻게 해석할지, 외부 팀이 이의를 어떻게 제기할지를 미리 적어두는 것이죠. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 점수보다 점수를 만드는 과정이 먼저입니다.

표준화된 고품질이라는 말이 동물에게는 더 까다로운 이유

표준화라는 말을 들으면 흔히 서식을 맞추는 일로 생각합니다. 날짜 표기를 통일하고, 단위를 통일하고, 빈칸을 없애는 일처럼요. 물론 그런 정리도 필요하지만, 동물 데이터에서는 한 겹 더 들어갑니다. 같은 숫자라도 종에 따라 뜻이 달라지기 때문입니다. 체온 39도가 어떤 종에게는 미열이고 다른 종에게는 정상일 수 있습니다. 몸무게 5kg이 어떤 품종에게는 비만이고 다른 품종에게는 저체중일 수 있죠.

그래서 표준화는 숫자를 가지런히 놓는 일이 아니라 숫자가 놓인 맥락을 함께 묶는 일이 됩니다. 어떤 종인지, 어떤 품종인지, 몇 살인지, 어떤 장비로 찍었는지, 누가 판독했는지가 떨어지면 숫자는 껍데기만 남습니다. 사진으로 치면 피사체는 있는데 촬영 조건과 렌즈 정보가 지워진 셈입니다. 보기에는 그럴듯하지만, 비교에는 쓸 수 없습니다.

고품질이라는 말도 같은 맥락에서 읽어야 합니다. 데이터가 많다고 좋은 게 아니라, 정답이 믿을 만해야 좋습니다. 수의학에서는 정답을 만드는 일 자체가 진료입니다. 엑스레이 한 장에 병변 표시를 하려면 숙련된 수의사가 시간을 내야 하고, 수술 기록을 구조화하려면 현장 용어를 표준 용어로 옮기는 손이 필요합니다. 이 손을 거치지 않은 데이터는 겉보기에는 학습용으로 보이지만, 막상 돌려보면 모델이 현장의 약어가 아니라 기록자의 습관을 배우는 경우가 생깁니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 모을까요? 각 병원이 바쁜 진료 틈에 라벨을 붙이기는 어렵고, 그렇다고 외부 인력이 진료 맥락을 모르면서 붙이면 품질이 떨어집니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 품질을 누가, 언제, 어떤 대가로 만들 것인가. 기술 이야기로 시작한 제안이 결국 사람의 시간과 보상 이야기로 이어지는 지점입니다.

대학 하나로는 안 되는 일을 어떻게 함께 할까

이 제안이 여러 기관의 협력을 전제로 거는 대목은 읽으면서 고개가 끄덕여졌습니다. 한 대학 병원 데이터만으로는 세상을 덮을 수 없기 때문입니다. 대학 병원은 중증 사례가 많고 장비가 좋지만, 동네 병원의 가벼운 감기 사례나 넓은 초원의 농장 사례와는 분포가 다릅니다. 어느 한 곳만 보면 지도가 찌그러집니다.

학계와 현장이 함께해야 한다는 말도 같은 이유에서 나옵니다. 학계는 평가를 설계하고 분포 편향을 읽는 데 강합니다. 반면 진료 현장과 기업은 데이터의 물줄기를 쥐고 있습니다. 매일 찍히는 영상과 매일 적히는 차트가 없다면 평가는 종이 위 설계로 남습니다. 반대로 현장이 학계 없이 달리면 각자 잘했다는 말이 서로 다른 잣대로 남습니다. 저울과 잴 것이 따로 놀면 거래가 안 되는 것과 같습니다.

문제는 그다음입니다. 함께하자는 말은 쉽지만, 함께할 이유를 만드는 일은 어렵습니다. 데이터를 내면 무엇이 돌아오는지, 민감한 정보는 어떻게 가리는지, 누가 먼저 쓰고 누가 나중에 쓰는지, 상업적 이용은 어디까지인지를 정해야 합니다. 병원 입장에서는 진료 틈에 데이터를 다듬는 노동이 들고, 기업 입장에서는 경쟁력이 새나갈 걱정이 듭니다. 대학 입장에서는 논문 1저자보다 데이터 기여를 어떻게 인정받을지가 남습니다. 이런 계산이 서지 않으면 협력은 선언문으로 끝납니다.

그래서 저는 이 제안을 기술 설계도로만 읽지 않았습니다. 일종의 거래 설계도로도 읽었습니다. 표준과 평가라는 공용어를 만들면 각 기관이 낸 것과 얻은 것을 같은 표 위에서 이야기할 수 있기 때문입니다. 기여한 데이터가 어떤 평가를 만들었고, 그 평가에서 어떤 모델이 어떤 조건에서 잘했는지가 남으면, 다음 협상의 근거가 생깁니다. 데이터 생태계라는 말이 거창하게 들리지만, 실제로는 이런 작은 정산을 반복할 수 있는 판을 말합니다.

품종 하나만 바뀌어도 모델이 흔들리는 이유

밤 11시 응급실을 상상해 보죠. 낮에 학습 데이터에서 많이 본 품종이 들어오면 모델은 자신 있게 답을 냅니다. 그런데 새벽에 처음 보는 희귀 품종이 같은 증상으로 들어오면 태도가 달라집니다. 확신은 낮은데 진료진은 바쁘고, 화면 속 숫자는 여전히 소수점 둘째 자리까지 찍혀 있습니다. 숫자가 정밀해 보일수록 사람은 그 숫자를 믿고 싶어집니다.

이 장면이 과장이 아닌 이유는 분포가 겉모습부터 다르기 때문입니다. 골격 크기가 다르면 엑스레이 속 장기의 크기와 위치가 달라지고, 털 밀도가 다르면 피부 사진의 질감이 달라지고, 축종이 바뀌면 아예 정상 해부학이 달라집니다. 모델 입장에서는 카메라를 바꾼 게 아니라 세상을 바꾼 셈입니다. 게다가 지역이 바뀌면 유행 질병과 사육 환경과 사료가 함께 바뀝니다. 품종과 종과 지역은 따로 노는 변수가 아니라 하나로 묶인 꾸러미입니다.

그렇다면 다양성을 어떻게 담아야 할까요? 단순히 마릿수를 늘리는 걸로는 부족합니다. 많이 본 품종을 더 많이 보는 건 편향을 키울 뿐입니다. 필요한 건 층을 나눠서 빈 곳을 메우는 일입니다. 종별 층, 품종별 층, 연령별 층, 장비별 층, 지역별 층을 나누고 각 칸이 얼마나 비어 있는지를 먼저 드러내는 것이죠. 빈칸 지도가 있어야 다음 수집이 설득력을 얻습니다. 어디가 비었는지도 모르면서 더 모으자는 말은 예산 싸움에서 지기 때문입니다.

개인적으로 인상 깊었던 점은, 이 제안이 다양성을 윤리 구호가 아니라 성능 조건으로 다룬다는 것입니다. 착해서 모으는 게 아니라, 안 모으면 모델이 깨지기 때문에 모은다는 순서입니다. 현장에서 보면 이 순서가 더 오래갑니다. 착해서 하는 일은 예산이 줄 때 먼저 잘리지만, 안 하면 사고가 나는 일은 남기 때문입니다.

비교 가능하다는 말이 엔지니어에게는 뭐가 달라질까

비교 가능하다는 말은 보고서에서는 밋밋하지만, 엔지니어에게는 야근을 줄여주는 말입니다. 모델을 바꿨을 때 좋아진 건지, 데이터가 바뀐 건지, 평가가 바뀐 건지를 가려주기 때문입니다. 원인이 셋으로 흩어져 있으면 디버깅이 안 됩니다. 밤새 학습을 돌려놓고 아침에 점수가 올랐는데, 그게 새 구조 덕분인지 새로 들어온 데이터 덕분인지 모르면 다음 실험을 설계할 수 없습니다.

표준화된 데이터와 고정된 평가 절차가 있으면 이 가리기가 됩니다. 같은 입력, 같은 정답 정의, 같은 채점 방식으로 두 모델을 놓고 보면, 남은 차이는 모델 탓으로 좁혀집니다. 반대로 데이터가 바뀐 실험에서는 모델을 묶어두고 데이터만 바꿔서 읽을 수 있습니다. 변수를 하나씩 묶는 이 기본기가 있어야 팀 단위 개발이 굴러갑니다. 그렇지 않으면 각자 자기 노트북에서 잘된다는 말만 쌓입니다.

여기서 한 가지 덧붙이고 싶은 건, 비교 가능성이 점수표 하나로 끝나는 게 아니라는 점입니다. 어떤 종에서 잘하고 어떤 품종에서 헤매는지, 영상에서는 어떤데 텍스트 기록에서는 어떤지, 대학 병원 분포에서는 어떤데 농장 분포에서는 어떤지를 층별로 보여줘야 합니다. 평균 하나만 놓고 1등을 가리면 현장의 실패가 평균 뒤에 숨습니다. 평균은 친절한 숫자지만, 가끔은 가장 위험한 숫자이기도 합니다.

저희 팀에서 모델을 고를 때도 같은 기준을 씁니다. 1등 점수보다 먼저 묻는 건 그 점수가 어떤 분포에서, 어떤 채점으로, 어떤 버전에서 나왔는지입니다. 조건이 적히지 않은 점수는 일단 옆으로 밀어둡니다. 이 제안이 평가 틀을 데이터와 함께 묶어서 내놓자고 하는 대목은, 그래서 엔지니어의 언어로 읽힙니다.

이 구상을 그대로 믿기 전에 짚을 점

이 제안에 끌리면서도, 몇 가지는 거리를 두고 읽어야 합니다. 저는 좋은 제안일수록 어디까지 말할 수 있는지가 선명해야 한다고 봅니다. 기대를 키우는 말보다 경계를 긋는 말이 나중에는 더 도움이 되기 때문입니다.

먼저 운영의 무게입니다. 살아 있는 벤치마크는 말은 멋있지만, 매달 누군가의 노동으로 돌아갑니다. 새로운 사례를 고르고, 정답을 검수하고, 버전을 매기고, 이의 제기를 처리하는 일은 자동화로 다 넘기기 어렵습니다. 이 노동을 누가 며칠씩 맡을지, 그 대가를 어떻게 치를지가 비어 있으면 생태계는 첫 해를 넘기기 어렵습니다. 논문이 방향을 제시할 수는 있지만, 예산표까지 써주지는 않기 때문입니다.

다음으로 공유의 조건입니다. 병원과 기업이 데이터를 낸다고 할 때, 무엇을 가리고 무엇을 내는지의 선이 생각보다 굵습니다. 보호자 정보와 농장 영업 정보가 섞인 기록은 가리는 손이 많이 듭니다. 가리는 손이 많이 들면 참여가 줄고, 참여가 줄면 다양성이 깨지고, 다양성이 깨지면 애초의 취지가 흔들립니다. 이 고리를 끊으려면 기술보다 먼저 합의가 필요합니다. 무엇을 내면 무엇을 얻는지를 적은, 읽을 수 있는 규칙 말입니다.

마지막으로 과적합의 다른 얼굴입니다. 살아 있는 벤치마크도 자주 들여다보는 시험이 되면 외워집니다. 버전을 바꿔도 출제자의 습관이 남으면, 모델은 새 문제를 푸는 게 아니라 새 출제자를 읽습니다. 그래서 평가를 돌리는 쪽도 스스로를 평가해야 합니다. 버전이 바뀔 때마다 이전 1등 모델이 어떻게 미끄러졌는지를 공개하고, 새 버전이 무엇을 재는지를 설명하는 것이죠. 시험을 내는 손도 시험대에 올라야 공정이 유지됩니다.

이렇게 써놓으면 제안의 힘을 깎는 것처럼 보일 수도 있습니다. 저는 반대로 봅니다. 이런 경계가 있어야 다음 단계로 넘어갈 수 있습니다. 방향이 옳다는 말과 당장 굴러간다는 말은 다른 말이기 때문입니다.

다음에는 무엇을 보고 싶을까

제가 앞으로 보고 싶은 것은 거대한 점수표가 아닙니다. 오히려 작은 운영의 증거들입니다. 첫 버전 데이터가 어떻게 모였고, 정답 검수에서 어디가 가장 깨졌고, 버전이 한 번 돌 때 무엇이 바뀌었는지를 적은 기록 말입니다. 이런 기록이 쌓여야 다른 팀이 같은 길을 갈 때 같은 구덩이에 빠지지 않습니다.

특히 궁금한 건 동물과학과 수의학의 서로 다른 층입니다. 농장 동물의 생산성 데이터와 반려동물의 임상 데이터는 묻는 질문부터 다릅니다. 한쪽은 무리의 건강과 생산을 보고, 다른 한쪽은 한 마리의 삶과 보호자의 결정을 봅니다. 같은 생태계 안에서 이 두 층을 어떻게 나눠 담을지, 아니면 처음부터 다른 시험지로 갈지를 보고 싶습니다. 질문이 다르면 시험지도 달라야 하기 때문입니다.

지리적 층도 마찬가지입니다. 같은 품종이라도 지역이 바뀌면 먹이와 환경과 유행병이 달라집니다. 한 나라 데이터로 만든 평가가 다른 나라 현장에서 어떻게 미끄러지는지를 보여주는 대목이 나오면, 다양성 이야기가 구호에서 측정으로 내려옵니다. 어디가 얼마나 비었는지를 보여주는 빈칸 지도가 함께 나오면 더 좋습니다.

그렇다면 사람의 역할은 무엇일까요. 저는 마지막에 이 질문으로 돌아옵니다. 데이터를 모으고, 정답을 가리고, 버전을 매기는 일의 끝에는 결국 수의사와 사육자와 보호자가 있습니다. 모델이 점수를 올리는 동안, 그 점수가 누구의 아침을 덜 바쁘게 만들었는지를 묻는 사람이 필요합니다. 이 제안이 생태계를 말할 때, 그 생태계의 끝자락에 진료실의 형광등과 축사의 새벽 공기가 함께 있으면 좋겠습니다. 저는 그 장면을 상상하면서 이번 글을 마칩니다.