물리식으로 생물학을 읽는 AI를 어떻게 시험할까, BioPhys-Bridge가 던진 질문

arXiv에 공개된 BioPhys-Bridge는 물리에 기반한 생물학 연구에서 학제간 과학 추론을 평가하기 위한 벤치마크를 제안합니다. 식별자는 arXiv 2609.19180이며, 제목 아래에 원문으로 이어지는 링크가 달려 있습니다. 이 작업이 내세우는 주장은 한 문장으로 정리됩니다. 생물물리 문헌을 제대로 읽는다는 것은 관측 데이터를 근거에 대고, 정량적인 물리 모델로 해석하고, 생물학적 메커니즘까지 연결하는 일이라는 것이죠.

안녕하세요, 패트릭입니다.

저는 이 논문을 처음 봤을 때 솔직히 약간 멈칫했습니다. 벤치마크 논문은 보통 숫자가 먼저 눈에 들어오는데요. 이번에는 숫자가 아니라 문제 설정이 먼저 들어왔습니다. 언어 모델이 학제간 과학 문헌을 분석할 때 겪는 어려움이 유독 크다는 진단이었기 때문입니다. 생각해보면 당연한 이야기이기도 합니다. 생물학 논문은 서술이 길고, 물리학 논문은 식이 빡빡한데, 생물물리는 그 둘을 한 문단 안에서 왔다 갔다 하니까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 답의 모양을 바꾼 대목입니다. 여기서 좋은 답이란 말만 번지르르한 설명이 아니라, 어떤 근거 조각을 봤는지, 어떤 수치와 단위를 짚었는지, 어떤 가정 아래 어떤 식을 썼는지를 함께 드러내는 답입니다. 그래서 오늘은 이 벤치마크가 무엇을 묶어내려고 했는지, 그 묶음이 왜 어려운지, 그리고 초기 평가 숫자가 우리에게 무엇을 말해주는지를 차례로 따라가 보겠습니다.

생물학 논문 앞에서 모델이 자꾸 미끄러지는 이유

생물물리 논문을 읽어보신 분들은 아실 겁니다. 실험 그림 하나에 형광 이미지와 곡선 그래프가 나란히 있고, 본문에서는 확산 계수나 결합 에너지 같은 숫자가 불쑥 튀어나오는데요. 그러다가 갑자기 이 현상이 세포 이동이나 막 수송 같은 생물학적 이야기로 이어집니다. 한 페이지 안에서 관측과 수식과 생물학적 해석이 계속 교대하는 셈이죠.

그런데 언어 모델은 이런 글에서 유독 헷갈립니다. 관측된 데이터를 읽는 일, 그 데이터를 물리 모델로 해석하는 일, 다시 생물학적 메커니즘과 연결하는 일이 서로 다른 종류의 추론을 요구하기 때문입니다. 데이터는 그림과 표에 흩어져 있고, 모델은 가정과 식 뒤에 숨어 있고, 메커니즘은 토론 부분에서 조심스럽게 제안되니까요. 어느 하나만 읽으면 답처럼 보이는 문장을 만들 수 있지만, 셋을 함께 꿰지 못하면 과학적으로는 틀린 답이 되기 쉽습니다.

그렇다면 제대로 읽었다는 것을 어떻게 확인할 수 있을까요? 이 질문이 바로 BioPhys-Bridge의 출발점입니다. 연구진이 말하는 충실한 답이란 관측 데이터를 출처 근거에 접지시키고, 정량적 물리 모델을 거쳐, 생물학적 메커니즘까지 이어지는 답입니다. 저는 이 정의를 읽고 무릎을 쳤습니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보는데요. 과학 문헌 평가도 마찬가지라는 생각이 들었기 때문입니다. 답이 맞았는지를 넘어, 어떤 경로로 답에 도달했는지를 보겠다는 것이죠.

그렇다면 이 벤치마크는 무엇을 함께 묶으라고 요구할까

BioPhys-Bridge의 요구사항은 문장 하나로 요약되지만, 막상 뜯어보면 세 가닥이 얽혀 있습니다. 데이터를 근거에 묶기, 물리 모델로 해석하기, 생물학적 메커니즘에 연결하기가 바로 그것인데요. 이 셋은 따로 떼어놓고 보면 익숙한 과제처럼 보입니다. 근거 찾기는 검색 증강 생성에서도 하고, 수식 해석은 물리 문제 풀이에서도 하고, 메커니즘 설명은 생물학 질의응답에서도 하니까요.

문제는 그다음입니다. 실제 생물물리 질문에서는 이 셋이 동시에 맞아떨어져야 합니다. 예를 들어 막을 통과하는 물질의 흐름을 다룬다고 해보죠. 실험에서 측정한 농도 변화가 있고, 그 변화를 설명하는 수송 모델이 있고, 그 모델이 가리키는 세포막 단백질의 역할이 있습니다. 농도 숫자만 맞히면 될까요? 아닙니다. 그 숫자가 어떤 조건에서 측정됐는지, 모델이 어떤 가정을 깔고 있는지, 그래서 다음에 어떤 단백질을 건드려야 하는지까지 이어져야 비로소 쓸모 있는 답이 됩니다.

이런 구조라서 이 벤치마크는 질의응답과 검색 증강 생성을 함께 겨냥합니다. 질문에 답하는 능력과, 주어진 문헌 속에서 근거를 끌어오는 능력을 따로 보지 않겠다는 것이죠. 저는 이 선택이 꽤 정직하다고 봅니다. 실제 연구 현장에서는 답과 근거가 분리되지 않기 때문입니다. 논문을 읽다가 궁금한 점이 생기면 다시 그림으로 돌아가고, 방법 섹션의 조건을 확인하고, 보충 자료의 단위를 들여다보잖아요. 그 왕복을 평가에 넣겠다는 발상이 바로 이 벤치마크의 뼈대입니다.

500개 케이스 안에 무엇이 들어 있을까

이제 규모 이야기를 해보죠. 초기 공개 분량은 500개 케이스와 1517개 에이전트용 과제로 구성됩니다. 단순히 문제 개수로만 보면 중간 규모처럼 느껴질 수도 있는데요. 케이스 하나하나의 밀도를 보면 생각이 달라집니다. 각 케이스가 근거 블록과 안정적인 근거 ID, 정량적 수치, 단위, 식, 가정, 메커니즘, 다음 결정 사항을 함께 담고 있기 때문입니다.

여기서 근거 ID라는 장치가 눈에 띕니다. 모든 근거 조각에 흔들리지 않는 번호를 붙여두면, 모델이 답을 내놓을 때 어떤 조각을 봤는지를 정확히 대조할 수 있습니다. 마치 실험 노트에 페이지 번호를 매겨두는 것과 비슷하죠. 나중에 같은 케이스를 다시 꺼내도 같은 번호로 같은 근거를 가리킬 수 있으니, 평가가 흔들리지 않습니다. (참고로 이런 ID 설계는 검색 증강 생성 평가에서 특히 요긴한데요. 검색이 흔들리면 답도 함께 흔들리기 때문입니다.)

과제 수가 케이스 수의 세 배를 넘는 점도 눈여겨볼 대목입니다. 500개 케이스에서 1517개 과제가 나왔다는 것은, 하나의 문헌 묶음에서 여러 각도의 질문을 뽑아냈다는 뜻입니다. 같은 실험 데이터를 놓고 근거 찾기를 물을 수도 있고, 모델 해석을 물을 수도 있고, 다음 실험 판단을 물을 수도 있죠. 하나의 논문을 읽고도 동료 연구자가 꼬리에 꼬리를 물고 질문하는 장면을 떠올리시면 됩니다. 저는 이 밀도가 이 벤치마크의 체감 난이도를 크게 끌어올린다고 봅니다. 문제를 많이 푸는 시험이 아니라, 하나의 상황을 깊게 파고드는 시험에 가깝기 때문입니다.

숫자와 단위가 왜 답의 일부가 될까

과학 글쓰기에서 숫자는 장식이 아닙니다. 2.5 마이크로몰인지 2.5 밀리몰인지에 따라 해석이 천 배 달라지고, 초당인지 분당인지에 따라 모델의 예측이 완전히 바뀌는데요. BioPhys-Bridge는 이 당연한 사실을 평가 구조 안으로 끌어들였습니다. 각 케이스가 수치와 단위, 식과 가정을 접지 대상으로 명시한다는 점이 바로 그것입니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 언어 모델은 숫자를 곧잘 흉내 내기 때문입니다. 단위를 슬쩍 바꾸거나, 조건을 빼먹거나, 식의 가정은 말하지 않은 채 결과만 가져오는 식이죠. 사람은 논문을 읽을 때 방법 섹션의 온도와 pH, 측정 장비의 오차 범위를 무의식적으로 함께 읽는데요. 모델은 그 주변 정보를 쉽게 흘려보냅니다. 그래서 수치 접지라는 요구는 일종의 안전장치처럼 작동합니다. 답이럴듯하면 됐지가 아니라, 숫자가 출처의 숫자와 같은 숫자인지를 묻는 것이죠.

그렇다면 식은 왜 함께 들어가야 할까요? 생물물리에서는 같은 데이터라도 어떤 모델을 대느냐에 따라 결론이 달라지기 때문입니다. 확산으로 볼 것인지, 능동 수송으로 볼 것인지, 결합 평형으로 볼 것인지에 따라 다음 실험이 달라지죠. 식과 가정을 함께 요구하면 모델이 어떤 렌즈로 데이터를 봤는지를 드러낼 수밖에 없습니다. 저는 여기서 조금 의심했습니다. 과연 모델들이 가정을 명시적으로 다룰 수 있을까 하는 점이었는데요. 뒤에서 볼 초기 평가 숫자가 그 의심에 대한 답을 어느 정도 내놓습니다.

여섯 개 생물 영역과 아홉 개 물리 모델이 겹쳐지면 무슨 일이 생길까

범위 이야기로 넘어가 보죠. 이 데이터셋은 여섯 개 생물 영역과 아홉 개 물리 모델군을 아우릅니다. 게다가 아홉 개 가운데 세 개는 앞으로의 확장을 위해 남겨둔 희소군이라고 합니다. 처음에는 이 구성이 조금 의아했습니다. 왜 처음부터 빽빽하게 채우지 않고 빈 곳을 남겨둘까 싶었기 때문입니다.

그런데 가만히 생각해보면 이 설계에는 이유가 있습니다. 학제간 벤치마크에서 가장 무서운 함정은 특정 영역에만 과적합되는 것이기 때문입니다. 예를 들어 막 수송 문제만 잔뜩 풀어본 모델은 그 영역에서는 번지르르한 답을 내놓지만, 세포 역학이나 분자 결합 문제에서는 길을 잃을 수 있습니다. 여섯 개 영역을 펼치면 그런 편식을 드러낼 수 있죠. 아홉 개 물리 모델군도 마찬가지입니다. 확산, 역학, 열역학처럼 서로 다른 수학적 습관을 가진 모델들을 병치하면, 모델이 진짜로 식을 읽는지, 아니면 말투만 흉내 내는지가 드러납니다.

희소군 세 개를 남겨둔 선택은 앞으로 보고 싶은 대목과 이어집니다. 지금은 데이터가 드문 영역을 비워두되, 나중에 그 빈칸을 채우면서 일반화를 시험하겠다는 것이죠. 보드게임에서 확장팩 자리를 미리 비워두는 것과 비슷하다고 할까요. 저는 이 여백이 오히려 신뢰를 줬습니다. 모든 것을 다 했다고 말하는 대신, 어디가 아직 비어 있는지를 솔직히 보여주기 때문입니다. 벤치마크가 오래 살아남으려면 처음부터 완벽한 척하는 것보다 이런 여백이 더 중요하다고 봅니다.

여섯 개 게이트를 통과해야 하는 이유는 무엇일까

데이터를 모으는 일보다 어려운 것이 데이터를 거르는 일입니다. BioPhys-Bridge는 품질 관리를 위해 여섯 개 게이트를 둡니다. 스키마와 근거 무결성, 정량 접지, 출처 라이선스, 중복 제거, 단위 정규화가 바로 그것인데요. 이름만 보면 행정 절차 같지만, 하나하나 뜯어보면 과학 평가를 지탱하는 기둥입니다.

스키마 게이트는 케이스의 모양을 맞춥니다. 근거 블록이 빠졌거나 ID가 어긋나면 뒤의 평가가 전부 흔들리니까요. 근거 무결성 게이트는 근거가 실제로 출처에서 왔는지를 따집니다. 정량 접지 게이트는 숫자와 단위와 식이 답과 어긋나지 않는지를 봅니다. 출처 라이선스 게이트는 문헌을 써도 되는지를 확인하고, 중복 게이트는 같은 사례가 여러 얼굴로 들어오는 것을 막고, 단위 정규화 게이트는 마이크로와 밀리, 초와 분 같은 표기 차이를 한 기준으로 묶습니다.

이 차이는 생각보다 중요합니다. 단위 하나가 어긋나면 모델은 엉뚱한 데서 감점되거나, 반대로 엉터리 답이 정답처럼 보일 수 있기 때문입니다. 밤사이 공시 자료가 늦게 도착해도 예측 라인이 멈추면 안 되는 운영 문제와 비슷하죠. 입력이 조금 지저분해도 평가가 흔들리지 않아야 한다는 점에서는요. 연구진이 여섯 개나 되는 게이트를 둔 이유도 결국 같은 데 있다고 봅니다. 어려운 질문을 던지기 전에, 질문 자체가 흔들리지 않게 만들겠다는 것이죠. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이렇게 빡빡한 게이트를 통과한 케이스가 500개라면, 통과하지 못한 케이스는 얼마나 됐을까 하는 점인데요. 그 탈락률이 공개되면 데이터 구축의 난이도를 더 정확히 가늠할 수 있을 것 같습니다.

81개 케이스의 전문가 손길이 전체를 지탱하는 방식

여기서 재미있는 질문이 생깁니다. 자동화된 파이프라인만으로 이런 학제간 케이스를 만들 수 있을까요? 연구진의 답은 아니오에 가깝습니다. 81개 케이스에 대해서는 영역 전문가의 검토와 주석 작업을 거쳤다고 밝히고 있기 때문입니다.

81이라는 숫자는 전체 500개 가운데 일부처럼 보이지만, 역할로 보면 기준점에 가깝습니다. 전문가가 손으로 다듬은 케이스가 있으면 자동 생성된 나머지 케이스의 품질을 재는 자가 생기기 때문입니다. 어디까지가 기계가 잘하는 영역이고, 어디부터 사람이 손봐야 하는지가 드러나죠. 생각해보면 사람도 비슷하게 배웁니다. 처음에는 선생님이 봐준 모범 답안을 옆에 두고, 나중에는 혼자 풀어보잖아요. 81개는 그 모범 답안 묶음이라고 할 수 있습니다.

저는 이 대목에서 저희 팀의 습관을 떠올렸습니다. 저희가 새로운 문서 이해 모델을 볼 때도 자동 지표만 보지 않고, 사람이 직접 몇十 건을 끝까지 읽어봅니다. 자동 지표가 놓치는 틀어짐이 꼭 있거든요. 생물물리처럼 배경지식이 많이 필요한 영역에서는 그 틀어짐이 더 치명적입니다. 가정 하나를 잘못 읽으면 다음 실험 제안까지 줄줄이 어긋나니까요. 그래서 81개라는 숫자는 작게 보이지만, 전체 벤치마크의 신뢰도를 지탱하는 앵커라고 봅니다. 앞으로 전문가 검토 범위가 넓어지면 점수 해석도 함께 단단해질 것 같습니다.

0.360이라는 숫자를 어떻게 읽어야 할까

이제 평가 이야기를 해보죠. 초기 평가에서 가장 높은 근거 ID 재현 점수는 DeepSeek-V4-Flash의 0.360이었고, 그다음이 Qwen3.7-Max의 0.316, GPT-4o-mini의 0.294이었다고 합니다. 숫자를 처음 보면 고개를 갸웃하게 됩니다. 0.36이면 백 점 만점에 36점처럼 느껴지기 때문입니다.

하지만 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 여기서 잰 것은 일반적인 정답률이 아니라 근거 ID의 F1 점수이기 때문입니다. 모델이 답을 말할 때 어떤 근거 조각을 짚었는지를, 정답 근거 목록과 대조해서 재현율과 정밀도로 함께 본 것이죠. 다시 말해 말을 잘했는지가 아니라, 근거를 짚었는지를 본 것입니다. 이 잣대는 일부러 까다롭게 설계됐습니다. 근거 ID는 하나만 어긋나도 틀린 것으로 치니까요. 부분 점수를 후하게 주지 않는 시험이라고 할 수 있습니다.

그래서 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 세 모델의 점수가 0.29에서 0.36 사이에 옹기종기 모여 있다는 것은, 특정 모델 하나가 압도했다기보다 현재 모델들이 공통으로 어려워하는 지점이 있다는 뜻이기 때문입니다. 근거를 정확히 짚는 일이 아직 모두에게 어렵다는 것이죠. 숫자를 나란히 놓고 보면 차이도 보입니다. 1위와 2위의 간격은 0.044이고, 2위와 3위의 간격은 0.022인데요. 이 간격이 모델 크기의 차이인지, 검색 설계의 차이인지, 아니면 지시 따르기 방식의 차이인지는 아직 열려 있습니다. 다음 평가에서는 모델 이름 옆에 검색 조건과 컨텍스트 길이를 함께 공개하면 해석이 훨씬 쉬워질 것 같습니다.

실험 설계까지 묻는다는 건 무슨 뜻일까

BioPhys-Bridge가 겨냥하는 평가는 귀속과 충실성, 환각 완화, 생물학 실험 설계로 정리됩니다. 말이 조금 어렵게 들릴 수도 있는데요. 하나씩 풀어보면 그리 멀리 있지 않습니다. 귀속은 답의 각 조각이 어디에서 왔는지를 따지는 일이고, 충실성은 답이 근거를 벗어나지 않았는지를 보는 일입니다. 환각 완화는 그 둘을 통과하면 자연히 따라오는 결과이고, 실험 설계는 그 다음 단계의 질문이죠.

마지막 항목이 특히 눈에 띕니다. 다음 결정을 함께 담는다는 것은, 과거를 설명하는 데서 그치지 않고 미래의 행동을 묻겠다는 뜻이기 때문입니다. 예를 들어 어떤 단백질이 수송에 관여한다는 해석이 나왔다면, 다음에는 어떤 돌연변이를 만들어 어떤 조건에서 측정해야 하는지를 묻는 식입니다. 논문의 토론 섹션 끝머리에 종종 나오는 다음 단계 제안을 정식 평가 대상으로 끌어올린 셈이죠.

좋은데, 이걸 실제로 어떻게 채점할까요? 근거 ID처럼 정답이 또렷한 항목과 달리, 다음 실험은 정답이 여러 개일 수 있습니다. A 단백질을 먼저 건드려도 되고, 측정 조건을 먼저 바꿔도 되는 식이죠. 연구진이 다음 결정을 접지 대상으로 넣었다는 것은, 그 모호함을 감수하고도 묻고 싶은 질문이 있다는 뜻입니다. 저는 이 선택을 응원하는 쪽입니다. 과학에서 읽었다는 말의 진짜 시험은 다음에 무엇을 할지를 말할 수 있는지니까요. 다만 채점 기준이 함께 단단해져야 합니다. 복수 정답을 어떻게 다루는지가 아니라, 복수 정답을 어떻게 공정하게 다룰지가 앞으로의 숙제라고 봅니다.

그래서 다음에 보고 싶은 것은 무엇일까

지금까지 BioPhys-Bridge의 문제의식과 설계와 초기 숫자를 따라왔습니다. 데이터와 물리 모델과 생물학적 메커니즘을 한 답으로 묶으라는 요구, 500개 케이스와 1517개 과제라는 밀도, 수치와 단위와 식을 함께 붙잡는 접지 방식, 여섯 개 영역과 아홉 개 모델군이라는 범위, 여섯 개 게이트와 81개 전문가 검토라는 품질 장치, 그리고 0.3대 초반에 모인 근거 ID 점수까지요. 각각은 따로 보면 기술적인 선택이지만, 함께 보면 하나의 메시지가 됩니다. 과학 문헌을 읽는다는 것을 다시 정의하겠다는 것이죠.

제가 앞으로 보고 싶은 것은 크게 세 가지입니다. 첫째, 검색 증강 생성 조건을 바꾼 비교입니다. 같은 모델이라도 검색기를 바꾸거나 컨텍스트를 넓히면 근거 ID 점수가 어떻게 움직이는지를 보면, 실패의 원인이 모델 내부에 있는지 바깥에 있는지가 갈릴 것 같습니다. 둘째, 희소군 세 개의 활용입니다. 비워둔 영역을 채우면서 일반화를 시험하면, 특정 영역에 편식된 모델이 바로 드러날 테니까요. 셋째, 다음 결정 채점의 공개입니다. 복수 정답을 어떻게 다루는지가 보이면, 실험 설계 평가가 구호가 아니라 제도가 됩니다.

그렇다면 이 벤치마크는 결국 무엇을 바꿀까요. 저는 답의 모양을 바꾼다는 데 있다고 봅니다. 숫자와 단위를 빼먹은 매끈한 설명보다, 근거 번호와 가정과 다음 할 일이 함께 적힌 투박한 답이 더 좋은 답이 되는 세계 말이죠. 그런 답은 읽는 데 시간이 조금 더 걸리지만, 대신 다음 실험으로 바로 이어집니다. 과학을 읽는 기계가 많아질수록, 저는 그 이어짐을 더 주의 깊게 보게 됩니다. 이번 벤치마크가 그 이어짐을 잴 수 있는 자를 내밀었다는 점에서, 앞으로의 후속 평가가 기다려집니다.