임상의 눈으로 묻는 첫 진료, AI 정신과 인테이크를 어떻게 검증할까

이번에 다룰 연구는 Clinician-Grounded Quality Assurance for AI-Assisted Psychiatric Intake라는 제목으로 arXiv에 공개된 논문이며 식별자는 arXiv:2609.21149입니다. 이 연구가 내세우는 주장은 한 문장으로 정리하면, 기억 증강 환자 시뮬레이터인 InterviewPlayground 위에 실제 인테이크에 가까운 평가 방식을 올리면 임상의 부담을 낮추면서도 면담 접근법끼리 임상적으로 따져볼 수 있다는 것인데, 원문 논문으로 이어지는 연결은 이 글 제목 아래에 붙어 있습니다.

안녕하세요, 오늘은 첫 진료 이야기로 시작하겠습니다

안녕하세요, 패트릭입니다.

처음 만나는 환자와 20분 남짓 이야기하고 그 사람의 상태를 파악해야 하는 일을 상상해 보신 적이 있으신가요. 정신과 첫 진료, 즉 인테이크에서는 제한된 시간 안에 병력이며 현재 증상이며 안전과 관련된 단서까지 함께 건져 올려야 하는데, 놓친 질문이 하나라도 있으면 그 뒤의 진료 계획 전체가 흔들릴 수 있습니다.

저는 그래서 이 논문을 집어 들었습니다. AI가 면담을 돕는다는 이야기는 이제 낯설지 않은데요. 그렇다면 그 도움을 병원이 매일 검증할 방법은 무엇일까요. 점수표 한 장으로 충분할까요. 연구진은 이 지점에서 출발하는데, 건강 시스템이 일상적으로 쓰는 품질관리 방식을 임상의 기준에 맞춰 만들자는 제안입니다. 제가 이 논문에서 가장 눈여겨본 부분은 바로 그 발상의 전환인데, 모델 답안을 채점하는 대신 면담 자체를 재현해서 따져보자는 제안이기 때문입니다.

왜 하필 첫 진료가 어려운 걸까요

정신과 인테이크는 일반 문진과 결이 다릅니다. 환자가 처음부터 정리된 이야기로 오는 경우가 드물기 때문입니다. 게다가 말이 끊기기도 하고, 같은 질문에도 그날 컨디션에 따라 답이 달라지기도 하며, 정작 들어야 할 내용은 우회적인 표현 속에 숨어 있습니다. 그래서 임상의는 듣는 기술과 묻는 기술을 함께 써야 합니다.

여기에 AI가 들어오면 풍경이 조금 달라집니다. AI 면담 도구가 초안을 잡아주면 임상의는 시간을 아낄 수 있는데요. 다만 그 도구가 정말 환자의 이야기를 빠짐없이 들었는지, 아니면 듣지 않은 내용을 메운 것은 아닌지 따져볼 장치가 필요합니다. 그렇다면 병원은 무엇을 기준으로 삼아야 할까요. 기존 벤치마크는 객관식이나 짧은 답변 위주라서 열린 면담의 결을 담기 어렵습니다. 실제 진료처럼 길게 묻고 답하는 과정을 그대로 평가해야 하는데, 그걸 사람 임상의에게 매번 부탁하면 부담이 커집니다. 비교는 하고 싶고, 부담은 줄이고 싶고, 그러면서도 임상적으로 따질 수 있어야 한다는 세 가지 조건이 한꺼번에 걸린 셈입니다.

답안지가 아니라 진료실을 통째로 옮겨왔습니다

이 연구가 고른 해법은 꽤 직관적입니다. 시험지를 만드는 대신 진료실을 하나 빌려오는 것이죠. 연구진이 만든 InterviewPlayground는 열린 면담을 위한 기억 증강 환자 시뮬레이터인데, 면담자가 말을 걸면 그에 맞춰 반응하는 가상 환자를 올릴 수 있습니다.

여기서 재미있는 질문이 생깁니다. 가상 환자면 그냥 대본대로 답하는 것 아닌가요. 이 지점에서 설계가 갈리는데, InterviewPlayground 속 환자는 이전 대화 내용을 기억하면서 답하기 때문에 같은 질문을 언제 꺼내느냐에 따라 답의 깊이가 달라집니다. 생각해 보면 사람도 비슷하게 반응합니다. 처음 만난 사람에게 곧바로 민감한 이야기를 꺼내지 않다가도, 신뢰가 쌓이면 조금씩 더 털어놓게 되니까요. 그래서 면담 실력은 질문 목록이 아니라 질문 순서와 타이밍에서 드러나는데, 이 시뮬레이터는 바로 그 부분을 시험할 수 있게 만듭니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 모델이 무엇을 아느냐가 아니라, 어떻게 물어서 무엇을 끌어내느냐를 본다는 점에서 평가의 층위가 달라지기 때문입니다.

비네팅 속에 숨겨둔 보물찾기가 평가의 뼈대입니다

평가를 설계하는 방식도 손에 잡힙니다. 연구진은 전문가가 직접 쓴 비네팅, 즉 짧은 환자 사례문을 출발점으로 삼았는데, 이 사례문 안에는 인테이크에서 마땅히 회수해야 할 임상 항목들이 미리 심어져 있습니다. 이를테면 수면 변화라든지 식욕 변화라든지 과거 치료 경험 같은 것들이죠. (참고로 이런 항목은 정답지처럼 미리 목록으로 고정해 두는데요. 면담이 끝난 뒤에 무엇을 건졌는지 대조하는 기준이 됩니다.)

면담이 시작되면 그 비네팅은 살아 움직이는 환자로 바뀝니다. 면담자는 무엇을 물어볼지 스스로 정해야 하고, 환자는 그 질문에 맞춰 기억을 더듬으며 답합니다. 면담이 끝난 뒤에는 심어둔 항목 가운데 몇 개를 실제로 회수했는지를 셈으로써 면담의 빈틈없는 정도를 가늠하는데, 시험으로 치면 빈칸 채우기가 아니라 환자와 대화하면서 빈칸이 어디 있는지도 스스로 찾아내는 시험에 가깝습니다.

문제는 그다음입니다. 많이 건져 올렸다고 해서 늘 좋은 면담일까요. 양과 질을 함께 보지 않으면 평가가 한쪽으로 기울 수 있으니까요. 그래서 연구진은 회수율 바깥의 차원도 함께 설계했는데, 그 이야기는 파일럿 결과에서 이어가겠습니다.

AI가 이겼다는 이야기가 아닙니다

본론으로 들어가기 전에 오해를 하나 걷어낼 필요가 있습니다. 이 논문은 AI가 임상의보다 진료를 잘한다는 이야기가 아닙니다. 파일럿에서 나온 숫자만 떼어 보면 그런 식으로 읽힐 여지가 있는데요. 저는 여기서 잠깐 멈칫했습니다. 회수율이 높다는 사실과 진료를 맡길 수 있다는 판단 사이에는 여전히 넓은 간격이 있기 때문입니다.

연구진이 말하는 것은 훨씬 조심스럽습니다. 서로 다른 면담 방식을 같은 진료실 조건에서 비교할 수 있는 무대를 만들었다는 것이고, 그 무대에서 드러난 차이를 임상의 기준에 비춰 해석하자는 것입니다. 다시 말해 AI가 사람을 대체하는 그림이 아니라, AI가 돕는 진료가 현장 기준에서 어디까지 왔는지 반복해서 확인할 수 있는 품질관리 장치를 마련하자는 제안입니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 현장에서 어떤 부담이나 위험을 만드는지를 함께 봅니다. 이 논문도 같은 태도로 읽어야 합니다.

25분짜리 작은 진료실에서 벌어진 일

파일럿의 설정은 작지만 짜임새가 있습니다. 25분짜리 면담을 6명의 임상의가 참여하는 규모로 돌렸고, 상대역은 GPT 기반 LLM 면담자와 사람 임상의였습니다. 조건을 맞춘 뒤에 같은 방식의 가상 환자를 상대로 열린 면담을 진행했기에, 짧은 시간이지만 첫 진료의 밀도를 그대로 살리려는 선택으로 읽힙니다.

결과부터 숫자 안에 넣어 이야기하면, 심어둔 임상 항목 회수율은 LLM 면담자가 88.0%, 사람 임상의가 38.9%였습니다. 같은 가상 환자를 두고 두 배가 넘는 차이가 난 것인데, 처음 보면 꽤 놀라운 간격입니다. 그런데 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. LLM은 지치지 않고 집요하게 묻는 데 강하고, 빈틈이 보이면 바로 파고드는 스타일이기 때문입니다. 반면 사람 임상의는 제한된 시간 안에 관계를 만들면서 우선순위를 가리느라 모든 항목을 같은 무게로 묻지 않습니다.

저는 그래서 이 대목을 양날의 결과로 읽었습니다. 회수율만 보면 LLM이 앞서지만, 그 앞섬이 곧 진료의 우열을 뜻하지는 않기 때문입니다. 실제로 뒤에 이어지는 두 숫자가 그 해석에 제동을 겁니다.

많이 들은 것과 꿰맞춘 것은 다릅니다

두 번째 숫자는 면담에서 근거 없이 덧붙인 임상 추론의 비율입니다. LLM은 56.8%, 사람 임상의는 27.8%였는데, 다시 말해 LLM은 더 많이 건져 올렸지만 그 과정에서 듣지 않은 내용을 추론으로 메우는 경우도 더 잦았다는 뜻입니다.

이 차이는 생각보다 중요합니다. 인테이크 기록에서 추론과 관찰이 뒤섞이면 그 뒤에 오는 판단이 어긋날 수 있기 때문입니다. 환자가 말했다는 사실과 면담자가 그렇게 짐작했다는 사실은 기록 위에서 엄격히 갈라야 하는데, LLM은 그 경계를 자주 흐렸던 셈입니다. 예컨대 환자가 피로감을 호소했다는 관찰에서 곧바로 특정 진단 쪽으로 기울어진 해석을 얹는 식이죠. 반면 사람 임상의는 그 지점에서 한 박자 쉬어가는 편인데, 아직 근거가 모자라니 다음 질문으로 미뤄두는 선택을 합니다.

그렇다면 회수율 88.0%라는 숫자를 어떻게 다시 읽어야 할까요. 많이 들었다는 점은 분명하지만, 그 안에 확인되지 않은 해석이 섞여 있다면 점수만큼 안심할 수는 없습니다. 평가가 회수율 하나만 봤더라면 이 함정을 놓쳤을 텐데요. 연구진이 추론 비율을 나란히 둔 이유가 여기에 있다고 봅니다.

안전에 대한 한 줄이 진료의 온도를 바꿉니다

세 번째 숫자는 안전 우려를 어떻게 서술했는지에 관한 것입니다. 확인된 안전 우려를 제대로 특성화한 비율, 즉 위험의 성격과 정도를 기록으로 남긴 비율은 사람 임상의가 66.7%, LLM이 33.3%였기에 회수율 그래프와 방향이 정반대로 뒤집혔습니다.

진료 현장에서 이 차이는 아침과 밤의 차이만큼 큽니다. 안전과 관련된 내용은 듣는 것으로 끝나지 않기 때문입니다. 무엇을 들었고, 그 내용의 시급성을 어떻게 판단했으며, 다음 조치는 무엇인지까지 글로 남겨야 다음 근무자가 같은 온도로 이어받을 수 있습니다. 사람 임상의는 이 대목에서 필터가 좁아집니다. 다른 항목은 뒤로 미루더라도 안전만큼은 구체적으로 적으려 하기 때문입니다. 반면 LLM은 안전 단서를 스치고 지나가거나, 들어놓고도 기록의 무게를 다르게 두는 모습이었습니다.

개인적으로 이 대목이 파일럿에서 가장 오래 남았습니다. 많이 묻는 기술과 책임 있게 남기는 기술이 서로 다른 근육이라는 점을 숫자로 보여주기 때문입니다. AI 면담이 진료 보조로 들어가려면 질문의 집요함만큼 기록의 책임감이 갖춰져야 하는데, 지금 간격으로 보면 후자 쪽에 손이 더 가야 합니다.

부담을 낮추지 못하면 품질관리는 현장에 안착하지 못합니다

이제 시선을 연구 설계 전체로 넓혀 보겠습니다. 연구진이 처음부터 내건 조건은 비교 가능성, 낮은 임상의 부담, 그리고 건강 시스템이 쓰는 임상적 수준의 측정이라는 세 가지였습니다. 이 가운데 부담 이야기는 자꾸 뒤로 밀리기 쉬운데요. 현장 관점에서 보면 오히려 여기가 관문입니다.

병원에서 새로운 면담 도구를 도입한다고 해보죠. 분기마다 임상의들을 모아 모의 진료를 돌리고 일일이 채점한다면, 석 달을 넘기기 어렵습니다. 당직과 외래로 이미 빠듯한 일정에 평가 업무까지 얹히기 때문입니다. 그래서 시뮬레이터 위에 평가 방식을 올리겠다는 발상은 운영의 문법을 따릅니다. 가상 환자를 상대로 밤에도 돌릴 수 있고, 같은 조건을 반복할 수 있으며, 사람이 매번 옆에 붙어 있지 않아도 비교가 돌아가기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이렇게 모은 점수를 병원의 품질관리 회의에서 그대로 쓸 수 있을까요. 연구진의 답은 조심스러운데, 이번 파일럿은 배포된 품질관리를 향한 준비 단계라는 것입니다. 다시 말해 매주 혹은 매달 돌아가는 정기 점검의 토대를 닦았다는 뜻인데, 아직 그 점검 자체를 현장에 붙여 운용한 단계는 아닙니다. 저는 이 거리 두기가 마음에 들었습니다. 가능성을 성과로 부풀리지 않고 다음에 확인할 일을 남겼기 때문입니다.

점수표를 넘어서 진료의 언어로 번역한 셈입니다

이 연구가 만든 평가 양식을 조금 더 뜯어보면, 단순 채점을 넘어선 장치가 보입니다. 연구진은 모의 인테이크 플랫폼을 직접 구축했고, 인테이크에 맞는 평가 방식을 함께 설계했습니다. 회수율처럼 셀 수 있는 지표도 있지만, 추론의 근거 여부나 안전 서술의 충실도처럼 읽어야 보이는 지표도 함께 두었기 때문입니다.

이런 구성이 낯익게 느껴지는 이유는 실제 진료 기록의 문법과 닮았기 때문입니다. 진료 기록은 있었던 일을 옮기는 칸과 판단하는 칸이 갈려 있습니다. 잘 쓴 기록은 두 칸의 경계가 분명하고, 다음 진료자가 어디까지가 사실이고 어디부터가 해석인지 바로 알 수 있죠. 이 평가 방식도 같은 선을 긋습니다. 무엇을 들었는지, 무엇을 덧붙였는지, 위험을 어떻게 남겼는지를 따로 묻기 때문입니다. 숫자로 환산되기 전의 진료 언어를 되도록 살리려는 선택으로 읽힙니다.

그렇다면 이 흐름은 임상의에게 어떤 메시지를 줄까요. AI가 내놓은 기록을 볼 때 어디를 먼저 의심해야 하는지 알려준다는 점입니다. 회수율이 높다는 첫인상에 기대지 말고, 근거 없는 추론이 섞였는지, 안전 서술이 뭉뚱그려졌는지를 먼저 확인하라는 것이죠. 평가가 진료의 눈을 닮을수록 현장에서 바로 쓸 수 있는 점검표가 됩니다.

다음에 확인할 일은 생각보다 분명합니다

파일럿은 규모가 작습니다. 25분 면담에 참여 임상의 6명이라는 조건만 봐도 일반화에는 거리가 있기 때문입니다. 저는 그래서 이 결과를 성적표가 아니라 다음 실험을 위한 지도처럼 읽었습니다. 어디에서 차이가 벌어졌는지, 그 차이가 어떤 설계에서 비롯했는지를 알려주는 지도 말이죠.

제가 앞으로 보고 싶은 것은 크게 세 갈래입니다. 첫째, 회수율과 추론 비율 사이의 교환 관계를 더 잘게 쪼개는 일입니다. 집요하게 물으면 회수율이 오르는 대신 추론도 늘어나는 것인지, 아니면 질문 방식을 바꾸면 둘을 함께 잡을 수 있는지가 궁금합니다. 둘째, 안전 서술을 끌어올리는 장치에 대한 시험입니다. 안전 단서가 나왔을 때 되묻고 구체화하는 규칙을 면담 흐름에 심으면 33.3%라는 숫자가 어디까지 움직일지 보고 싶습니다. 셋째, 기억 증강의 깊이에 대한 점검입니다. 가상 환자가 얼마나 오래된 맥락을 붙들고 답하는지에 따라 면담 난이도가 달라질 텐데, 그 기억의 길이를 바꿔가며 평가가 흔들리는지 확인할 필요가 있습니다.

여기서 한 가지 덧붙이고 싶은 점은, 이런 후속 작업이 모두 같은 무대 위에서 가능하다는 것입니다. InterviewPlayground라는 진료실이 이미 있으니까요. 면담자만 갈아 끼우면서 조건을 바꿔볼 수 있기 때문입니다. 비교 가능성을 처음부터 설계에 넣은 덕분입니다.

그래서 병원은 무엇을 준비해야 할까요

마지막으로 현장의 준비 이야기로 넘어가 보겠습니다. AI 보조 인테이크를 쓴다는 것은 결국 기록의 책임을 나누는 일입니다. 면담을 누가 시작했든, 그 기록을 보고 서명하는 쪽은 임상의이기 때문입니다. 그렇다면 병원은 도입 전에 물을 수 있어야 합니다. 우리 환자와 비슷한 가상 환자를 상대로 어떤 항목을 빠뜨리는지, 근거 없는 추론은 얼마나 섞는지, 안전 서술은 현장 기준에 맞는지를 말이죠.

이 논문은 그 질문을 던질 수 있는 언어를 제공합니다. 회수율 한 줄로 끝내지 않고, 추론과 안전 서술을 나란히 놓고 읽는 방식이죠. 운영 측면에서 보면 이 구성은 꽤 실용적입니다. 새 모델이나 새 프롬프트가 나올 때마다 같은 가상 환자군에게 같은 시간만큼 면담을 시켜보면, 무엇이 달라졌는지 바로 드러나기 때문입니다. 밤사이 업데이트된 모델이 아침 외래에 들어가기 전에, 이 무대에서 먼저 밤샘 시험을 치르는 셈입니다.

물론 이 무대가 실제 진료와 같다고 말할 수는 없습니다. 가상 환자는 아무리 정교해도 실제 환자의 망설임이나 침묵, 표정의 뉘앙스를 온전히 담기 어렵습니다. 그렇다면 이 간격을 어떻게 다뤄야 할까요. 저는 시뮬레이터를 현실의 대체품이 아니라 예행연습장으로 보는 편이 맞다고 봅니다. 예행연습에서 막히는 지점은 본무대에서도 막히기 마련이니까요.

사람의 역할은 어디에 남을까요

처음에 던진 질문으로 돌아올 차례입니다. AI가 면담을 돕는 시대에 병원의 검증 방식은 어떻게 달라져야 할까요. 이 논문이 주는 답은 의외로 사람 쪽에 무게를 둡니다. 평가의 기준을 임상의 손에 쥐여주고, 그 기준으로 AI를 반복해서 묻자는 것이죠.

숫자를 다시 모아 보면 그림이 선명해집니다. LLM 면담자는 심어둔 항목을 88.0%까지 건져 올리며 사람 임상의를 앞섰지만, 근거 없는 추론도 56.8%로 더 잦았고, 안전 우려의 특성화는 33.3%에 머물렀습니다. 잘 듣는 귀와 책임 있게 남기는 손이 따로 논다는 점을 보여주는 대목입니다. 그래서 저는 이 파일럿을 AI의 승리담이 아니라 임상의 기준이 왜 필요한지를 보여주는 사례로 읽었습니다.

그렇다면 사람의 역할은 무엇일까요. 묻는 일을 완전히 넘기는 것이 아니라, 무엇을 물어야 하는지, 무엇을 기록으로 남겨야 하는지, 어디에서 멈춰야 하는지를 정하는 일이 아닐까 싶습니다. AI가 초안을 잡아오는 진료실일수록 그 기준을 세우는 손은 더 단단해야 합니다. 이 작은 가상 진료실이 가리키는 방향도 바로 그곳을 향하고 있습니다.