심장 전체를 읽는 법, 잠재 주의 마스크드 오토인코더로 엮는 멀티모달 심장 표현

이번에 다룰 논문은 arXiv에 공개된 Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning이며, 식별자는 arXiv 2609.12035로 안내된 연구입니다. 이 논문은 심장 진단에 쓰이는 서로 다른 검사들을 파인튜닝 단계에서 뒤늦게 합치지 않고, 자기지도 사전학습 단계부터 환자 단위 표현으로 함께 배우자는 제안을 담고 있습니다. 원문 논문으로 이어지는 링크는 제목 아래에 걸려 있습니다.

저는 이 첫 문단을 일부러 건조하게 썼습니다. 검색이나 피드로 들어온 분에게는 무엇에 관한 글인지가 먼저 필요하기 때문입니다. 그렇다면 이제 질문을 하나 던져도 될까요. 심전도와 심초음파와 흉부 사진이 각자 다른 말을 하는데, 우리는 왜 지금까지 모형을 따로 키워놓고 마지막에만 합치려고 했을까요.

왜 이 논문을 끝까지 읽어봤냐면요

안녕하세요, 패트릭입니다. 제가 이 논문에서 가장 흥미롭게 본 부분은 거창한 점수표가 아니라 문제의식의 순서였습니다. 보통 멀티모달 연구는 각 모달리티의 인코더를 먼저 잘 만들고, 나중에 융합 모듈을 붙이는 방향으로 흘러갑니다. 그런데 이 논문은 순서를 뒤집는데, 처음부터 함께 읽는 법을 배우자는 쪽에 가깝습니다. 이 차이는 생각보다 중요합니다. 따로 배운 뒤에 합치는 방식은 각 검사가 서로를 어떻게 보완하는지를 늦게야 배우기 때문입니다.

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 심장 진단도 비슷하다는 생각이 들었습니다. 심전도 하나만 보면 리듬의 이상이 보이고, 심초음파를 보면 벽 운동과 판막의 움직임이 보이며, 흉부 X선을 보면 폐 울혈과 심장 음영의 윤곽이 보입니다. 그런데 실제 진료실에서는 이 소견들이 따로 놀지 않는데, 모형 학습에서는 오랫동안 따로 놀았다는 점이 저를 멈칫하게 했습니다. 그래서 저는 이 논문을 메모하면서 읽었습니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이런 기준으로 보면 LAMAE라는 이름의 이 모형은 질문 자체가 좋습니다. 표현을 언제 합칠 것인가라는 질문이기 때문입니다. 이 질문을 따라가면 구조와 실험과 운영 이야기가 자연스럽게 이어집니다.

심장은 원래 여러 장면으로 읽히는 장기입니다

심장 진단은 처음부터 멀티모달이었습니다. 심전도는 전기 신호의 시간 흐름을 보여주는데, 이 신호는 수 초 사이의 리듬 변화를 놓치지 않습니다. 반면 심초음파는 같은 심장을 움직임으로 보여주며, 어느 벽이 늦게 움직이는지나 역류가 어디에서 생기는지를 드러냅니다. 그리고 흉부 X선은 심장 자체보다 그 주변의 결과를 보여주는데, 폐에 물이 찼는지나 심장 음영이 커졌는지를 통해 부담의 흔적을 읽게 합니다. 여기에 혈압과 검사 수치 같은 임상 변수가 더해지면, 그날 환자의 상태라는 문맥이 생깁니다.

그런데 각 검사는 서로 다른 시간에 서로 다른 이유로 찍힙니다. 입원 한 건을 놓고 보면 심전도는 여러 번 찍힐 수도 있고, 심초음파는 특정 시점에 한두 번만 있을 수도 있으며, 흉부 사진은 응급실 도착 당시에만 있을 수도 있습니다. 그래서 입원 기록은 정갈한 표가 아니라 들쭉날쭉한 주머니에 가깝습니다. 이 주머니를 억지로 같은 크기로 자르면 정보가 깨지는데, 기존 파이프라인은 종종 그렇게 다뤘습니다.

여기서 재미있는 질문이 생깁니다. 서로 다른 리듬으로 도착하는 관찰들을 하나의 환자 이야기로 묶으려면 무엇이 필요할까요. 저는 이 대목에서 사람의 판독 과정을 떠올렸습니다. 순환기내과 의사는 심전도만 보고 판단하지 않고, 초음파 소견을 옆에 놓고 서로의 빈틈을 메웁니다. 일종의 교차 확인처럼요. 논문이 말하는 intra 모달 구조와 inter 모달 구조도 이와 비슷한 방향인데, 각 검사 안의 패턴과 검사 사이의 관계를 함께 모델링하겠다는 의미로 읽힙니다.

파인튜닝 때 합치면 늦는 이유

많은 의료 파운데이션 모형은 각 모달리티를 따로 사전학습한 뒤에 다운스트림 과제에서 합치는 방식을 택했습니다. 이 방식은 개발하기에는 편합니다. 심전도 팀은 심전도만, 영상 팀은 영상만 맡으면 되니까요. 하지만 이렇게 따로 큰 모형은 서로를 모른 채 자라는데, 나중에 합치는 단계에서야 처음 인사를 나누는 셈입니다. 그래서 보완 관계는 깊게 배우기 어렵습니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 따로 학습된 표현들은 서로 다른 기하를 갖기 쉬운데, 이를테면 심전도 임베딩이 리듬 중심으로 뭉쳐 있고, 영상 임베딩이 형태 중심으로 뭉쳐 있다면, 뒤늦게 붙인 융합층은 두 언어를 통역하는 데 급급해집니다. 반면 처음부터 함께 배우면 통역이 아니라 공동의 언어를 만드는 쪽으로 기울 수 있습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 융합의 시점이 표현의 성격을 바꾸기 때문입니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 학습시킬까요. 서로 다른 신호를 같은 손실로 묶는 일은 말처럼 쉽지 않습니다. 영상에 잘 맞는 마스킹 비율이 시계열에는 너무 가혹할 수도 있고, 텍스트에 가까운 임상 변수에는 또 다른 민감도가 있을 수 있기 때문입니다. 그래서 함께 배운다는 선언 다음에는 구체적인 장치가 필요합니다. 논문은 그 답을 잠재 공간에서의 직접 교환이라는 형태로 내놓습니다.

잠재 공간에서 직접 대화를 나누는 방식

LAMAE는 멀티모달 구조 인식 마스크드 오토인코더로 소개되는데, 이 설명을 풀면 세 가지 요소가 얽혀 있습니다. 첫째는 마스크드 오토인코더라는 학습 방식이며, 입력의 일부를 가리고 원래 내용을 복원하면서 표현을 배웁니다. 둘째는 구조 인식이라는 수식어인데, 심장 검사가 가진 계층과 가변성을 무시하지 않겠다는 뜻으로 읽힙니다. 셋째는 잠재 주의라는 교환 방식이며, 각 모달리티가 원시 신호 단계에서 억지로 섞이지 않고 잠재 표현 단계에서 정보를 주고받는다는 의미입니다.

이 설계가 마음에 드는 이유는 각 모달리티의 개성을 해치지 않기 때문입니다. 심전도의 시간 해상도를 영상의 해상도에 맞추려고 리샘플링을 반복하면, 오히려 중요한 미세 파형이 뭉개질 수 있습니다. 그런데 잠재 공간에서 만나면 각 인코더는 자기 신호에 맞는 해상도를 유지한 채로, 서로에게 필요한 요약만 주고받을 수 있습니다. 생각해보면 사람도 비슷하게 배웁니다. 심전도 판독법을 잊지 않으면서 초음파 소견을 참고하는 것처럼요.

그렇다면 이 대화는 어디에서 일어날까요. 논문은 공유 latent attention 모듈을 둔다고 설명하는데, 저는 이를 모든 검사가 잠시 모이는 회의실로 이해했습니다. 각 검사는 자기 요약을 들고 와서 다른 요약과 비교하고, 다시 자기 자리로 돌아가 복원에 씁니다. 이 회의가 사전학습 내내 반복되면, 표현은 처음부터 서로를 의식한 형태가 됩니다. 나중에 특정 검사가 빠져도 당황하지 않는 이유가 여기에서 시작됩니다.

study view entity라는 계층이 하는 일

입원 한 건에는 검사가 여러 겹으로 들어 있습니다. 이를테면 하나의 입원 안에 여러 study가 있고, 각 study 안에 여러 view가 있으며, 그 안에 여러 entity가 있다는 식의 계층입니다. 논문이 말하는 study view entity 계층은 바로 이 겹을 다루는 그릇입니다. 개수가 매번 다르다는 점이 이 계층을 필요하게 하는데, 어떤 날은 심전도가 세 장이고 어떤 날은 한 장이기 때문입니다.

이 계층이 없으면 어떻게 될까요. 고정된 슬롯을 미리 만들어두고 비어 있으면 0으로 채우는 방식을 쓰기 쉽습니다. 그런데 이렇게 하면 모형은 비어 있다는 사실 자체를 이상한 신호로 오해할 수 있습니다. 반면 계층적 집계는 있는 것만 모아서 위로 올리는 방식이라서, 개수가 달라도 같은 환자 표현으로 수렴할 수 있습니다. 그래서 가변적인 관찰을 집계한다는 표현이 나오는데, 이는 단순한 평균이 아니라 구조를 따라 올라가는 집계로 읽힙니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 계층이 있다고 해서 모든 문제가 풀리는 것은 아니기 때문입니다. 가령 같은 입원 안에서도 입원 첫날의 흉부 사진과 일주일 뒤의 사진은 의미가 다를 수 있는데, 시간 순서와 임상 맥락을 얼마나 살렸는지는 논문의 요약만으로는 다 알기 어렵습니다. 하지만 방향 자체는 분명합니다. 표를 맞추기 위해 데이터를 자르는 대신, 데이터의 모양을 받아들이는 그릇을 만들자는 것이죠. 운영 측면에서 보면 이 차이는 상당히 큽니다. 병원 데이터는 애초에 깔끔하게 오지 않기 때문입니다.

구멍이 있는 입력을 그대로 통과시키는 법

결측은 병원 데이터의 일상이지 예외가 아닙니다. 밤사이 검사가 밀리거나, 특정 장비가 고장 나거나, 전원이 꺼진 이동식 촬영 장비 때문에 흉부 사진이 늦어지는 일은 흔합니다. 결측에 약한 모형은 구멍 앞에서 멈칫하고, 어쩔 수 없이 결측을 메우는 전처리에 의존할 수밖에 없는데, 이 대체 로직이 바뀔 때마다 예측 역시 함께 흔들립니다. 반면 결측에 강한 모형은 구멍이 있어도 그대로 통과합니다. 읽을 것은 읽고, 모르는 것은 모른다고 말하죠.

LAMAE가 내세우는 우아한 결측 처리도 같은 맥락에서 이해됩니다. 모든 모달리티가 다 있어야만 돌아가는 모형이라면, 현실에서는 자주 멈출 수밖에 없습니다. 그런데 사전학습부터 모달리티가 빠진 경우를 자연스럽게 다루도록 배우면, 테스트 단계에서 하나가 빠져도 표현이 크게 무너지지 않습니다. 저는 그래서 이 마스크드 문맥 학습을 연구실 점수 이상으로 평가했습니다. 운영의 아침을 지켜주는 장치이기 때문입니다.

문제는 그다음입니다. 결측을 견딘다는 말이 결측을 무시한다는 뜻은 아니기 때문입니다. 없는 정보를 있는 것처럼 메우면 위험하고, 그렇다고 매번 예측을 거부하면 쓸모가 없습니다. 이 사이에서 필요한 태도는 불확실함을 안고 가는 법인데, 마스크드 오토인코더의 복원 학습은 그 훈련에 어울립니다. 가려진 부분을 복원해보면서, 무엇이 추론 가능하고 무엇이 그렇지 않은지를 몸으로 배우기 때문입니다. 이 감각이 환자 단위 표현에 남으면, 단일 모달리티만 남았을 때도 덜 흔들립니다.

120만 입원 기록으로 무엇을 배웠을까요

사전학습 규모는 MIMIC-IV의 120만 건이 넘는 입원 기록으로 안내됩니다. 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 120만이라는 규모 자체보다 중요한 것은 그 안에 네 가지 축이 함께 들어 있다는 점인데, 심전도와 심초음파와 흉부 X선과 임상 변수가 같은 입원이라는 끈으로 묶여 있기 때문입니다. 같은 환자의 같은 시기를 서로 다른 눈으로 본 기록이 나란히 있다는 뜻이죠. 그래서 규모는 양이면서 동시에 질입니다.

입원 단위라는 묶음은 환자 표현을 배우기에 자연스러운 단위인데, 같은 입원 안의 검사들은 서로를 설명하는 힌트가 되기 때문입니다. 이를테면 심전도에서 이상이 보이면 초음파에서 벽 운동 이상이 따라오는 식의 상관관계가 반복되면, 모형은 두 신호 사이의 다리를 놓기 시작합니다.

저는 여기서 조금 의심했습니다. 대규모 병원 데이터에는 장비와 병원과 시기에 따른 편향이 섞여 있기 때문입니다. 같은 기종의 심전도 기계에서만 배우면 다른 병원의 파형에서는 흔들릴 수 있고, 특정 시기의 촬영 프로토콜에 과적합될 수도 있습니다. 논문의 요약만으로는 이 편향을 어떻게 다뤘는지 다 알 수 없습니다. 그럼에도 입원 단위로 묶인 멀티모달 기록을 이 규모로 사전학습했다는 사실 자체는 분명한 진전입니다. 심장을 한 장면이 아니라 여러 장면의 묶음으로 배우는 길이 열리기 때문입니다.

네 가지 병원 업무에서 벌어진 일

평가는 입원 중 사망과 ICD-10 코딩과 DRG 코딩과 재원 기간 같은 병원 단위 과제들로 안내됩니다. 이 과제 선택이 흥미로운 이유는 각자 다른 결을 묻기 때문입니다. 입원 중 사망은 상태의 위중함을 묻고, ICD-10 코딩은 진단명의 분류를 묻고, DRG 코딩은 자원과 지불 체계와 연결된 그룹을 묻고, 재원 기간은 흐름과 병상 운영을 묻습니다. 하나의 환자 표현이 이 서로 다른 질문들에 두루 답해야 한다는 것은, 표현이 한 가지 기술에만 과적합되지 않았다는 뜻이 됩니다.

결과는 모달리티별 사전학습과 강력한 대조 학습 및 비전 언어 베이스라인을 앞선다고 보고됩니다. 이 문장을 읽을 때는 비교의 조건을 함께 봐야 합니다. 같은 계산 예산인지, 같은 데이터인지, 같은 파인튜닝 절차인지에 따라 해석이 달라지기 때문입니다. 요약만으로는 그 조건을 다 확인할 수 없으므로, 저는 순위를 단정하기보다 방향에 주목합니다. 사전학습 단계부터 함께 배운 표현이 뒤늦게 합친 표현보다 병원 업무에서 더 잘 통했다는 방향 말입니다.

이와 함께 유니모달 과제에서도 경쟁력을 유지한다는 대목이 있습니다. 이 대목은 생각보다 중요합니다. 멀티모달로 배웠다고 해서 단일 모달리티 과제에서 무조건 좋아지는 것은 아니기 때문입니다. 오히려 여러 신호에 의존하다가 하나의 신호만 주어지면 헤매는 경우도 있습니다. 그런데도 단일 과제에서 경쟁력을 유지한다면, 함께 배우는 과정이 각 모달리티의 눈을 흐리지 않았다는 의미가 됩니다. 저는 이 부분을 모형의 예의라고 느꼈습니다. 함께 배우되 각자의 시력을 해치지 않았다는 것이죠.

하나의 모달리티만 남았을 때가 더 말해줍니다

이 논문에서 제가 앞으로 보고 싶은 것은 아니고, 이미 보고된 것 중에서 가장 오래 남는 대목은 테스트 단계에 단일 모달리티만 있을 때도 이득이 유지된다는 보고입니다. 이 보고는 얼핏 작아 보이지만 실제로는 큽니다. 학습 때는 여러 검사를 함께 봤는데, 시험 때는 하나만 보고도 더 잘한다는 뜻이기 때문입니다. 전이된 것이 있다는 증거처럼 읽힙니다.

이유는 intra와 inter 구조를 함께 모델링한 덕분으로 설명됩니다. 각 검사 안의 패턴을 잘 읽는 힘과 검사 사이의 관계를 읽는 힘이 함께 자랐다는 것이죠. 예를 들어 심전도만 주어졌을 때도, 초음파와 함께 배운 시절의 기억이 심전도 표현 안에 남아 있다면, 모형은 보이지 않는 초음파를 꾸며내는 것이 아니라 심전도의 읽는 법 자체가 더 단단해진 상태가 됩니다. 여기서는 구조가 남긴 흔적이 성능으로 이어집니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 아니, 이번에는 반대로 묻겠습니다. 이 이득은 어디까지 이어질 수 있을까요. 모든 병원이 네 가지 모달리티를 다 갖추고 있지는 않기 때문입니다. 작은 병원에서는 심초음파 판독의가 상주하지 않을 수도 있고, 흉부 사진의 촬영 주기도 다를 수 있습니다. 이런 곳에서 단일 모달리티만으로 더 나은 표현을 쓸 수 있다면, 그 가치는 논문의 표를 넘어섭니다. 다만 여기까지 일반화하기에는 데이터가 부족합니다. MIMIC-IV라는 한 축의 데이터에서 배운 표현이 다른 병원과 다른 장비와 다른 인구 집단에서도 같은 강건함을 보일지는 별도의 검증이 필요하기 때문입니다.

그래서 다음에 제가 보고 싶은 장면은요

이제 앞에서 미뤄뒀던 질문으로 돌아올 차례입니다. 함께 배우는 것이 정말 다른 길을 만드는 것일까요, 아니면 더 좋은 최적화에 불과할까요. 이 질문에 답하려면 제거 실험의 디테일이 필요합니다. 잠재 주의 모듈을 빼면 무엇이 깨지는지, 계층 집계를 평균으로 바꾸면 결측 상황에서 무엇이 무너지는지, 마스킹을 끄면 전이가 사라지는지를 하나씩 봐야 합니다. 요약만으로는 그 답을 다 알 수 없으므로, 저는 원문을 따라가며 그 조건을 확인할 생각입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 모형은 병원의 밤을 견딜 수 있을까요. 입원 기록은 실시간으로 도착하고, 일부는 늦고, 일부는 고치고, 일부는 취소됩니다. 배치로 깔끔하게 모아서 돌리는 평가와 달리, 운영에서는 스트리밍과 재계산과 버전 관리가 필요합니다. 환자 표현을 언제 다시 계산할지, 어떤 검사가 추가됐을 때 어디까지 다시 볼지를 정해야 합니다. 논문이 연 방향이 맞다면, 이런 증분 업데이트와 잘 어울릴 가능성이 있습니다. 있는 것만 모아 위로 올리는 구조이기 때문입니다.

그렇다면 사람의 역할은 무엇일까요. 저는 이 질문을 남겨두고 싶습니다. 모형이 여러 검사를 함께 읽을수록, 의사의 읽는 법도 달라질 수 있기 때문입니다. 모형이 심전도와 초음파 사이의 연결을 짚어주면, 의사는 그 연결이 생리학적으로 말이 되는지 판단해야 합니다. 기계가 찾아낸 상관이 우연인지 필연인지를 가르는 일은 여전히 사람의 몫입니다. 오늘 다룬 논문은 그 협업의 출발점을 마련합니다. 심장을 한 장의 사진이 아니라 여러 장면의 합주로 읽자는 제안이기 때문입니다. 다음에 원문을 펼칠 때는 그 합주가 어디에서 어긋나는지를 더 자세히 듣고 싶습니다.