MontageFlow: 물리적으로 틀리지 않는 EEG 생성을 향한 한 걸음

MontageFlow: Physically Valid High Fidelity EEG Generation은 arXiv에 2610.14507번으로 공개된 연구로, 두피 뇌파(EEG) 합성 신호가 반드시 지켜야 하는 몽타주 항등식을 생성 구조 안에서 강제하는 방법을 제안합니다. 이 연구가 내세우는 주장은 하나의 문장으로 정리되는데, 물리적 타당성을 구조로 보장하면 통계적 충실도가 희생되는 것이 아니라 오히려 함께 좋아진다는 것입니다. 제목 아래 링크된 원문에는 실험 설정과 결과가 그대로 담겨 있으니, 이 글은 그 흐름을 따라가며 왜 그런 일이 생기는지를 풀어보려는 해설입니다.

이 논문을 집어 든 건 점수 때문이 아니었습니다

안녕하세요, 패트릭입니다. 저는 보통 새로운 생성 모델 논문을 볼 때 벤치마크 표부터 넘겨보는 편인데요. 이번에는 표보다 문제 설정에서 멈칫했습니다. EEG 데이터가 부족하고 개인정보 때문에 공유도 어렵다는 이야기는 익숙했지만, 지금의 생성 모델들이 보고된 점수와 상관없이 물리적으로 성립할 수 없는 신호를 만들고 있었다는 대목에서는 눈이 갔습니다.

생각해보면 사람도 비슷하게 배웁니다. 모의고사 점수는 잘 나오는데 풀이 과정이 물리 법칙에 어긋난다면, 그 점수를 그대로 믿기 어렵죠. 그런데 EEG 생성 분야에서는 오랫동안 점수만 보고 넘어갔다는 것이 연구진의 지적입니다. 그렇다면 무엇을 놓친 걸까요. 오늘은 그 질문을 따라가며 MontageFlow라는 답을 살펴보겠습니다.

저는 이 논문에서 가장 흥미롭게 본 부분이 점수 개선 자체보다 점수와 타당성의 관계가 뒤집힌 지점입니다. 보통 제약을 걸면 표현력이 줄고 점수가 나빠질 거라고 예상하는데요. 여기서는 제약을 걸었더니 오히려 통계적 거리가 줄었습니다. 왜 그랬을까요. 그 이야기를 풀려면 먼저 EEG가 어떤 신호인지부터 짚어야 합니다.

EEG 채널 하나는 사실 뺄셈입니다

EEG를 처음 접하면 채널이 많다는 인상부터 받습니다. 두피에 전극을 여러 개 붙이고 시간에 따라 전압이 출렁이는 파형을 기록하니까요. 그런데 이 신호는 카메라로 찍은 영상처럼 각 채널이 독립적인 값을 갖는 것이 아닙니다. 각 채널은 두 전극 사이의 전압 차이를 기록한 뺄셈이기 때문입니다.

예를 들어 아침에 병동에서 검사하는 장면을 떠올려 보겠습니다. 환자는 침대에 누워 있고 머리에는 전극 캡이 씌워져 있습니다. A 전극과 B 전극 사이 전압 차이가 하나의 채널이 되고, B 전극과 C 전극 사이 차이가 또 다른 채널이 됩니다. 이렇게 정의가 겹치면 채널들 사이에는 자동으로 성립해야 하는 선형 관계가 생깁니다. 첫 번째 채널에서 두 번째 채널을 빼면 A와 C 사이의 관계가 나와야 하는 식이죠. 기록 방식, 즉 몽타주(montage)가 정해지면 이 항등식은 수학적으로 정확하게 따라옵니다.

이 차이는 생각보다 중요합니다. 사진을 합성할 때는 픽셀 값을 조금 바꿔도 여전히 사진으로 보이지만, EEG에서는 항등식을 어기면 그 순간 물리적으로 존재할 수 없는 신호가 되기 때문입니다. 전극 배치와 기록 방식을 알면 참인지 거짓인지 바로 판정할 수 있는데요. 그런데 기존 생성 모델들은 이 선을 넘나들었다고 합니다. 점수는 좋아 보이는데 자세히 보면 뺄셈 관계가 맞지 않는 파형이 나온 셈입니다.

그렇다면 왜 이런 일이 가능했을까요. 생성 모델은 보통 다채널 시계열을 자유로운 실수 행렬처럼 다루기 때문입니다. 채널 사이의 관계가 학습으로 자연스럽게 잡히겠지 하고 기대하지만, 정확한 선형 항등식은 근사로 맞추기 어려운 대상입니다. 거의 맞았다고 해서 유효한 것이 아니라, 정확히 맞아야만 유효하니까요. 여기서 재미있는 질문이 생깁니다. 평가 지표는 그동안 무엇을 보고 있었던 걸까요.

좋은 점수가 틀린 신호를 가려버린다면요

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. EEG 생성에서도 같은 태도가 필요한데요. 기존 충실도 지표들은 분포가 얼마나 비슷한지를 보지, 파형 하나하나가 물리 법칙을 지키는지는 묻지 않았던 것으로 보입니다.

연구진이 지적한 대목이 바로 여기입니다. 표준 충실도 지표들은 물리적 무효함을 감지하지 못했다는 것이죠. 분포 수준에서는 그럴듯해 보여도, 채널 사이의 항등식을 검사하면 어긋나 있다는 것입니다. 일종의 오답 노트처럼요. 시험 점수는 좋은데 풀이 과정을 뜯어보면 전제부터 틀린 답안과 비슷합니다.

문제는 그다음입니다. 지표가 틀림을 가려내지 못하면 연구社区는 틀린 방향으로 최적화될 수 있습니다. 점수를 올리기 위해 모델은 실제 분포의 겉모습을 더 정교하게 흉내 내지만, 항등식이라는 구조는 계속 비워두니까요. 저는 여기서 조금 의심했습니다. 혹시 점수가 낮은 모델 중에는 오히려 구조를 더 잘 지키는 경우가 있지 않을까 하고요. 연구진이 보고한 바에 따르면 기존 생성 모델들은 예외 없이 항등식을 어겼다고 하니, 점수와 타당성이 따로 놀았다는 해석이 설득력을 얻습니다.

그렇다면 평가를 어떻게 바꿔야 할까요. 분포 거리만 재는 지표 옆에 물리적 유효성을 검사하는 절차를 두는 것이 자연스럽습니다. 생성된 윈도우마다 몽타주 항등식의 잔차를 재면 되는데요. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 검사를 통과하지 못한 신호로 증강한 데이터셋을 임상 모델 학습에 쓰면 무슨 일이 생길까요. 아마도 모델은 현실에 존재하지 않는 상관관계를 배우게 될 것입니다.

정답 공간 안에만 머무르면 어떨까요

MontageFlow의 발상은 질문을 뒤집는 데서 출발합니다. 틀린 신호를 만든 뒤에 골라내는 대신, 처음부터 틀릴 수 없는 공간 안에서만 움직이도록 만들면 어떨까 하는 것이죠. 논문이 말하는 방식은 흐름 매칭(flow matching) 모델의 출력이 몽타주 항등식을 만족하는 신호들에만 머물도록 제한한다는 것입니다. 타당성을 사후에 바라는 것이 아니라 구조로 보장하는 셈입니다.

이 발상을 그림으로 비유해볼 수 있습니다. 넓은 들판에서 자유롭게 걷는 대신, 정확히 그어진 레일 위에서만 움직이는 열차를 만드는 것과 비슷합니다. 레일 위에서는 어디로 가든 탈선이라는 개념 자체가 없죠. MontageFlow도 비슷하게 생성 경로 전체를 유효한 부분공간 안에 가둡니다. 그래서 생성된 파형은 정의상 항등식을 어길 수 없습니다.

제가 앞으로 보고 싶은 것은 이런 보장 방식이 다른 생리 신호에도 그대로 이어질 수 있는지입니다. 심전도나 근전도처럼 전극 조합으로 유도되는 신호에도 비슷한 선형 관계가 있으니까요. 물론 각 신호마다 기하학이 다르겠지만, 출력 공간을 물리적으로 말이 되는 집합으로 제한한다는 원칙은 그대로 옮길 수 있을 것 같습니다.

그런데 여기서 자연스러운 반론이 생깁니다. 공간을 줄이면 다양성이 줄고 분포를 맞추기 어려워지는 것 아닐까요. 보통은 그렇게 생각하죠. 유효하지 않은 영역까지 탐색해야 실제 분포에 가까워질 수 있다고 믿기 때문입니다. 하지만 연구진의 보고는 반대였습니다. 타당성을 보장했더니 충실도도 좋아졌다는 것이죠. 이유를 이해하려면 흐름 매칭이라는 도구를 조금 더 들여다봐야 합니다.

사후 교정이 아닌 이유가 있습니다

여기서는 조금 조심해서 읽을 필요가 있습니다. 출력을 제한한다는 말을 들으면 사후 교정부터 떠올리기 쉽기 때문입니다. 일단 자유롭게 만들고 나서 항등식에 맞게 투영하면 되지 않느냐는 것이죠. 얼핏 보면 더 간단해 보입니다. 그런데 논문이 택한 길은 처음부터 유효한 공간 안에서 흐름을 정의하는 쪽이었습니다.

이 차이를 사람 일에 비유하면 이해가 쉽습니다. 보고서를 대충 쓰고 마지막에 맞춤법 검사기로 고치는 것과, 처음부터 문법에 맞게 문장을 쓰는 것은 다르죠. 사후 교정은 어긋난 부분을 메우지만, 중간 과정이 이미 틀린 방향으로 최적화되었다는 흔적을 남깁니다. 반면 처음부터 구조 안에서 움직이면 학습 과정 자체가 유효한 경로에만 집중됩니다.

실제 학습 관점에서 보면 이 선택은 꽤 현실적입니다. 생성 모델이 무효한 영역을 탐색하는 데 용량을 쓰지 않게 되니까요. 무효한 파형을 만들고 버리는 시행착오가 사라지고, 그 용량이 유효한 파형의 미세한 차이를 배우는 데 쓰입니다. 그래서 제약이 오히려 도움이 되었다는 결과가 나온 것으로 저는 해석했습니다. 물론 이는 제 해석이고, 논문이 직접 밝힌 인과관계와는 결이 조금 다를 수 있습니다. 다만 실험에서 타당성과 충실도가 함께 움직였다는 사실 자체는 분명합니다.

그렇다면 흐름이라는 말은 구체적으로 무엇을 뜻할까요. 다음 장면에서는 노이즈가 파형으로 변해가는 과정을 따라가 보겠습니다.

흐름을 따라가 보면 구조가 보입니다

Flow matching을 한 문장으로 줄이면, 노이즈에서 데이터로 이어지는 길을 배우는 방법이라고 할 수 있습니다. 확산 모델과 비슷한 가족이지만, 시간에 따라 변하는 벡터장을 직접 배우고 그 길을 따라 샘플을 이동시킨다는 점에서 설명이 비교적 또렷합니다. MontageFlow는 이 길을 유효한 공간 바깥으로 나가지 않게 그립니다.

밤사이 공시가 늦게 도착하거나 아침에 특정 종목이 거래 정지에 걸려도 예측 라인은 멈추면 안 된다는 운영 이야기가 있는데요. EEG 생성도 비슷하게 운영의 아침을 생각하게 합니다. 병원에서 새로 들어온 기록 방식이 어제와 조금 달라져도 생성 파이프라인이 멈추면 안 되기 때문입니다. 출력이 항상 항등식을 만족한다는 보장이 있으면, 몽타주가 바뀌어도 해당 몽타주의 유효 공간으로 경로를 다시 그리면 됩니다.

학습 과정을 단계별로 상상해 보겠습니다. 처음에는 의미 없는 노이즈 행렬이 있습니다. 모델은 각 시간 단계에서 어느 방향으로 움직여야 실제 EEG처럼 보이는지를 알려주는 화살표를 배웁니다. MontageFlow에서는 이 화살표 자체가 유효한 평면을 벗어나지 않도록 설계되어 있습니다. 그래서 중간 단계의 신호도 계속 항등식을 지키고, 마지막에 도착한 파형 역시 당연히 항등식을 지킵니다. 중간에 잠깐 이탈했다가 돌아오는 방식이 아니라 처음부터 끝까지 레일 위를 달리는 것이죠.

여기서 한 가지 오해를 바로잡을 수 있습니다. 제약을 걸었다고 해서 모든 파형이 똑같아지는 것은 아닙니다. 레일 위에서도 열차는 빠르게 달릴 수도 있고 천천히 달릴 수도 있으며, 창밖 풍경도 계속 바뀌죠. 마찬가지로 유효 공간 안에는 무수히 많은 파형이 들어 있습니다. 문제는 그다음입니다. 그 넓은 유효 공간 안에서 생리적으로 그럴듯한 다양성을 어떻게 살릴 것인가 하는 점이죠. 연구진은 여기서 상태 벡터라는 장치를 꺼냅니다.

평균으로 뭉개지는 것을 되살리는 방법

생성 모델을 오래 다루다 보면 과도한 평균화(oversmoothing)라는 현상을 자주 봅니다. 다양한 파형을 평균내듯 배우다 보니 특징이 뭉개지고 밋밋한 파형만 나오는 것이죠. EEG에서는 이 문제가 더 아픕니다. 발작파처럼 짧고 뾰족한 파형이나 수면 방추처럼 특정 리듬이 뭉개지면 임상적으로 중요한 단서가 사라지기 때문입니다.

MontageFlow는 이를 피하기 위해 생리 상태 벡터(physiological state vector)라는 조건을 둡니다. 전체 EEG 윈도우에서 인코딩된 이 벡터는 해당 구간의 생리적 특성을 요약한 값으로 이해할 수 있습니다. 어떤 리듬이 도드라지는지, 진폭 분포가 어떤지, 상태가 깨어 있는지 졸린지 같은 맥락을 담는 것이죠. 생성 과정은 이 벡터를 조건으로 받아서, 평균적인 파형이 아니라 그 상태에 어울리는 파형을 그리게 됩니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 조건을 어디에 붙이느냐가 모델의 성격을 바꾸기 때문입니다. 윈도우 전체를 요약한 벡터를 조건으로 쓰면 모델은 짧은 조각만 보고 판단하지 않습니다. 앞뒤 맥락을 함께 보고 파형의 성격을 정하니까요. 사람으로 치면 한 문장만 듣고 판단하지 않고 전체 대화를 듣고 말투를 고르는 것과 비슷합니다.

생성 시점에서는 이 상태 벡터를 어디에서 가져올까요. 연구진은 잠재 공간에 맞춰둔 사전 분포(prior)에서 벡터를 샘플링한다고 설명합니다. 실제 윈도우에서 뽑은 벡터가 아니라, 그 분포를 닮은 새로운 벡터를 뽑아 새로운 파형을 만드는 것이죠. 학습 때는 실제 윈도우의 벡터를 쓰고, 생성 때는 분포에서 샘플링한 벡터를 쓴다는 점에서 조건부 생성 모델의 익숙한 뼈대를 따릅니다. 다만 조건 자체가 생리적 특성을 담도록 설계되었다는 점이 다릅니다.

그렇다면 이 장치가 정말 뭉개짐을 막았을까요. 논문이 보고한 충실도 개선은 그렇다고 말합니다. 물론 저도 이 대목을 곧이곧대로만 읽지는 않았습니다. 상태 벡터가 좋아진 것인지, 유효 공간 제한이 좋아진 것인지, 두 가지가 합쳐진 것인지를 나누어 볼 필요가 있기 때문입니다. 논문의 설계상 두 요소는 함께 작동하도록 묶여 있어서, 개별 기여도를 단정하기 전에 제거 실험을 더 뜯어보고 싶어집니다. 아쉽게도 이번에 주어진 자료에는 그 세부 내역이 담겨 있지 않았습니다. 그럼에도 전체 결과의 방향은 분명합니다. 구조적 보장이 다양성을 해치지 않았다는 것이죠.

1.6배에서 3.6배라는 숫자를 어떻게 읽어야 할까요

이제 숫자를 볼 차례입니다. 연구진은 세 개의 대규모 벤치마크에서 가장 가까운 경쟁 모델과 비교해 TS-FID가 1.6배에서 3.6배 좋아졌다고 보고합니다. TS-FID는 시계열용 Fréchet 거리로, 실제 분포와 합성 분포 사이의 거리를 재는 지표입니다. 숫자가 작을수록 비슷하다는 뜻이고, 몇 배 개선이라는 표현은 경쟁 모델의 거리를 MontageFlow의 거리로 나눈 비율로 읽힙니다.

일반 파일에만 남겼을 때와 SOUL.md에 옮겨 적었을 때처럼 조건에 따라 숫자가 달라지는 경우처럼, 여기서도 범위가 있다는 점에 주목해야 합니다. 1.6배에서 3.6배라는 말은 데이터셋마다 개선 폭이 달랐다는 뜻입니다. 어떤 벤치마크에서는 두 배에 못 미쳤고, 어떤 곳에서는 세 배를 넘었다는 것이죠. 저는 이 편차를 나쁘게 보지 않습니다. 세 곳 모두에서 이겼다는 사실 자체가 단일 데이터셋 과적합이 아니라는 신호이기 때문입니다.

이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. TS-FID가 분포의 겉모습을 재는 지표라는 점을 기억하면, MontageFlow는 유효한 신호만 만들면서도 겉모습까지 더 비슷해졌다는 이야기가 됩니다. 보통 제약을 걸면 분포 거리가 늘어날 거라고 예상하는데 반대가 일어났으니, 기존 모델들이 무효한 영역을 탐색하느라 용량을 낭비했다는 해석에 힘이 실립니다. 다시 말해, 물리적으로 말이 안 되는 파형을 만드는 자유가 오히려 학습을 방해했던 셈입니다.

다만 여기서 멈추지 않고 한 걸음 더 가야 합니다. TS-FID가 좋아졌다는 말이 임상적으로 유용하다는 말과 같은 뜻일까요. 꼭 그렇지는 않습니다. 분포 거리는 거짓 양성과 거짓 음성의 임상 비용을 따지지 않으니까요. 발작 검출기를 학습시키는 데 합성 데이터를 쓴다면, 전체 분포가 비슷하다는 것보다 발작파의 모양이 정확하다는 것이 더 중요할 수 있습니다. 논문이 제시한 지표는 그런 하위 과제 성능까지 보장하지 않습니다. 그래서 저는 이 숫자를 가능성으로 읽었습니다. 물리적 타당성을 지키면서 분포까지 당겼다는 것은 다음 단계인 하위 과제 평가로 가기 위한 입장권을 얻었다는 뜻이니까요.

병원 데이터를 다룰 때 이 차이는 어디에서 커질까요

좋은데, 이걸 어디에 올릴까요. 연구실 점수를 넘어 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 답은 데이터가 부족한 곳, 그리고 공유가 어려운 곳에서 찾을 수 있습니다. EEG는 라벨이 있는 임상 데이터가 귀하고 개인정보 제약 때문에 기관 밖으로 내보내기 어렵다고 논문도 짚고 있습니다. 합성 데이터가 쓸 만하다면, 부족한 라벨을 메우고 기관 사이 장벽을 낮추는 데 쓸 수 있겠죠.

구체적인 장면을 그려보겠습니다. 지방 병원에서 야간 발작 모니터링 모델을 만들고 싶지만 발작 라벨이 몇십 건밖에 없다고 해보죠. 서울 대형 병원의 데이터를 가져올 수도 없고, 외부로 보낼 수도 없습니다. 이때 물리적으로 타당한 합성 파형으로 증강할 수 있다면 이야기가 달라집니다. 모델은 현실에 없는 상관관계가 아니라 실제로 나올 수 있는 파형 변형을 보면서 배우니까요. 특히 몽타주가 병원마다 조금씩 다른 현실에서는, 항등식을 지키는 생성기가 몽타주별 적응에 유리할 수 있습니다.

반면 무효한 합성 데이터를 쓰면 반대의 일이 생깁니다. 모델은 언뜻 그럴듯하지만 실제로는 나올 수 없는 채널 조합을 정상으로 착각할 수 있습니다. 성능 표에서는 좋아 보이다가 막상 다른 병원의 기록 방식에 올리면 무너지는 것이죠. 운영 측면에서 보면 이 차이는 상당히 큽니다. 밤사이 전극 하나가 떨어져서 채널 구성이 바뀌어도 라인은 멈추면 안 되기 때문입니다. 타당성이 보장된 생성기는 적어도 물리적으로 말이 안 되는 방향으로는 모델을 끌어가지 않습니다.

물론 합성 데이터가 개인정보 문제를 자동으로 해결해주지는 않습니다. 생성 모델이 학습 데이터를 외워서 그대로 뱉는다면 익명화 효과가 없기 때문입니다. 논문은 이 문제를 직접 다루지 않았고, 저도 여기서 단정하지 않겠습니다. 다만 물리적 타당성을 구조로 보장한다는 점은 프라이버시 연구와도 잘 어울립니다. 차분 프라이버시 같은 장치를 얹을 때, 노이즈를 더해도 출력이 유효 공간 안에 머문다는 성질은 그대로 유지될 수 있으니까요. (참고로 이 연결은 논문이 직접 주장한 것이 아니라, 제가 구조를 보고 덧붙인 해석입니다.)

그래서 다음에는 무엇을 보고 싶어질까요

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 타당성과 충실도를 함께 잡았다면, 다음에 볼 것은 무엇일까요. 저는 크게 세 가지를 보고 싶습니다. 첫째는 하위 과제 성능입니다. 합성 데이터로 증강한 발작 검출기나 수면 단계 분류기가 실제 데이터에서 얼마나 좋아지는지, 그리고 몽타주가 다른 기관 데이터에서도 버티는지 궁금합니다.

둘째는 상태 벡터의 속내입니다. 생리 상태 벡터가 정말 생리적 의미를 담고 있는지, 아니면 그럴듯한 조건 벡터에 불과한지를 보고 싶습니다. 벡터를 조금씩 움직였을 때 파형이 어떻게 바뀌는지 보여주면 해석이 훨씬 쉬워질 텐데요. 예를 들어 같은 노이즈에서 상태 벡터만 바꾸면 리듬 주파수가 바뀌는지, 진폭 분포가 바뀌는지 같은 장면을 상상해 봅니다. 그런 조작 실험이 있으면 과도한 평균화를 막았다는 주장에 더 힘이 실릴 것입니다.

셋째는 실패 사례입니다. 이 논문이 흥미로운 이유는 점수보다 구조를 봤다는 데 있지만, 구조가 만능은 아닙니다. 유효 공간 안에 머문다고 해서 모든 파형이 생리적으로 그럴듯한 것은 아니기 때문입니다. 항등식은 지키지만 리듬이 어색한 파형은 여전히 나올 수 있습니다. 연구진이 어떤 경우에 모델이 어색한 파형을 만드는지, 그리고 그 어색함을 어떻게 탐지하는지를 솔직하게 보여준다면, 다음 연구가 밟을 땅이 더 단단해질 것 같습니다.

그렇다면 사람의 역할은 무엇일까요. 생성 모델이 좋아질수록 지표 읽는 사람의 역할이 더 중요해진다고 저는 봅니다. 분포 거리가 줄었다는 말을 임상적 유용성과 혼동하지 않고, 타당성 보장이라는 구조적 진전을 정확히 자리매김하는 일 말이죠. MontageFlow는 그 점에서 좋은 본보기를 남겼습니다. 점수 경쟁에 머무르지 않고, 신호가 지켜야 하는 물리 법칙부터 다시 물었으니까요. 제목 아래 링크된 원문을 읽어보시면, 이 해설에서 다 다루지 못한 실험 조건과 수치를 직접 확인하실 수 있습니다.