목소리 복제 경쟁을 재현 가능하게 만든 평가대

Hugging Face 팀이 공개한 Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning은 다국어 음성 합성과 제로샷 음성 복제를 하나의 판 위에서 겨루게 하겠다는 제안입니다. 이 글에서 말하는 주장은 한 문장으로 정리됩니다. 비싸고 재현하기 어려웠던 MOS 중심 평가를, 자동 지표와 커뮤니티 사람 투표가 맞물리는 확장 가능한 구조로 바꾸겠다는 것이죠. 원문은 제목 아래에 연결되어 있습니다.

안녕하세요, 패트릭입니다.

저는 평소에 새로운 음성 모델이 나오면 일단 들어봅니다. 데모 페이지에서 문장을 넣고 재생 버튼을 누르는 일입니다. 그런데 같은 모델을 며칠 뒤에 다시 들어보면 느낌이 달라질 때가 있습니다. 그날 컨디션 때문인지, 헤드폰 때문인지, 아니면 참조 목소리가 좋아서인지 헷갈리죠. 그렇다면 이 흔들리는 첫인상을 어떻게 믿을 수 있을까요?

제가 이 리더보드 글을 처음부터 읽어본 이유는 바로 그 흔들림 때문입니다. 음성 평가는 늘 사람 귀에 의존해 왔는데, 그 귀가 매번 다른 조건에서 듣는다면 순위는 무엇을 뜻할까요. 오늘은 그 질문을 들고 자동 평가와 사람 평가가 어떻게 한 팀을 이룰 수 있는지 따라가 보겠습니다.

목소리를 고르는 일은 왜 매번 처음부터였을까

새 음성 모델을 고르는 일은 옷을 고르는 일과 조금 닮았습니다. 매장에서 입어볼 때는 좋아 보였는데 집에 와서 거울을 보면 어딘가 어색하죠. TTS도 마찬가지인데요. 데모에서 들은 한두 문장이 좋아서 골랐는데 막상 내 서비스 문장에 넣으면 발음이 뭉개지거나 감정이 과해집니다.

문제는 그다음입니다. 모델마다 데모 문장이 다르고 참조 목소리도 다릅니다. A 모델은 뉴스 문장으로, B 모델은 동화 문장으로 뽐냅니다. 이 조건에서는 비교 자체가 성립하지 않습니다. 제가 예전에 여러 TTS를 나란히 들어볼 때도 같은 생각을 했습니다. 문장이 다르면 목소리만 비교하는 게 아니라 문장 운까지 비교하게 되니까요.

그래서 리더보드가 꺼낸 첫 번째 답이 표준 조건입니다. 같은 텍스트, 같은 참조 오디오로 모든 제출 모델을 돌립니다. Hugging Face에 모델을 올리면 정해진 inference recipe대로 합성하게 됩니다. 레시피가 같아야 요리 실력만 남는 것처럼요. 여기까지는 당연해 보이지만 막상 해보면 어려운 약속입니다. 언어마다 텍스트 길이가 다르고 오디오 길이가 다른데, 그걸 50개 넘는 언어에서 똑같이 돌려야 하니까요.

그렇다면 무엇이 달라질까요? 적어도 순위표에 오른 숫자 뒤에 문장 탓, 목소리 탓을 숨기기 어려워집니다. 저는 이 대목에서 리더보드를 점수판이 아니라 경기 규칙으로 읽어야 한다고 봅니다. 누가 1등인지보다 어떤 규칙으로 뛰게 했는지가 더 오래 남으니까요.

MOS 점수만 믿고 가면 어디에서 헤맬까

음성 합성 평가는 오랫동안 MOS에 기대왔습니다. 사람들에게 들려주고 자연스러움을 1점에서 5점으로 매기게 하는 방식이죠. 직관적으로는 가장 정직해 보입니다. 결국 사람이 들을 것이니까요.

그런데 운영 관점에서 보면 이야기가 달라집니다. 사람을 모으는 데 돈이 들고 시간이 걸리며, 같은 실험을 다른 연구실에서 똑같이 반복하기 어렵습니다. 어제 모은 평가단과 오늘 모은 평가단은 구성이 다르고, 헤드폰 환경도 다르며, 점수를 매기는 엄격함도 다릅니다. 일반 파일에만 남겼을 때는 17%에 그쳤지만 SOUL.md에 옮겨 적었을 때는 55%까지 올라갔다는 식의 조건 차이가, 음성 평가에서는 매번 조용히 일어납니다. 조건이 바뀌면 순위가 흔들리는데 그 이유를 나중에 설명하기 어렵죠.

제가 이 대목에서 멈칫했던 이유는 MOS 자체를 부정할 수 없기 때문입니다. 자연스러움이라는 감각은 결국 사람이 아니면 잴 수 없습니다. 기계 점수가 아무리 좋아도 사람이 듣기에 어색하면 제품은 실패합니다. 그렇다면 기계 점수로 사람을 완전히 대체할 수 있을까요? 저는 아니라고 봅니다.

리더보드의 선택도 그래서 대체가 아니라 분업입니다. 사람이 해야 할 일은 사람이 하되, 매번 처음부터 사람을 부르지 않도록 자동 지표로 넓게 거르고 사람 투표로 좁게 가리는 것이죠. 일종의 예선과 결승처럼요. 이 구조라면 작은 팀도 일단 자동 점수로 방향을 잡고, 중요한 분기에서만 사람 귀를 빌릴 수 있습니다.

자동 점수와 사람 투표를 함께 쓰는 이유

리더보드가 말하는 자동 평가는 자연스러움과 이해 가능성, 화자 닮음, 효율이라는 네 갈래로 나뉘는데, 하나의 점수로는 감춰지는 상충 관계를 드러내기 위해서입니다. 각각을 재는 자는 따로 있지만 그 자들을 한데 묶어 같은 문장과 같은 참조 음성에 적용하기 때문에, 모델마다 네 개의 얼굴이 한 번에 드러납니다. 이를테면 발음은 정확한데 목소리가 안 닮았거나, 반대로 목소리는 닮았는데 속도가 느려서 쓰기 어려운 식인데, 저는 이처럼 갈라서 보는 방식이 단일 평균보다 정직하다고 봅니다.

여기에 더해지는 것이 커뮤니티 사람 선호 투표인데, 숫자만으로는 취향을 보증할 수 없기 때문입니다. 아레나 방식에서는 두 개 음성을 나란히 듣고 더 나은 쪽을 고르게 되는데, 이렇게 고르는 편이 사람마다 흔들리는 절대 점수를 매기는 일보다 판단이 훨씬 쉬워집니다. 그 대비를 보면 저는 평소 사람의 배움 방식이 떠오르는데, 절대 점수보다 상대 비교에 더 익숙하기 때문입니다.

그런데 여기서 재미있는 질문이 생깁니다. 자동 점수가 좋은데 사람 투표가 나쁘면 어느 쪽을 믿어야 할까요? 저는 그 불일치 자체가 정보라고 봅니다. 이를테면 자동 지표는 발음 틀림이나 목소리 거리처럼 또렷한 결함을 잘 잡습니다. 반면 말맛이나 감정의 과함, 문맥에 맞는 강세 같은 미묘한 부분은 사람 귀가 더 예민하죠. 두 신호가 어긋나는 지점이 바로 다음에 고쳐야 할 곳입니다.

저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 리더보드도 같은 태도로 읽히면 좋습니다. 정리하면 자동 점수는 빠르게 반복하기 위한 핸들이고, 사람 투표는 방향이 틀어지지 않게 잡아주는 핸들이니까요.

발음이 정확한지는 누구에게 물어볼까

이해 가능성은 말이 실제로 알아들리는지에서 출발하는데, 여기서부터 재미있는 질문이 생깁니다. 매번 사람에게 묻는 대신, 비용이 금방 커지는 그 과정을 리더보드는 음성 인식으로 되돌려 재기 때문입니다. 그래서 합성한 음성을 Whisper-large-v3 같은 ASR 모델에 넣어 텍스트로 변환한 뒤 원래 문장과 비교해 Word Error Rate를 계산하는데, 발음이 뭉개지면 인식률이 떨어지면서 WER가 올라가는 구조입니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 인식 모델도 완벽하지 않기 때문입니다. 이를테면 특정 억양이나 저자원 언어에서는 합성이 정확해도 인식기가 틀릴 수 있죠. 그러면 모델 잘못인지 인식기 잘못인지 구분이 흐려집니다. 저는 그래서 이 숫자를 그대로 믿기 전에 조건을 봐야 한다고 봅니다. 그러니 어떤 ASR을 썼는지, 어떤 언어에서 잰 것인지가 함께 가야 하니까요.

그럼에도 이 방식이 실용적인 이유는 확장성 때문입니다. 그래서 사람을 매번 부르지 않고도 수십 개 언어에서 같은 잣대를 들이댈 수 있습니다. 실제로 새로운 모델이 나왔을 때 밤새 돌려 아침에 결과를 볼 수 있습니다. 운영의 아침을 지켜주는 장치이기 때문입니다. 물론 악센트가 강한 문장이나 고유명사가 많은 문장에서는 오차가 커질 수 있는데, 리더보드가 여러 데이터로 나누어 재는 이유도 여기에 있습니다.

여기서 한 가지 실제 장면을 떠올려보겠습니다. 구체적으로 말하면 교육용 앱에서 영어 문장을 합성하는데 아이들이 "다시 읽어줘"라고 자주 묻는다면, 자연스러움 점수보다 WER가 먼저 문제일 가능성이 큽니다. 달리 말하면 예쁜 목소리보다 또박또박함이 먼저니까요. 리더보드가 이해 가능성을 따로 떼어 보여주는 덕분에 이런 판단이 빨라집니다.

다른 사람의 목소리를 얼마나 닮았을까

제로샷 음성 복제에서 가장 궁금한 것은 닮음입니다. 처음 듣는 목소리를 몇 초만 듣고도 그 사람처럼 말할 수 있는지를 뜻하죠. 리더보드는 이걸 사람의 느낌이 아니라 임베딩 거리로 잽니다. WavLM이나 Resemblyzer 같은 모델로 합성 음성과 참조 음성에서 화자 임베딩을 뽑고, 그 사이 코사인 유사도를 계산합니다. 숫자가 1에 가까울수록 같은 화자로 판단한 셈입니다.

이 방법은 빠르고 재현 가능합니다. 사람마다 닮음 기준이 달라도 벡터 거리는 매번 같은 답을 내놓으니까요. 그런데 여기서는 조금 조심해서 읽을 필요가 있습니다. 임베딩이 잡는 닮음과 사람이 느끼는 닮음이 완전히 같지는 않기 때문입니다. 기계는 음색의 통계적 거리에 예민하지만, 사람은 말버릇이나 호흡, 특정 모음의 질감 같은 지점에 꽂힐 때가 있죠. (참고로 임베딩 모델마다 목소리를 바라보는 귀가 조금씩 다른데요. 그래서 리더보드가 한 가지가 아니라 정리된 방식으로 비교하는 것이지요.)

또 하나 생각할 점은 참조 음성의 길이와 품질입니다. 3초짜리 시끄러운 참조와 10초짜리 깨끗한 참조에서는 복제 난이도가 전혀 다릅니다. 리더보드가 동일한 참조 오디오를 강제하는 이유가 여기에 있습니다. 출발선을 맞추지 않으면 닮음 점수는 모델 실력인지 참조 운인지 알 수 없으니까요.

그렇다면 크로스링갈 복제는 어떨까요? 예를 들어 한국어 목소리로 영어를 읽게 하면 닮음은 유지될까요. 임베딩 점수는 그런대로 나올 수 있지만 사람이 들으면 어색함이 남을 때가 있습니다. 억양이 바뀌면 정체성이 흔들리니까요. 저는 이 간극이야말로 다음 연구가 파야 할 곳이라고 봅니다. 숫자 속의 닮음과 귀 속의 닮음을 좁히는 일입니다.

같은 문장 같은 목소리로 겨루게 하는 법

제출 방식은 생각보다 실무적입니다. Hugging Face에 모델을 올리고 정해진 방식으로 돌리면 됩니다. 텍스트와 참조 음성이 고정되어 있으니 각 팀이 유리한 문장만 골라 뽐낼 여지가 줄어듭니다. 평가 입장에서는 재현이 쉬워지고, 참가 입장에서는 무엇을 준비해야 할지 분명해집니다.

이 구조가 주는 또 다른 선물은 실패 분석이 쉬워진다는 점입니다. 같은 문장에서만 틀린다면 텍스트 처리 문제일 가능성이 크고, 특정 참조 목소리에서만 무너진다면 화자 인코딩 문제일 가능성이 큽니다. 조건이 통일되어야 오답 노트를 쓸 수 있는 것처럼요.

개인적으로 인상 깊었던 점은 효율까지 함께 잰다는 것입니다. 합성 속도나 계산 부담을 따로 보지 않으면 연구실 점수와 제품 점수가 어긋납니다. 데모에서는 King처럼 들리던 모델이 막상 실시간 대화에 넣으면 한 박자 늦게 대답합니다. 전화 상담이나 게임 NPC처럼 바로 대답해야 하는 곳에서는 0.3초 차이가 체감 품질이 됩니다. 그래서 리더보드가 효율을 한 축으로 고정한 것은 선언이 아니라 실무 감각에 가깝습니다.

물론 여기서도 조건을 봐야 합니다. 어떤 GPU에서 잰 속도인지, 배치 크기는 얼마인지, 스트리밍인지 일괄 합성인지에 따라 숫자가 달라지니까요. 같은 FLOPs가 같은 체감을 뜻하지 않는 것처럼요. 리더보드가 레시피를 고정하려는 노력은 바로 이 흔들림을 줄이기 위한 것입니다.

50개 언어를 한판에 올린다는 말의 무게

이번 리더보드가 자랑하는 숫자 중 하나는 50개가 넘는 언어입니다. Common Voice와 Multilingual LibriSpeech, Emilia 같은 공개 음성 자료에서 가져온 테스트로 다국어와 교차 언어 조건을 함께 본다고 합니다. 처음 들으면 단순히 숫자가 크다고 느껴질 수 있는데요. 실제로는 평가 설계가 완전히 달라지는 지점입니다.

영어에서 잘 되는 모델이 베트남어나 스와힐리어에서도 잘 될까요? 꼭 그렇지는 않습니다. 데이터가 적은 언어에서는 발음 사전도 부족하고 억양 패턴도 다릅니다. 게다가 문자 체계가 다르면 텍스트 전처리부터 막힙니다. 영어식 강세로 읽으면 현지인이 듣기에 바로 어색해지죠. 그래서 다국어 점수를 평균 하나로 뭉개면 위험합니다. 평균 뒤에 가려진 저자원 언어의 추락을 못 보게 되니까요.

질문도 바뀌었습니다. 예전에는 좋은 영어 음성은 무엇인가를 물었다면 이제는 좋은 다국어 음성을 어떻게 같은 잣대로 잴 수 있는가를 묻게 됩니다. 리더보드가 ASR 기반 WER를 여러 언어에 걸쳐 적용하고 화자 닮음을 언어 조건별로 나누는 이유도 여기에 있습니다. 언어마다 난이도가 다른데 같은 줄자를 대야만 격차가 보이니까요.

저는 이 대목에서 저자원 언어 복제를 유심히 봅니다. 데이터가 많은 언어에서는 proprietary 시스템이든 open 모델이든 그럴듯한 결과가 나오지만, 데이터가 적은 언어에서는 차이가 벌어지기 때문입니다. 그 벌어진 틈이 다음 연구 주제이자 다음 제품 기회가 됩니다. 전 세계 사용자를 생각하면 영어 1등보다 그 틈을 누가 메우지가 더 궁금하죠.

지금 열린 모델은 어디에서 밀릴까

리더보드가 전하는 현재 판도는 솔직합니다. 열린 모델들이 많이 따라왔지만 표현력과 저자원 언어 복제에서는 아직 proprietary 시스템과 거리가 있다는 것이죠. 저는 이 진단을 액면 그대로 받아들이기보다 구조로 읽어봅니다.

표현력이라는 말은 추상적이지만 뜯어보면 구체적입니다. 문장 부호 하나에 쉬어가는 길이 달라지고, 의문문 끝이 올라가며, 강조하는 단어가 도드라지는 일을 뜻합니다. 이런 운율은 텍스트만으로 오지 않습니다. 대량의 다양한 감정 음성과 운율 라벨, 그리고 그걸 살리는 모델 구조가 함께 가야 합니다. 데이터가 곧 표현력인 셈인데, 이 데이터가 공개 진영에 부족합니다.

저자원 언어 복제도 같은 뿌리를 가집니다. 참조 음성이 짧고 노이즈가 섞여 있으면 화자 특징을 뽑아내기 어렵습니다. 강한 모델은 적은 단서에서도 목소리의 뼈대를 잡지만 약한 모델은 억양에 끌려다닙니다. 이 차이는 단순히 모델 크기만으로 설명하기 어렵습니다. 학습 자료의 언어 분포와 음질, 전처리 방식이 함께 얽혀 있으니까요.

여기서 한 가지 경계할 점이 있습니다. 격차가 있다고 해서 열린 모델이 쓸모없다는 뜻은 아닙니다. 영어 내레이션이나 짧은 안내 방송처럼 조건이 분명한 곳에서는 충분히 경쟁력이 있습니다. 격차는 방향을 알려줄 뿐 제품을 재단하지 않습니다. 저는 그래서 이 순위를 낙담이 아니라 할 일 목록으로 읽었습니다. 어디부터 메우면 티가 날지가 보이니까요.

숫자가 좋아졌다고 제품이 좋아진 건 아닐 때

여기까지 읽으면 자동 지표가 만능처럼 들릴 수 있는데요. 오히려 지금부터가 조심스러운 대목입니다. 숫자는 늘 조건 안에서만 참이기 때문입니다.

먼저 ASR에 기대는 WER는 인식기의 편향을 물려받습니다. 인식기가 잘하는 언어에서는 합성 결함이 가려지고, 인식기가 약한 언어에서는 합성이 억울하게 깎일 수 있습니다. 화자 유사도도 마찬가지입니다. 임베딩 모델이 학습한 분포 밖의 목소리에서는 거리가 실제 인상과 어긋날 수 있습니다. 자연스러움 자동 점수는 더 미묘합니다. 학습 때 본 스타일에 가까운 음성을 높게 주는 경향이 있으니까요.

두 번째는 평균의 함정입니다. 전체 평균이 올랐다고 모든 구간이 오른 것은 아닙니다. 특정 도메인에서는 좋아졌는데 숫자 읽기나 이름 읽기에서는 나빠질 수 있죠. 실제 서비스에서는 그 한 구간이 전체 인상을 망칩니다. 은행 안내에서 계좌번호를 더듬으면 목소리가 아무리 좋아도 신뢰가 깨지는 것처럼요. 그래서 저는 평균 옆에 언어별, 도메인별 분해를 함께 보는 습관이 생겼습니다.

세 번째는 효율과 품질의 맞바꿈입니다. 점수를 올리려고 모델을 키우면 지연이 늘어납니다. 실시간 대화에서는 그 지연이 곧 품질입니다. 리더보드가 효율을 따로 두는 이유도 이 맞바꿈을 숨기지 않기 위해서죠. 좋은 건 알겠는데, 이걸 실제로 어떻게 서빙할까요? 이 질문에 답하지 않으면 연구실 1등은 제품 탈락이 됩니다.

이런 한계를 알면서도 리더보드가 쓸모있는 이유는 투명성 때문입니다. 조건이 같고 지표가 나뉘어 있으면 적어도 어디가 약한지 짚을 수 있습니다. 숫자를 믿는 게 아니라 숫자로 의심할 곳을 찾는 것이죠.

그래서 다음에는 무엇을 보면 좋을까

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 이 흐름은 어디에서 더 단단해질 수 있을까요? 자동 지표와 사람 투표가 맞물린 지금 구조에서 다음에 보면 좋은 것들을 정리해 보겠습니다.

먼저 크로스링갈 조건의 세분화입니다. 같은 언어 복제와 다른 언어 복제는 난이도가 다른데, 그걸 한 점수로 섞으면 해석이 흐려집니다. 참조 언어와 합성 언어를 쌍으로 나누고, 억양 유지와 화자 유지를 따로 물으면 설계 힌트가 더 또렷해집니다. 예를 들어 한국어 참조로 스페인어를 읽을 때 목소리는 살리되 억양은 현지스럽게 가져가는 식의 분해입니다.

다음은 사람 투표의 설계입니다. 둘 중 고르기는 쉽지만 이유를 알기 어렵습니다. 발음 때문인지, 감정 때문인지, 속도 때문인지가 가려지죠. 투표 뒤에 짧은 이유 선택지를 붙이면 자동 지표와 이어 붙이기 좋아집니다. WER는 좋은데 사람 표가 낮다면 운율 문제일 가능성이 크다는 식의 추론이 가능해지니까요.

저는 앞으로 저자원 언어에서의 표현력 데이터를 누가 어떻게 모으는지를 보고 싶습니다. 모델 구조 경쟁보다 데이터 설계 경쟁이 결과를 가를 가능성이 크기 때문입니다. 공개 자료만으로는 한계가 분명한데, 그 한계를 커뮤니티 녹음이나 합성 증강으로 어디까지 밀 수 있을지가 관전 포인트입니다.

마지막으로 효율 측정의 현실화입니다. 단일 문장 합성 속도보다 대화처럼 이어 말할 때의 첫 음성까지 시간, 긴 문단에서의 안정성, 동시 요청에서의 흔들림이 더 중요합니다. 연구실 점수와 밤샘 운영 점수는 다르니까요. 리더보드가 이쪽으로 한 걸음 더 가면 제품 팀의 신뢰가 더 두터워질 것입니다.

순위를 넘어 규칙을 본다는 것

처음 데모를 들을 때의 설렘으로 돌아가 보겠습니다. 재생 버튼을 누르고 "오, 사람 같네"라고 느꼈던 순간입니다. 그 감탄은 진짜지만 그걸로 다음 결정을 내리기는 어렵습니다. 같은 감탄을 매번 같은 조건에서 확인할 수 있어야 팀이 움직이니까요.

Open TTS Leaderboard가 하는 일은 그 확인을 싸고 빠르게 만드는 것입니다. 같은 문장, 같은 목소리, 나뉜 지표, 그리고 사람 투표라는 결승선이죠. 이 규칙 위에서는 1등보다 약점이 더 잘 보입니다. 발음은 되는데 감정이 밋밋한지, 목소리는 닮았는데 저자원 언어에서 흔들리는지가 드러나니까요.

그렇다면 우리의 역할은 무엇일까요. 저는 순위표를 보고 모델을 고르는 일을 넘어, 우리 서비스 문장과 우리 고객 목소리에서 같은 평가를 돌려보는 일이라고 봅니다. 리더보드는 공용 운동장이고 진짜 경기는 각자의 도메인에서 열리니까요. 공용 기록이 좋아도 우리 문장에서 더듬으면 소용없습니다.

다음에 새로운 음성 모델이 나오면 저는 같은 질문을 던지려 합니다. 어떤 문장으로, 누구 목소리로, 어떤 지표로 증명했는지요. 그 질문에 바로 답할 수 있는 모델과 팀이 결국 오래 남을 것입니다. 여러분도 다음 데모를 들을 때 이어폰을 끼기 전에 그 질문부터 꺼내 보시면 어떨까요.