LLM을 언제 부를까: 자신감으로 가려내는 하이브리드 감정 인식

When to Call an LLM: A Confidence-Gated Hybrid for Cost-Effective Emotion Recognition in Conversational AI라는 논문이 arXiv 2609.17977로 공개되었습니다. 이 연구는 대화 속 감정 인식에서 작고 빠른 앙상블이 자신 있는 발화는 직접 처리하고 자신 없는 발화만 LLM에 넘기는 구조가 정확도와 비용을 함께 잡을 수 있다고 주장합니다. 원문 링크는 제목 아래에 걸어 두었습니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문이 눈에 들어온 이유도 바로 그 지점 때문입니다. 감정 인식이라는 오래된 과제를 두고, 더 큰 모델을 쓰자는 말이 아니라 언제 큰 모델을 쓰지 말지를 정했다는 데서 운영자의 문법이 느껴졌기 때문입니다.

매번 LLM을 부르면 무엇이 아쉬울까요

안녕하세요, 패트릭입니다. 상담 센터에서 하루에 오가는 대화를 떠올려 보면, 모든 문장마다 거대한 모델을 깨우는 일이 얼마나 어색한지 바로 감이 옵니다. 상담원이 고객의 말을 듣는 동안 뒤에서는 실시간 자막처럼 감정이 태깅되고, 그 태그가 상담 보조 문구와 상향 이관 판단과 통화 후 분석으로 흘러가야 하는데요. 이 흐름에서는 정확도만큼이나 지연과 비용이 중요합니다. 한두 초 늦은 판단은 현장에서 그냥 늦은 판단일 뿐이죠.

그런데 최근 몇 년 동안 현장의 직관은 조금 단순해졌습니다. 어려운 언어 문제는 일단 LLM에 맡기면 되지 않느냐는 것이죠. 저도 그 마음을 이해합니다. 프롬프트 몇 줄로 시작할 수 있고, 문맥을 꽤 잘 읽으며, 새로운 감정 범주가 생겨도 코드를 뜯어고칠 필요가 적으니까요. 그렇다면 정말 매 발화를 LLM에 보내는 것이 답일까요. 이 논문은 그 질문에서 출발합니다. 전부 맡기는 방식과 전부 아끼는 방식 사이에, 가려서 쓰는 세 번째 길이 있다는 것이죠.

제가 이 논문에서 가장 흥미롭게 본 부분은 문제 설정 자체입니다. 정확도를 올리는 방법이 아니라 호출을 줄이는 방법을 정확도 이야기로 풀었다는 점에서요. 논문 흐름을 따라가다 보면 왜 그런 선택이 나왔는지 조금씩 보입니다.

감정 인식이 상담 현장에서는 다른 문제가 됩니다

대화 속 감정 인식, 즉 ERC는 문장 하나만 보고 기쁨이나 분노를 고르는 일이 아닙니다. 앞뒤 문맥 속에서 누가 누구에게 어떤 어조로 말했는지를 읽어야 하며, 같은 문장도 대화 흐름에 따라 뜻이 달라지는데요. 예를 들어 밤 11시 40분에 피곤한 고객이 "네, 알겠습니다"라고 짧게 답했다면, 그 한마디에는 체념과 짜증과 안도가 뒤섞여 있을 수 있습니다. 상담원은 목소리 높낮이와 앞선 5분간의 실랑이로 그 뉘앙스를 잡아내지만, 기계는 텍스트 창 몇 개로 같은 일을 해야 합니다.

이 차이가 현장에서는 곧 돈과 시간의 문제로 바뀝니다. CCaaS 플랫폼에서 감정 태그는 상담 보조 프롬프트를 띄우고, 위험 통화를 먼저 골라내고, 통화 후 리포트를 만드는 데 쓰이는데, 발화량이 백만 단위로 쌓이면 발화당 몇 밀리초와 몇 센트의 차이가 그대로 월말 청구서로 돌아옵니다. 그래서 연구팀은 처음부터 정확도와 지연과 비용을 같은 테이블에 올립니다. 정확히 몇 점을 더 올렸느냐보다, 그 점수를 어떤 단가로 샀느냐가 운영자에게는 더 중요하니까요.

여기서 재미있는 질문이 생깁니다. 문맥을 잘 읽는 LLM이 있는데, 굳이 작은 모형을 따로 둘 필요가 있을까요. 논문은 이 물음을 피하지 않고 정면으로 실험합니다. 작은 모형을 약한 기준선이 아니라 제대로 만든 운영용 기준선으로 세운 뒤에야 비교를 시작하죠.

싸고 빠른 앙상블은 어떻게 생겼을까요

논문이 세운 저비용 기준선은 생각보다 단단합니다. 문장 임베딩으로 발화의 뜻을 벡터로 바꾼 뒤, 앞뒤 몇 발화를 묶은 창문형 문맥과 함께 쌓은 뒤, RandomForest와 XGBoost와 로지스틱 회귀를 겹쳐 쌓는 스태킹 구조로 최종 판정을 내는데요. 구조만 들으면 투박해 보이지만, 이 조합에는 현장의 이유가 있습니다. 임베딩이 의미의 뼈대를 잡아주면, 창문형 문맥이 "방금 전까지 웃다가 갑자기 말이 짧아졌다" 같은 흐름 변화를 숫자로 넘겨주고, 서로 다른 결정 방식의 분류기들이 그 신호를 다각도로 확인하기 때문입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 이 앙상블은 발화당 10밀리초 아래에서 동작하도록 설계되었기 때문입니다. 상담원이 말을 잇는 사이에 결과가 나와야 다음 안내 문구가 늦지 않는데, 이 정도 지연이면 실시간 스트림에 올려도 체감이 거의 없습니다. 반면 LLM 호출은 네트워크 왕복과 토큰 생성 시간을 피할 수 없어서, 아무리 가벼운 모델이라도 같은 선에 서기 어렵죠. 속도가 빠르다는 말은 현장에서는 곧 동시 통화를 더 받을 수 있다는 뜻이기도 합니다.

물론 작은 모형이라고 만능은 아닙니다. 말꼬리가 길게 늘어지거나,비꼼처럼 겉뜻과 속뜻이 어긋나거나, 화자가 갑자기 바뀌는 지점에서는 흔들릴 수 있습니다. 그런데 논문은 그 약점을 숨기지 않고 오히려 설계에 씁니다. 흔들리는 지점을 미리 알 수 있다면, 그 지점만 골라 큰 모델을 쓰면 되지 않겠느냐는 것이죠. 생각해보면 사람도 비슷하게 배웁니다. 익숙한 민원은 혼자 처리하고, 말하기 어려운 통화만 선배에게 물어보니까요.

LLM만 썼을 때 점수가 뒤집힌 이유

연구팀은 GPT-4o-mini를 가져와 제로샷과 퓨샷과 chain-of-thought 구성을 나란히 시험합니다. 프롬프트만으로 감정을 읽게 한 뒤, 앞서 만든 앙상블과 같은 잣대인 가중 F1으로 비교했는데요. 결과는 한 줄로 정리되지 않아서 더 흥미롭습니다. IEMOCAP에서는 앙상블이 0.595를 기록하며 LLM 구성들의 0.460에서 0.536 구간을 분명하게 앞섰고, 통계적으로도 p가 0.0001 아래로 벌어졌습니다. 그런데 MELD와 CMU-MOSI에서는 순서가 뒤집혀 LLM 쪽이 더 좋은 점수를 냅니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 데이터셋마다 대화의 성격이 다르기 때문입니다. IEMOCAP처럼 연기에 가깝고 감정 표현이 길게 이어지는 대화에서는 문맥 창과 임베딩의 조합이 안정적으로 먹히지만, 여러 화자가 짧게 치고받는 드라마 대본이나 짧은 의견 발화에서는 LLM의 넓은 언어 감각이 유리해지는 것이죠. 저는 여기서 멈칫했습니다. 어느 한쪽이 이겼다고 말하기보다, 어떤 대화에서는 작은 모형이 이기고 어떤 대화에서는 큰 모형이 이긴다는 사실 자체가 설계의 실마리이기 때문입니다.

이 지점에서 흔한 오해를 하나 걷어낼 필요가 있습니다. LLM이 졌다는 말이 LLM이 쓸모없다는 뜻은 아니며, LLM이 이겼다는 말이 모든 발화에 LLM이 필요하다는 뜻도 아닙니다. 평균 점수 뒤에는 잘 맞는 구간과 잘 안 맞는 구간이 함께 숨어 있는데, 평균만 보고 전체를 한 방식에 맡기면 잘 맞는 구간의 이득을 비싼 값에 사게 됩니다. 그렇다면 잘 맞는 구간은 싼 모형에 두고, 헷갈리는 구간만 비싼 모형에 맡기면 어떨까요. 다음 장면은 바로 그 발상에서 시작됩니다.

확신이 낮을 때만 넘기는 구조가 답이었습니다

하이브리드의 동작은 이름 그대로입니다. 앙상블이 먼저 모든 발화에 답과 함께 자신감 점수를 매긴 뒤, 점수가 낮은 일부만 LLM에 올려보내고 나머지는 앙상블의 답을 그대로 쓰는데요. 문턱값 하나가 전체 호출량을 정하기 때문에, 운영자는 예산에 맞춰 다이얼을 돌리듯 호출 비율을 조절할 수 있습니다. 상담 현장의 IVA가 쉬운 문의는 자동응대로 처리하고 어려운 통화만 사람 상담원에게 넘기는 모습과 겹쳐 보이는 것은 우연이 아닙니다. 논문도 그 비유를 의식적으로 가져옵니다.

결과는 세 데이터셋 모두에서 두 순수 방식을 함께 앞서는 그림으로 나타납니다. 하이브리드는 0.620과 0.643과 0.824의 가중 F1을 기록하며 앙상블 단독과 LLM 단독을 함께 웃도는데요. 파레토 우위라는 표현이 괜히 붙은 것이 아닙니다. 같은 비용에서는 더 정확하고, 같은 정확도에서는 더 싸다는 뜻이기 때문입니다. 저는 이 대목을 읽으며 고개를 끄덕였습니다. 정확도를 올리려고 모델을 키운 것이 아니라, 어려운 표본에 예산을 몰아주는 방식으로 같은 예산의 효율을 끌어올렸기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 문턱값을 어디에 두느냐에 따라 호출량과 점수가 함께 움직이므로, 보고된 점수는 하나의 운영점에 가깝습니다. 그럼에도 패턴이 세 데이터셋에서 한 방향으로 나타났다는 점은 가볍게 넘기기 어렵습니다. 앙상블이 잘하는 구간은 건드리지 않고, 앙상블이 헷갈려하는 구간에만 LLM을 태우는 일이 실제로 통했다는 것이죠. 좋은 건 알겠는데, 이걸 실제로 어떻게 서빙할까요. 그 답은 호출이 어디에 몰리는지를 보면 더 분명해집니다.

왜 감정이 바뀌는 지점에서 호출이 몰릴까요

올려보내기된 발화를 뜯어보면 뚜렷한 버릇이 보입니다. 감정이나 긍부정이 바뀌는 바로 다음 발화에서 호출이 몰린다는 것이죠. 예를 들어 오전 상담에서 고객이 차분하게 설명하다가 갑자기 "아니, 그게 말이 돼요?"라고 목소리를 높이는 지점, 혹은 분노가 이어지다가 갑자기 말이 끊기며 "됐습니다"라고 닫는 지점처럼요. 앙상블의 자신감이 떨어지는 곳과 사람이 봐도 "여기서 분위기가 바뀌었다"고 느끼는 곳이 겹친다는 뜻입니다.

이 겹침은 운영 관점에서 보면 상당히 큽니다. 라우팅 이유를 나중에 감사할 수 있기 때문입니다. 블랙박스가 "그냥 어려웠습니다"라고 말하는 대신, 감정 전환 다음 발화라는 로그가 남으면 품질팀이 표본을 까보며 문턱값을 손볼 수 있는데요. 현장에서 설명 가능한 신호 하나는 정확도 1점보다 값질 때가 많습니다. 컴플라이언스 리뷰나 클레임 대응처럼 왜 그 통화가 올라갔는지를 말해야 하는 장면에서는 더 그렇습니다.

그렇다면 이 신호를 더 적극적으로 쓸 수는 없을까요. 예컨대 감정 전환을 먼저 감지해 문턱값을 동적으로 낮추거나, 전환 구간 전후 몇 발화를 묶어 LLM에 함께 넘기는 식으로 말이죠. 논문은 거기까지 나아가지는 않지만, 저는 앞으로 보고 싶은 것이 바로 그 주변입니다. 호출 로그가 쌓이면 어떤 전환 유형이 실제로 어려운지를 데이터로 배울 수 있을 테니까요. 전환 뒤에 몰리는 호출은 우연이 아니라, 작은 모형이 자신의 한계를 솔직하게 드러내는 장면으로 읽힙니다.

자신감을 잴 수 있다는 말이 실제로는 무슨 뜻일까요

여기까지 오면 당연히 이런 의심이 듭니다. 작은 모형의 자신감이라는 게 믿을 만한가요. 자신만만하게 틀리는 모형이라면, 낮은 점수만 골라 넘기는 설계가 통째로 무너지기 때문입니다. 연구팀은 그래서 보정 상태를 따로 점검하는데요. 앙상블의 자신감은 세 데이터셋에서 실제 정확도와 어긋나지 않게 맞물려 있었고, 방향도 과신보다 과소신뢰 쪽으로 살짝 기울어 있었습니다. 틀릴 때 자신 없다고 말하는 모형이라는 것이죠.

이 차이는 생각보다 중요합니다. 과신하는 모형은 어려운 표본을 붙잡고 놓지 않아서 라우팅 자체를 망치지만, 살짝 몸을 사리는 모형은 어려운 표본을 순순히 넘기기 때문입니다. 비유하자면 신입 상담원이 "이 통화는 제가 확신이 없습니다"라고 빨리 말할수록 선배가 도울 여지가 생기는 것과 같습니다. 게다가 이 패턴은 두 종류의 LLM 제공자에 걸쳐 비슷하게 유지되었다고 보고됩니다. 게이트의 품질이 특정 LLM에 운 좋게 기대어 나온 결과가 아니라는 뜻이죠.

개인적으로 인상 깊었던 점은, 연구팀이 이 보정을 정확도만큼 비중 있게 다룬다는 것입니다. 보통은 점수표가 본문 주인공이고 보정 곡선은 부록으로 밀려나기 쉬운데, 이 논문에서는 보정이 하이브리드의 전제라서 앞으로 나와 있습니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 데이터 분포가 바뀌는 밤 시간대나 신상품 출시 주간에도 이 겸손함이 유지될까요. 분포가 흔들릴 때 보정이 깨지는지는 운영 전에 꼭 확인해야 할 대목입니다.

비용표는 운영팀에게 무엇을 말해줄까요

숫자는 prose 속에 있을 때 힘을 갖습니다. 하이브리드는 백만 발화당 대략 10달러에서 85달러 구간에서 움직였고, LLM 단독 파이프라인은 같은 분량에 99달러에서 170달러 구간에 머물렀는데요. 발화 대부분을 사실상 비용이 들지 않는 앙상블로 처리하고 일부만 유료 호출에 얹었기 때문에 생긴 차이입니다. 호출 비율을 낮추면 아래쪽에 붙고, 정확도를 더 사려면 위쪽으로 올라가는 구조라서, 예산표와 정확도표가 하나의 다이얼로 연결됩니다.

상담 센터의 야간 당직을 떠올려 보겠습니다. 새벽 2시에 동시 통화 200개가 열려 있고, 그중 감정 전환이 낀 어려운 발화가 10개라면, 200개를 전부 큰 모델에 보내는 일과 10개만 골라 보내는 일은 대기열 길이가 다릅니다. 전자에서는 모두가 줄을 서고, 후자에서는 대부분이 로컬에서 바로 끝나죠. 지연 이야기가 비용 이야기와 같은 그림으로 읽히는 이유입니다. 저희 팀이 아키텍처를 볼 때 처리량과 지연을 따로 보는 것도 같은 이유 때문입니다. 초당 처리량은 좋아 보여도 한 통화가 오래 기다리면 현장은 무너지니까요.

문제는 그다음입니다. 싼 구간이 정확히 어디까지 싼지, 비싼 호출이 몰리는 시간대에는 예산이 어떻게 튀는지를 알아야 월말 청구서를 예측할 수 있습니다. 논문이 준 구간은 대표 운영점에서의 추정치라서, 각 회사의 발화 길이와 문맥 창과 재시도 정책에 따라 달라질 수 있습니다. 그럼에도 방향은 분명합니다. 같은 점수를 더 싸게 살 수 있는 길이 열렸고, 그 길은 특정 벤더에 묶이지 않은 게이트 하나로 포장되어 있다는 것이죠. 도입을 고민하는 팀이라면 문턱값별 비용 곡선을 직접 그려보는 일이 먼저일 것입니다.

이 결과를 그대로 믿기 전에 짚을 점

좋은 논문일수록 어디까지 믿으면 안 되는지를 함께 읽어야 합니다. 먼저 데이터셋의 성격이 결과를 이끈 면이 있습니다. IEMOCAP에서는 앙상블이 LLM을 앞섰고 MELD와 CMU-MOSI에서는 반대였는데, 이 뒤집힘 자체가 하이브리드에 유리한 토양이 되었기 때문입니다. 두 방식이 서로 다른 구간에서 강하면 가려 쓰기의 이득이 커지는 것은 당연합니다. 만약 어떤 회사의 통화가 한쪽 방식에 압도적으로 유리한 분포라면, 하이브리드의 이득은 논문보다 작아질 수 있습니다.

다음으로 LLM 실험의 범위를 봐야 합니다. 테스트된 모델은 가벼운 등급의 GPT-4o-mini였고, 구성도 제로샷과 퓨샷과 chain-of-thought에 머물렀는데요. 더 큰 모델이나 더 손질된 프롬프트, 검색이나 도구 호출이 얹힌 구성이 오면 LLM 단독의 점수가 올라갈 여지가 있습니다. 물론 그쪽은 비용도 함께 오르므로 파레토 그림이 깨진다고 단정할 수는 없지만, 문턱값의 적정점은 다시 찾아야 할 것입니다. 저는 이 숫자를 천장보다는 출발점으로 봅니다.

또 하나는 측정 단위의 문제입니다. 보고된 비용은 발화 백만 건당 달러 추정치라서 토큰 단가와 발화 길이 가정에 묶여 있습니다. 실제 상담처럼 문맥 창을 길게 가져가거나 재시도를 허용하면 LLM 쪽 체감 비용이 달라질 수 있고, 로컬 앙상블의 서빙 인건비와 GPU 상각을 어떻게 넣느냐에 따라서도 아래쪽 숫자가 움직입니다. 같은 FLOPs가 같은 하드웨어 비용을 뜻하지 않듯, 같은 발화 수가 같은 청구서를 뜻하지는 않으니까요. 그럼에도 세 데이터셋과 두 제공자에 걸친 일관성은 쉽게 무시하기 어렵습니다. 의심할 점은 있지만, 무시할 정도는 아니라는 것이 제 판단입니다.

앞으로 제가 지켜보고 싶은 장면

그렇다면 이 흐름은 어디에서 더 자랄 수 있을까요. 그 이야기는 이제 마지막에 다시 다루겠습니다. 제가 먼저 보고 싶은 것은 문턱값 너머의 라우팅입니다. 지금은 앙상블의 자신감 하나가 게이트를 여닫지만, 감정 전환 감지나 화자 교체 같은 신호를 함께 쓰면 더 적은 호출로 같은 점수를 살 수 있지 않을까요. 전환 유형별로 난도가 다를 테니, 전환 다음 두 발화를 묶어 보내는 식의 작은 운영 기술도 궁금합니다.

다음으로 궁금한 것은 분포 변화 속 보정입니다. 신상품 출시나 대규모 장애처럼 감정 분포가 갑자기 기울어지는 주간에도 앙상블이 여전히 겸손하게 틀릴까요. 밤사이 공지가 늦게 도착하거나 아침에 특정 이슈가 폭증해도 예측 라인은 멈추면 안 되기 때문에, 보정을 주기적으로 다시 맞추는 루틴이 필요할 수 있습니다. 운영의 아침을 지켜주는 장치가 결국 보정이기 때문입니다. (참고로 논문은 두 제공자에 걸쳐 패턴이 유지된다고 밝히는데요. 특정 벤더 종속이 낮다는 점은 도입 장벽을 낮춰줍니다.)

마지막으로 보고 싶은 것은 사람과의 연결입니다. IVA가 사람 상담원에게 넘길 때 요약과 이유를 함께 넘기듯, 앙상블이 LLM에 넘길 때도 왜 자신이 없었는지를 함께 넘기면 품질이 달라질 수 있습니다. 전환 직후 발화라서 헷갈린다는 한 줄이 프롬프트에 얹히는 것만으로도 LLM의 판단이 안정될 여지가 있기 때문입니다. 물론 이 대목은 논문이 증명한 바깥이라서 조심스럽습니다. 하지만 라우팅 로그가 이미 전환 신호를 품고 있다면, 다음 연구가 파고들 곳은 뻔해 보입니다. 저는 그 다음 논문이 기다려집니다.

부를 곳에만 부르는 감각이 남긴 것

처음 질문으로 돌아가 보겠습니다. 매번 LLM을 부르면 무엇이 아쉬웠을까요. 답은 정확도가 아니라 배분이었습니다. 잘 맞는 구간에 비싼 자원을 쓰는 낭비, 그리고 어려운 구간을 싼 자원으로 버티게 하는 무리, 그 두 가지가 함께 줄었을 때 점수와 청구서가 같이 움직였다는 것이 이 논문이 남긴 감각입니다. 0.620과 0.643과 0.824라는 점수는 그래서 점수 이상의 이야기를 합니다. 어디에 돈을 썼는지를 말해주기 때문입니다.

같은 예산을 어디에 쓸지 고르는 일, 저는 이 결정을 운영의 본질에 가깝게 봅니다. 상담 센터의 리더가 어려운 통화에 숙련자를 붙이고 익숙한 문의는 자동화에 맡기듯, 모형에게도 같은 배분 감각이 필요하다는 것이죠. 이 논문은 그 감각을 자신감이라는 잴 수 있는 값으로 바꾸고, 문턱값이라는 손잡이로 쥐어주었습니다. 물론 모든 현장에 같은 문턱값이 통하지는 않겠지만, 손잡이가 있다는 사실 자체가 큽니다.

그렇다면 사람의 역할은 무엇일까요. 기계가 언제 도움을 청할지를 배우는 동안, 사람은 어떤 통화를 어렵다고 부를지를 정하고 그 기준을 감사하는 일을 맡게 됩니다. 저는 그 분업이 마음에 듭니다. 다 맡기지도 다 아끼지도 않고, 물을 곳에만 묻는 태도 말이죠. 다음에 비슷한 하이브리드 논문을 만나면, 저는 점수보다 먼저 게이트의 이유를 물을 것 같습니다. 왜 거기에서 불렀는지를 말할 수 있는 모형이라면, 적어도 운영의 언어를 아는 모형이니까요.