위로가 두 사람만의 일이 아닐 때, 관계까지 읽는 AI를 묻다

RESCUE-BENCH: Towards Relation-Aware Multi-Party Emotional Support Conversation Systems라는 논문이 arXiv 2609.09657 번호로 공개됐습니다. 원문 논문으로 이어지는 링크는 이 글 제목 아래에 걸려 있는데, 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있습니다. 정서적 지지를 돕는 AI라면 개인의 감정만이 아니라 여러 사람 사이에서 계속 바뀌는 관계의 흐름까지 읽고 그에 맞춰 행동해야 한다는 것입니다.

제가 이 논문을 처음 집어든 이유는 조금 개인적입니다. 지금까지 정서적 지지 대화를 다룬 연구들을 볼 때마다 어딘가 허전함을 느꼈는데, 대부분의 시스템이 한 사람이 고민을 말하고 다른 한 사람이 위로하는 장면만 가정하고 있었기 때문입니다. 그런데 우리가 실제로 위로를 주고받는 장면을 떠올리면 혼자 대 혼자인 경우가 얼마나 될까요. 명절에 모인 가족이나 육아 문제로 밤늦게 이야기 나누는 부부, 부모와 자녀가 함께 앉은 상담실처럼 위로는 늘 여러 사람 사이에서 오갑니다. 그래서 저는 이 논문의 문제의식이 낯설지 않으면서도 반가웠습니다. 드디어 누군가가 사이를 본격적으로 보겠다고 나섰구나 싶었기 때문입니다.

위로가 두 사람 이야기가 아니게 되는 순간

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 위로의 장면에서도 비슷한 일이 벌어지지 않을까요. 두 사람일 때는 감정의 방향이 단순해서, A가 힘들다고 말하면 B는 A를 위로하면 되죠. 하지만 세 사람이 되면 이야기가 달라지는데, A가 힘들다고 말했을 때 B가 끼어들면 C의 표정이 굳는 식입니다. 이때 B의 말은 A에게는 위로일 수 있지만 C에게는 서운함이 될 수 있으니까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 이 지점을 정면으로 다룬다는 점입니다. 기존의 정서적 지지 연구는 대부분 seeker와 supporter라는 두 역할로 세계를 나눴는데요, 한 사람이 고민을 털어놓으면 다른 한 사람이 공감하고 전략적으로 돕는 구조였죠. 이 틀에서는 감정 상태만 잘 읽으면 됐습니다. 지금 슬픈지, 불안한지, 분노했는지를 맞히고 그에 맞는 말을 고르면 됐기 때문입니다.

그런데 부부나 가족의 대화를 보면 감정보다 관계가 먼저 튀어나올 때가 많습니다. 누가 사과해야 하는지나 누가 양보하는 쪽에 익숙한지, 어떤 주제가 나오면 늘 분위기가 가라앉는지 같은 것들이 먼저 보이기 때문입니다. 이런 배경이 깔려 있으면 같은 말도 다르게 들립니다. 잘했어라는 한마디가 어느 날은 격려가 되지만, 다른 날에는 너는 맨날 그렇게 쉽게 말한다는 핀잔으로 들리기도 합니다. 왜냐하면 말의 뜻이 말 자체에만 있지 않고 두 사람의 역사 안에 있기 때문입니다. 그렇다면 AI가 이런 장면에서 돕고 싶다면 무엇을 읽어야 할까요. 저는 이 질문이 이 논문의 출발점이라고 봅니다.

세 사람이 모이면 감정이 아니라 사이가 문제가 된다

표면적으로 보면 정서적 지지와 관계 이해는 비슷해 보입니다. 둘 다 사람의 마음을 다루기 때문입니다. 실제로는 그렇지 않은데, 감정은 비교적 짧은 구간에서도 읽히지만 관계는 길게 봐야 드러나기 때문입니다.

예를 들어 한 부부의 인터뷰 대화를 떠올려 보죠. 아내가 요즘 잠을 못 잔다고 말하면 남편은 피곤하겠다고 맞장구칩니다. 여기까지만 보면 평범한 공감 장면입니다. 그런데 10분 뒤 남편이 회사 이야기를 꺼내자 아내의 말수가 줄고, 다시 20분 뒤 자녀 이야기가 나오자 남편이 갑자기 방어적으로 말하기 시작합니다. 각각의 발화만 떼어놓고 보면 큰 문제가 없어 보이지만, 흐름으로 보면 서로 피하고 싶은 주제를 빙빙 돌고 있다는 게 느껴집니다. 그래서 누가 먼저 상처를 줬는지보다 어떤 패턴이 반복되는지가 더 중요해지는 순간이 옵니다.

연구진이 짚는 것도 바로 이 대목입니다. 기존 시스템은 개인의 정서 상태에 머물렀고, 여러 사람 사이의 관계는 거의 다루지 않았다는 것입니다. 저는 이 지적에 공감하면서도 한 가지를 덧붙이고 싶습니다. 관계는 감정보다 annotator의 손을 훨씬 더 타는 개념이라는 점입니다. 슬픔은 표정이나 눈물로 비교적 합의가 되지만, 권력 불균형이나 회피 패턴 같은 말은 보는 사람마다 기준이 달라지기 때문입니다. 그래서 관계 중심 벤치마크를 만든다는 건 데이터를 모으는 일이자 기준을 세우는 일이기도 합니다. 이 논문이 데이터뿐 아니라 여섯 가지 과업을 함께 내놓은 이유도 여기에 있다고 생각합니다. 무엇을 재겠다는 선언 없이 숫자만 내놓으면 아무도 그 숫자를 믿지 않기 때문입니다.

그렇다면 관계라는 것을 기계는 어떻게 봐야 할까

여기서 재미있는 질문이 생깁니다. 관계라는 건 대체 무엇으로 이루어져 있을까요. 논문은 이를 두 가지 능력으로 나눠서 묻는데, 관계를 이해하는 능력과 관계에 민감하게 돕는 능력이 그것입니다. 영어로는 Relational Understanding과 Relation-Sensitive Support라고 부릅니다.

앞쪽은 읽는 일입니다. 지금 두 사람이 어떤 관계 패턴 안에 있는지, 각자가 상황을 어떤 관점에서 보고 있는지 같은 것을 맞히는 일이죠. 뒤쪽은 행동하는 일인데, 읽은 내용을 바탕으로 지금 누구에게 어떤 방식으로 말을 걸어야 할지를 고르는 것입니다. 읽기와 행동을 나눈 게 저는 마음에 들었습니다. 실제 상담이나 중재 장면에서도 이 둘은 다른 기술이기 때문입니다. 잘 읽는데 말을 서툴게 하는 사람이 있고, 말은 부드럽게 하는데 상황을 오독하는 사람도 있습니다.

문제는 그다음입니다. 모델이 관계 패턴을 맞혔다고 할 때 우리는 무엇을 기대해야 할까요. 단순히 두 사람이 갈등 중이라는 라벨을 맞히는 것일까요, 아니면 갈등이 어떤 방식으로 반복되는지를 읽는 것일까요. 논문이 말하는 relation pattern prediction은 후자에 가깝습니다. 한 순간의 감정이 아니라 반복되는 상호작용의 모양을 보라는 것이기 때문입니다. 비슷하게 viewpoint prediction은 각 화자가 같은 사건을 어떻게 다르게 받아들이는지를 묻습니다. 같은 결혼생활을 두고 한 사람은 희생이라고 말하고 다른 사람은 당연한 역할이라고 말한다면, 그 간극 자체가 관계의 정보가 되기 때문입니다. 그리고 support strategy prediction은 그 이해를 바탕으로 어떤 지지 전략이 어울리는지를 고르는 일입니다.

저는 이 세 가지 과업 이름만 봐도 이 벤치마크의 성격이 드러난다고 봅니다. 감정을 맞히는 시험이 아니라 사이를 읽고 사이 사이에서 움직이는 시험이기 때문입니다.

실제 부부와 가족의 대화를 빌려온 이유

이 연구가 시나리오를 가짜로 만들지 않고 실제 커플과 가족 인터뷰 대화를 가져온 대목은 곱씹을 만합니다. 대본으로 만든 대화는 깔끔하지만 관계의 질감이 잘 안 살아나는데요, 실제 대화에는 말을 끊는 타이밍이나 웃음으로 넘기는 순간, 갑자기 조용해지는 대목 같은 게 고스란히 담기기 때문이죠. 연구진은 이런 자료에서 191개 샘플과 7,079개 발화 주석, 그리고 1,064.8분에 이르는 영상을 모았다고 밝히고 있습니다.

숫자를 그냥 나열하면 감이 잘 안 오실 텐데요, 발화 수로 나눠보면 샘플 하나당 평균 37개 안팎의 발화가 주석과 함께 묶여 있다는 뜻입니다. 짧은 질의응답이 아니라 꽤 긴 호흡의 대화라는 의미이기 때문입니다. 영상 분량으로 보면 샘플 하나당 평균 5분에서 6분 사이인데, 이 정도면 서로의 말투와 표정, 그리고 주제가 바뀔 때의 미묘한 공기를 읽을 수 있는 길이입니다. 저는 이 숫자보다 그 뒤의 선택이 더 중요하다고 봅니다. 관계는 한두 마디로 판단할 수 없으니 긴 대화를 통째로 보겠다는 결정을 내린 셈이기 때문입니다.

물론 실제 대화를 쓴다는 건 장점만 있는 선택은 아닙니다. 사생활과 동의, 익명화 같은 문제를 조심스럽게 다뤄야 하고, 인터뷰라는 특수한 상황이 주는 편향도 생기기 때문입니다. 인터뷰에서는 사람들이 평소보다 더 정돈된 말을 하기도 하고, 카메라 앞이라 감정을 누르기도 합니다. (참고로 영상까지 포함한 자료라고 해서 표정만 보면 답이 나오는 시험은 아닙니다. 말과 맥락, 관계 흐름을 함께 봐야 하는 문제로 설계돼 있다는 게 나중에 과업 설명에서 드러나기 때문입니다.) 그럼에도 저는 이 선택을 지지하는 쪽입니다. 관계라는 주제는 합성 대화로 흉내 내기에는 너무 미묘하고, 처음부터 진짜에 가까운 재료로 기준을 세우는 편이 나중에 응용할 때도 덜 흔들리기 때문입니다.

191개 대화 속에 무엇을 적어 넣었을까

그렇다면 191개 대화에 도대체 무엇을 적어 넣었길래 관계 시험이 가능해진 걸까요. 논문에 따르면 사회정서적 주석과 지지 관련 주석이 촘촘하게 붙어 있습니다. 누가 무슨 감정을 드러냈는지 같은 개인 수준의 기록을 넘어, 사람들 사이의 관계와 중재 관점에서의 기록까지 포함했기 때문입니다.

이 대목에서 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보기 때문입니다. 데이터도 마찬가지인데, 샘플 수보다 무엇을 어떻게 적었는지가 결과를 좌우합니다. 7,079개 발화라는 숫자는 그 자체로 크다기보다 발화마다 관계 맥락이 따라붙는다는 점에서 의미가 있습니다. 발화 하나하나가 독립된 문장이 아니라 대화 흐름 안의 한 장면으로 기록되기 때문입니다.

생각해보면 사람도 비슷하게 배웁니다. 부부 상담을 처음 참관하는 사람은 각자의 말만 듣지만, 경험이 쌓이면 말과 말 사이를 보기 시작하죠. 누가 말을 끊었는지나 누가 주제를 바꿨는지, 누가 침묵으로 항의하는지 같은 것들이 보이기 때문입니다. 주석이 풍부하다는 건 모델에게도 그런 사이 읽기를 가르칠 재료를 준다는 뜻입니다. 물론 주석이 많다고 자동으로 좋은 평가는 아닙니다. 기준이 흔들리면 많은 주석이 많은 노이즈가 되기도 하기 때문입니다. 그래서 다음에 볼 여섯 가지 과업이 중요합니다. 주석을 어떻게 시험으로 바꿨는지가 이 벤치마크의 진짜 얼굴이기 때문입니다.

여섯 가지 시험이 묻는 것은 결국 두 가지 능력이다

논문은 여섯 가지 과업을 정의했다고 밝히고 있습니다. 겉으로 보면 여섯 갈래로 흩어져 있지만 속으로 보면 두 갈래로 모이는데, 관계를 이해했는지와 관계에 맞춰 도울 수 있는지입니다.

앞 묶음에 속한 시험들은 비교적 읽기의 정밀도를 묻습니다. 관계 패턴 예측은 대화가 어떤 상호작용 모양을 반복하는지를 맞히는 일이고, 관점 예측은 같은 사건을 각 화자가 어떻게 받아들이는지를 맞히는 일이죠. 뒤 묶음에 속한 시험들은 판단과 선택에 가깝습니다. 지금 이 관계 상태에서 어떤 지지 전략이 적절한지, 어떤 개입이 오히려 독이 될지를 고르는 것이기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 여섯 가지라는 숫자가 여섯 개의 독립된 능력처럼 들리지만 실제로는 서로 얽혀 있기 때문입니다. 관점을 오독하면 전략도 빗나가기 마련이고, 전략을 잘못 고했다는 건 관계를 덜 이해했다는 신호일 수도 있습니다. 저는 그래서 이 여섯 가지 시험을 여섯 개의 과목이라기보다 하나의 긴 진료 기록처럼 봅니다. 읽기 성적이 행동 성적의 이유가 되고, 행동 성적이 다시 읽기 성적의 빈틈을 드러내는 식으로 연결돼 있기 때문입니다.

또 하나 짚고 싶은 건 평가 방식의 온도 차이입니다. 감정 라벨처럼 답이 비교적 또렷한 시험도 있지만 관계 패턴이나 전략 선택처럼 해석의 여지가 남는 시험도 있습니다. 후자에서는 정답률이 조금 낮게 나와도 낙담할 필요가 없는데, 사람이 해도 의견이 갈리는 문제를 기계에게 묻고 있기 때문입니다. 중요한 건 절대 점수보다 어디에서 점수가 꺾이는지입니다. 그리고 바로 그 꺾이는 지점이 다음 결과에서 꽤 또렷하게 드러납니다.

숫자로 보면 잘하는데 관계로 보면 막히는 지점

연구진은 열 개의 LLM으로 실험했다고 보고합니다. 모델 이름을 하나하나 외우는 것보다 흐름을 잡는 게 더 중요한데, 결과의 모양이 꽤 일관됐기 때문입니다. 국소적인 감정 단서나 개입 단서에 의존할 수 있는 과제에서는 모델들이 비교적 잘했고, 관계에 깊이 얽힌 과제에서는 분명히 헤맸다는 것입니다. 구체적으로는 관계 패턴 예측과 관점 예측, 지지 전략 예측 같은 과제에서 어려움이 컸다고 합니다.

이 결과는 마음에 들면서도 씁쓸합니다. 한편으로는 요즘 모델들이 짧은 구간에서의 공감이나 위로 말을 꽤 자연스럽게 구사한다는 걸 확인해주니까요. 그런데 다른 한편으로는 정작 어려운 장면, 그러니까 사이가 꼬인 장면에서는 여전히 손이 떨린다는 뜻이기도 하죠. 표면적으로 보면 단순한 차이 같지만 실제로는 그렇지 않습니다. 국소 단서는 한두 문장만 봐도 풀리지만 관계 문제는 대화 전체를 엮어야 풀리기 때문입니다.

예를 들어 남편이 미안하다고 말하는 장면을 보죠. 문장만 보면 사과이고 사과에는 위로가 따르는 게 상식입니다. 그런데 그 사과가 매번 같은 패턴으로 반복되고, 사과 뒤에 바로 화제를 돌리는 버릇이 붙어 있다면 이야기가 달라집니다. 아내는 그 사과를 진심으로 듣지 않고, 자녀는 눈치를 보기 시작하기 때문입니다. 이때 모델이 미안하다는 단어에만 반응해서 잘 풀고 있다고 판단하면 곤란합니다. 진짜로 봐야 할 건 사과라는 단어가 아니라 사과가 소비되는 방식이기 때문입니다. 논문이 말하는 관계 중심 과제의 어려움은 대개 이런 데서 생깁니다. 답이 문장 안에 있지 않고 문장들 사이에 있기 때문입니다.

저는 이 대목에서 실제 시스템 관점의 질문이 바로 떠올랐습니다. 긴 대화를 통째로 넣으면 context window는 감당할 수 있을까요. 37개 발화라면 토큰으로는 충분히 들어갈 만한 길이인데, 문제는 길이가 아니라 엮기입니다. 멀리 떨어진 두 장면을 연결해야 할 때 모델이 그 연결을 놓치면 길게 보는 의미가 반감되기 때문입니다. 이 벤치마크가 앞으로 긴 context를 자랑하는 모델들에게 좋은 시금석이 될 거라고 보는 이유도 여기에 있습니다.

그렇다면 왜 국소적인 단서에서는 강할까

그렇다면 모델이 국소 단서에서는 왜 비교적 잘했을까요. 이유는 생각보다 소박합니다. 국소 단서는 학습 데이터에 아주 많이 들어 있기 때문입니다. 인터넷과 책, 상담 예시 글에는 슬플 때는 이렇게 말하고, 불안할 때는 저렇게 말한다는 패턴이 넘쳐나기 때문입니다. 그래서 모델은 그 패턴을 잘 외우고 있고, 짧은 구간에서는 능숙해 보이는 것입니다.

반면 관계 패턴은 데이터로 배우기 까다롭습니다. 같은 말이라도 관계에 따라 뜻이 달라지고, 같은 관계라도 시간이 지나면 모양이 바뀌기 때문이죠. 예를 들어 처음에는 장난처럼 보이던 말이 세 번 반복되면 무시가 되고, 다섯 번 반복되면 상처가 됩니다. 이런 변화는 한 문장 라벨로는 잡히지 않습니다. 대화 전체를 시간 순서대로 따라가면서 누가 무엇을 누적시키고 있는지를 봐야 하기 때문입니다. 그런데 지금의 LLM 평가는 대개 한 턴 잘 답했는지를 묻는 데 익숙합니다. 여러 턴에 걸친 누적과 변화를 묻는 데는 상대적으로 덜 단련돼 있기 때문입니다.

여기서 한 가지 오해를 바로잡고 싶습니다. 모델이 관계 과제에서 헤맸다는 말이 모델이 공감 능력이 없다는 뜻은 아닙니다. 공감은 되는데 중재는 안 된다고 보는 게 더 정확합니다. 두 사람의 말을 각각 위로하는 건 잘하는데, 세 사람의 사이를 고려해서 누구에게 먼저 말을 붙이고 어떤 주제는 잠시 미뤄야 할지를 고르는 데서는 미숙하기 때문입니다. 일종의 오답 노트처럼 틀린 답을 모아보면 약점이 더 또렷해지는데, 이 벤치마크의 오답들은 대체로 상대의 감정을 틀려서가 아니라 관계의 우선순위를 틀려서 생긴 것들로 보입니다. 저는 그 점에서 이 결과가 낙담보다는 방향에 가깝다고 봅니다. 무엇을 더 가르쳐야 할지가 전보다 또렷해졌기 때문입니다.

관계를 읽는 일과 관계에 맞춰 돕는 일은 왜 다를까

이 논문이 읽기 시험과 돕기 시험을 나눈 선택으로 다시 돌아오겠습니다. 언뜻 보면 읽기를 잘하면 돕기도 잘할 것 같지만, 실제로는 두 능력이 따로 노는 경우가 많습니다. 논문의 결과도 그 간극을 보여주는 쪽에 가깝기 때문입니다.

이유를 일상에서 찾아보면 금방 와닿습니다. 부부 싸움을 옆에서 지켜보는 친구를 떠올려 보죠. 누가 더 서운한지는 잘 알겠는데 막상 입을 열려고 하면 말이 막힐 때가 있습니다. 남편 편을 들자니 아내가 상처받고, 아내 편을 들자니 남편이 입을 닫아버릴 것 같기 때문입니다. 이때 필요한 건 진단이 아니라 순서와 무게입니다. 누구에게 먼저 말을 걸지나 어떤 말은 지금 하지 않고 다음으로 미룰지, 어떤 주제는 두 사람이 함께 있을 때가 아니라 따로 있을 때 꺼낼지 같은 것들이 필요하기 때문입니다. 지지 전략 예측이 어려운 이유도 같습니다. 정답이 하나가 아니라 관계 상태마다 달라지는 문제이기 때문입니다.

그래서 저는 지지 전략이라는 말을 조금 넓게 읽고 싶습니다. 위로의 문장을 고르는 기술을 넘어, 대화의 다음 수를 두는 기술이라는 의미입니다. 때로는 공감이 정답이고, 때로는 잠시 쉬어가자는 제안이 정답이며, 때로는 아무 말도 하지 않고 듣는 게 정답이기 때문입니다. 특히 다자 장면에서는 한 사람을 돕는 말이 다른 사람에게는 상처가 될 수 있어서, 말의 내용보다 말의 주소와 타이밍이 더 중요해질 때가 많습니다.

모델이 이 감각을 익히려면 문장 잘 쓰기 훈련을 넘어 관계 상태에 따른 선택 훈련이 필요합니다. 논문이 관계 민감성을 따로 떼어 시험으로 만든 건 그래서 시의적절합니다. 잘 읽는 모델을 넘어 잘 끼어드는 모델을 묻기 시작했다는 뜻이기 때문입니다.

제가 앞으로 보고 싶은 것은 관계가 변하는 장면이다

마지막으로 남은 질문은 이것입니다. 관계는 고정된 라벨일까요, 아니면 계속 변하는 과정일까요. 저는 후자라고 봅니다. 오늘은 대립처럼 보이던 사이가 다음 주에는 협력으로 바뀌기도 하고, 반대로 사소한 오해가 쌓여 협력이 금가기도 하기 때문입니다. 그런데 지금의 여섯 가지 시험이 이런 변화를 얼마나 따라가는지는 조금 더 들여다볼 필요가 있습니다. 한 대화 안에서의 패턴을 읽는 것과 여러 시간에 걸친 변화를 읽는 것은 다른 난이도이기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이런 관계 이해를 실시간 대화에 어떻게 얹을 수 있을까요. 1,064.8분이라는 영상과 7,079개 발화라는 주석은 연구용으로는 풍부하지만 서비스용으로는 여전히 작은 규모입니다. 게다가 실제 상담이나 가족 중재 장면에서는 정확도 숫자만큼이나 안전과 윤리가 중요합니다. 섣부른 중재가 오히려 갈등을 키울 수도 있고, 특정 한쪽의 이야기만 과도하게 대변하면 공정성 문제가 생기기도 하기 때문입니다. 그래서 저는 이 벤치마크를 당장 서비스 점수로 읽기보다 설계도처럼 읽는 편이 좋다고 봅니다. 다자 지지 시스템을 만든다면 어떤 능력을 나눠서 보고 어떤 순서로 가르칠지를 보여주는 설계도이기 때문입니다.

그렇다면 사람의 역할은 무엇일까요. 저는 이 논문을 덮으면서 오히려 사람의 눈이 더 중요해졌다고 느꼈습니다. 관계 패턴이라는 건 결국 사람이 합의해 붙인 이름이고, 어떤 지지가 좋았는지도 사람이 살아보고 판단하는 일이기 때문입니다. 모델이 191개 대화를 보고 사이 읽기를 연습한다면, 사람은 그 연습이 제대로 된 방향인지 계속 묻고 고쳐줘야 합니다. 잘 읽는 기계와 잘 묻는 사람, 저는 앞으로의 정서적 지지 시스템이 그 둘의 합작이 될 거라고 봅니다. 사이를 읽는 일은 기계에게 맡기더라도 사이를 책임지는 일은 여전히 사람의 몫이기 때문입니다.