모두의 평균이 아닌 각자의 취향을 배우는 법

arXiv 2609.17847로 공개된 Learning Heterogeneous Preferences는 인간 피드백으로부터 배우는 기존 방식이 하나의 효용함수를 모두에게 씌운다는 진단을 내놓습니다. 이 글에서 말하는 제안은 개인과 결정 상황에 조건화된 효용함수를 따로 배우자는 것이고, 원문은 제목 아래 연결해 두었습니다.

57만 개가 넘는 바퀴 디자인 쌍별 판단에서 개인화된 효용이 평균적인 효용보다 분명히 앞섰다는 보고가 이 글의 출발점입니다. 점수 자랑이 아니라, 왜 평균이 깨지는지, 그리고 각자의 다름을 남기는 설계가 실제로 무엇을 바꾸는지 차례로 따라가는 글이 됩니다.

왜 우리는 모두 같은 보상을 좋아한다고 가정했을까

안녕하세요, 패트릭입니다. 저는 이 논문을 읽기 전에 먼저 제 습관부터 돌아봤습니다. 새로운 정렬 논문이 나오면 저는 보상 모델의 점수부터 보는데요. 점수가 올랐으면 방법이 좋아졌다고 넘기기 일쑤였습니다. 그런데 가만히 생각하면 그 점수 자체가 이상합니다. 누구에게 좋은 것인지 묻지 않고 좋다는 말만 남기니까요.

여러 사람이 한 식당에 가면 메뉴를 고르는 기준이 제각각입니다. 어떤 분은 매운맛을 피하고, 어떤 분은 면보다 밥을 고집하고, 같은 분이라도 점심과 회식 자리에서는 다른 선택을 합니다. 그렇다면 AI의 대답을 평가할 때도 같은 일이 생기지 않을까요. 논문이 파고든 지점이 바로 여기입니다. 지금까지의 피드백 학습은 대개 모집단 전체가 공유하는 하나의 효용함수를 가정했고, 평가자 사이의 엇갈림은 확률적인 흔들림으로 처리했습니다.

질문도 바뀌었습니다. 예전에는 좋은 대답의 평균을 어떻게 모을까가 물음이었다면, 이제는 사람들의 다름을 어떻게 지우지 않고 남길까가 물음이 됩니다. 저는 이런 물음의 이동에서 연구의 방향이 보인다고 봅니다. 평균을 더 정교하게 만드는 일이 아니라, 평균이라는 틀 자체를 의심하는 일이기 때문입니다.

의견이 갈린다는 말이 노이즈와는 다른 이유

같은 바퀴를 보고 한 사람은 시원하다고 하고 다른 사람은 산만하다고 합니다. 이럴 때 우리는 흔히 한쪽이 틀렸다고 말하거나, 둘 다 대충 찍었다고 넘깁니다. 그런데 논문의 문제의식은 정반대입니다. 엇갈림 자체가 정보일 수 있다는 것이죠. 같은 자극에 다른 반응이 나온다면, 그 차이를 설명하는 변수가 어딘가에 있다는 뜻이니까요.

생각해보면 사람도 비슷하게 배웁니다. 학생들의 오답을 모아보면 찍어서 틀린 경우도 있지만, 특정 개념을 특정 방식으로 오해한 흔적이 반복해서 드러납니다. 그럴 때 선생님은 오답을 노이즈로 버리지 않고 오답 노트처럼 씁니다. 어디에서 갈라지는지 알아야 다음 설명이 달라지니까요. 논문이 말하는 이질적인 취향도 같은 결입니다. 평가자들의 불일치를 둥글게 다듬을 오차가 아니라, 각자의 효용이 다르다는 신호로 읽자는 것입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 모든 불일치가 뜻깊은 차이는 아닙니다. 피곤해서 찍은 선택도 있고, 화면 밝기 때문에 생긴 흔들림도 있겠죠. 그럼에도 논문이 던지는 구분은 또렷합니다. 사람을 식별하는 정보와 결정이 일어난 상황을 함께 두면, 이전에는 노이즈로 보이던 흔들림 가운데 상당 부분이 설명되기 시작한다는 것입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 불일치를 버리는 쪽과 불일치를 설명하는 쪽은, 모델이 배워야 할 대상부터 다르게 정의하기 때문입니다.

자동차 바퀴에서 아름다움을 묻기로 한 선택이 눈에 밟혔습니다

처음에는 바퀴라는 소재가 낯설게 느껴졌습니다. 안전이나 사실성처럼 무게감 있는 주제가 아니라, 미적인 취향을 묻는 문제였기 때문입니다. 그런데 곱씹을수록 이 선택이 영리하게 다가옵니다. 아름다움은 정답이 없기로 유명한 영역이라서, 사람들의 다름을 숨기지 않고 드러내기 좋기 때문입니다.

식당으로 돌아가 보죠. 점심으로 김치찌개를 좋아하는 분도 저녁 회식에서는 같은 메뉴를 피할 수 있습니다. 음식이 바뀐 게 아니라 자리가 바뀐 것이죠. 바퀴 디자인도 마찬가지입니다. 같은 스포크 모양도 차체의 색이나 크기, 계절과 용도에 따라 다르게 느껴집니다. 그래서 아름다움은 취향 실험에 잘 맞습니다. 누가 보는지, 어떤 상황에서 보는지라는 조건을 빼면 판단 자체가 성립하지 않으니까요.

(참고로 저는 처음에 바퀴 사진을 몇 장 떠올리면서 읽었는데요. 얇게 뻗은 다섯 가닥과 빽빽하게 얽힌 메시형이 머릿속에서 바로 갈렸습니다. 저조차도 이유를 한마디로 말하기 어려웠습니다. 멋지다는 감각은 분명한데, 그 근거를 말로 풀면 길어지더군요.)

그렇다면 아름다움을 묻는 일은 가벼운 실험일까요. 저는 반대로 봅니다. 정답이 없는 영역에서야말로 평균의 폭력이 가장 잘 드러납니다. 다수의 취향으로 소수의 취향을 덮으면 점수는 안정되지만, 누구의 마음에도 정확히 맞지 않는 대답만 남습니다. 바퀴라는 소재는 그래서 좋은 출발점입니다. 논쟁적이지 않아서 오히려 취향의 결을 관찰하기 좋고, 관찰된 결을 다른 영역으로 옮겨 물을 빌미를 만들기 때문입니다.

57만 번의 선택을 2,398명에게서 모으면 무엇이 보일까

숫자를 먼저 펼치고 봅니다. 논문에서 새로 모은 자료는 57만 5천 개가 넘는 쌍별 미적 판단이고, 참여한 사람은 2,398명입니다. 한 사람당 평균으로 나누면 240번 가까운 선택이 돌아갑니다. 한 번 스쳐 묻고 끝난 설문이 아니라, 같은 사람에게 여러 번 물어 그 사람의 결을 읽을 수 있게 만든 규모라는 뜻입니다.

일반 파일에만 남긴 설문과 달리, 이렇게 사람 단위로 묶인 자료는 질문을 바꿉니다. 전체 정답률이 몇 퍼센트인지가 아니라, 누구의 선택이 누구와 닮았고 어디에서 갈라지는지가 물음이 되니까요. 2,398이라는 분모가 주는 힘도 여기 있습니다. 수십 명의 취향만 모으면 몇몇 강한 취향에 결과가 끌려가지만, 수천 명에게 57만 번을 물으면 취향의 분포 자체가 드러납니다. 드문 취향도 드물다는 이유로 지워지지 않고 자리에 남죠.

저는 여기서 멈칫했습니다. 규모가 크다는 말이 흔히 정밀하다는 뜻으로 오해되기 때문입니다. 큰 자료라도 물음이 흐리면 큰 노이즈만 남습니다. 이 실험이 다르게 느껴지는 이유는 물음이 분명해서입니다. 같은 바퀴 쌍을 여러 사람이 각자의 자리에서 고르게 하고, 그 선택을 사람과 상황의 정보와 함께 묶어두었기 때문입니다. 자료의 크기는 그래서 장식이 아니라 조건이 됩니다. 개인의 결을 추정하려면 한 사람에게서 반복된 신호가 있어야 하고, 그 반복이 수천 명에게서 모여야 분포를 말할 수 있으니까요.

다만 자료가 아름다움에 머문다는 점은 함께 기억해야 합니다. 바퀴가 예쁘다는 판단과, 의료나 금융처럼 틀리면 비용이 큰 판단은 무게가 다릅니다. 뒤에서 다시 다루겠지만, 저는 이 실험을 취향의 존재를 뒷받침하는 증거로는 강하게 읽고, 모든 정렬 문제에 같은 크기로 옮겨갈 증거로는 아직 유보하고 싶습니다.

사람과 상황을 함께 적는 효용함수는 어떻게 다를까

이제 논문의 중심 개념으로 들어갑니다. 기존 방식이 모두에게 통하는 효용함수 하나를 썼다면, 이 논문은 개인화된 효용함수를 말합니다. 같은 선택지라도 누가, 어떤 상황에서 고르는지에 따라 값이 달라지는 함수라는 뜻입니다. 합리적 선택 이론에 발을 딛고 있다는 설명도 같은 맥락입니다. 사람의 선택에는 이유가 있고, 그 이유는 효용이라는 말로 정리할 수 있다는 오래된 관점을 가져온 것이죠.

카페에서 음료를 고르는 장면을 떠올려 보죠. 같은 저라도 아침 출근길에는 뜨거운 아메리카노를 집고, 오후의 나른한 회의실에서는 차가운 라떼를 집습니다. 입맛이 두 개인 게 아니라 조건이 달라진 것입니다. 효용을 사람에만 매달면 이 변화를 설명하기 어렵고, 상황에 조건을 걸면 비로소 말이 됩니다. 논문이 개인과 결정 맥락을 함께 조건으로 두는 이유도 여기에 있다고 저는 읽었습니다.

그런데 조건을 늘리면 질문이 따라옵니다. 사람을 얼마나 잘게 나눌 것인가, 상황은 어디까지 적을 것인가 하는 물음입니다. 너무 뭉뚱그리면 다시 평균으로 돌아가고, 너무 잘게 쪼개면 한 사람에게서 배울 신호가 부족해집니다. 이 균형이 개인화 연구의 오래된 긴장입니다. 논문은 이 긴장을 이론의 선언으로만 풀지 않고, 여러 갈래의 자료와 단계적인 학습으로 풀려고 합니다. 그 방법의 결이 다음 두 대목에서 이어집니다.

여러 갈래의 데이터를 한데 엮으면 무엇이 달라질까

논문은 여러 양식의 자료로부터 개인화된 효용을 추정하는 다단계 구조를 제안합니다. 전해진 요약만으로는 각 단계의 수식이나 층 구성을 알 수 없는데요. 그럼에도 방향은 분명합니다. 이미지 같은 대상 정보, 쌍별 선택 같은 행동 정보, 그리고 사람과 상황에 대한 정보를 따로 두지 않고 함께 엮겠다는 것입니다.

요리를 떠올리면 감이 옵니다. 맛을 알려면 재료 사진만 봐서는 부족하고, 누가 먹어보고 어떤 표정을 지었는지, 그날 컨디션은 어땠는지까지 함께 들어야 합니다. 사진은 대상을 말해주고, 선택 기록은 드러난 취향을 말해주고, 사람과 상황 정보는 그 선택이 나온 조건을 말해주죠. 어느 하나만 쓰면 맛을 반만 아는 셈입니다. 여러 갈래를 엮어야 한다는 말은 그래서 멋을 위한 수사가 아닙니다. 취향은 대상과 사람과 상황이 만나서 생기는 값이라서, 하나라도 빠지면 반쪽이 되기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 서로 성질이 다른 자료를 어떻게 한 공간에 올릴 것인가 하는 물음입니다. 이미지는 픽셀로 오고, 선택은 이항 신호로 오고, 사람과 상황은 범주나 문장으로 옵니다. 이들을 무작정 이어붙이면 한 갈래의 신호가 다른 갈래를 집어삼키기 쉽습니다. 그래서 저희가 새로운 AI 아키텍처를 볼 때도 점수만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 다단계를 둔다는 발상은 이런 걱정에 대한 답으로 읽힙니다. 한 번에 섞지 않고, 각 갈래의 결을 살린 채로 차근차근 합치겠다는 것이죠.

여기서 한 가지 선을 긋고 싶습니다. 다단계라는 말이 곧 깊고 복잡한 구조라는 뜻은 아닙니다. 단계를 나눈 목적이 분명하면 얕은 구조도 설득력이 있고, 목적이 흐리면 깊은 구조도 장식에 그칩니다. 논문의 보고만으로는 단계별 기여를 뜯어보기 어렵지만, 적어도 문제 설정과 구조의 방향은 어긋나지 않아 보입니다. 개인과 상황을 조건으로 두려면, 그 조건을 나중에 덧붙이는 방식이 아니라 처음부터 함께 배우는 자리가 필요하기 때문입니다.

단계를 나누어 배우는 방식이 왜 필요했을까

그렇다면 단계를 나누는 일은 무엇 때문에 필요할까요. 저는 이 대목을 효율의 문제가 아니라 간섭의 문제로 읽었습니다. 여러 갈래의 신호를 한 번에 섞으면 강한 신호가 약한 신호를 덮어버립니다. 바퀴 이미지처럼 매번 또렷하게 들어오는 신호는 쉽게 살아남지만, 사람이나 상황처럼 가끔씩만 달라지는 신호는 묻히기 쉽죠. 그런데 취향 연구에서 진짜로 알고 싶은 쪽은 대개 후자입니다. 누가, 언제, 어떤 자리에서 달랐는지니까요.

학교에서 반 전체 시험 점수만 보고 개인의 성장을 재단하면 비슷한 일이 생깁니다. 평균이 오르면 모두 나아진 것처럼 보이지만, 실제로는 상위권이 끌어올린 것일 수 있습니다. 그래서 좋은 선생님은 단계를 나눕니다. 먼저 각 학생의 출발점을 보고, 다음에 각자의 진도를 보고, 마지막에 전체 분포를 봅니다. 한 번에 합치지 않고 순서를 두는 것이죠. 다단계 학습도 같은 감각입니다. 대상의 공통된 매력을 먼저 잡고, 그 위에 개인의 결을 얹고, 다시 상황의 흔들림을 얹는 식으로 순서를 주면, 약한 신호도 자기 자리를 지킬 수 있습니다.

물론 단계가 만능은 아닙니다. 순서를 잘못 두면 오히려 편향이 굳어집니다. 공통된 매력부터 배우면 소수의 독특한 취향이 처음부터 오답처럼 밀려날 수 있기 때문입니다. 이 점은 논문의 요약만으로는 확인할 길이 없습니다. 각 단계를 뺐을 때 무엇이 무너지는지에 대한 분해 실험이 있어야 판단할 수 있는 대목이죠. 저는 그래서 이 구조를 완성된 답이 아니라 잘 둔 질문으로 평가했습니다. 어떻게 나누면 각자의 다름이 살아남는가라는 물음을 구조로 옮겼다는 점에서 말입니다.

평균적인 보상이 놓치는 장면을 어떻게 드러낼 수 있을까

논문의 보고 가운데 저에게 가장 또렷하게 남은 대목은, 개인화된 효용이 보편적인 효용과 기반 모델을 그대로 쓴 기준선을 분명히 앞섰다는 점입니다. 정확한 점수 차이는 전해진 요약에 없는데요. 그럼에도 방향 자체가 주는 메시지는 큽니다. 덩치 큰 기반 모델을 가져다 써도, 평균이라는 틀 안에 있으면 각자의 취향을 맞히지 못한다는 뜻이기 때문입니다.

옷 가게의 무료 사이즈를 떠올려 보죠. 누구에게나 대충 맞는다는 옷은 누구에게도 정확히 맞지 않습니다. 평균 보상이 그렇습니다. 다수의 선택에 자주 맞는 답을 내지만, 특정 사람의 특정 상황에서는 번번이 빗나갑니다. 개인화된 효용은 이 지점을 찌릅니다. 같은 바퀴 쌍이라도 누구에게는 왼쪽이, 다른 누구에게는 오른쪽이 더 낫다고 말할 수 있어야 제대로 맞힌 셈이니까요.

그렇다면 이 앞섬은 어디에서 왔을까요. 저는 두 가지 가능성을 함께 봅니다. 하나는 사람 정보가 준 이득이고, 다른 하나는 상황 정보가 준 이득입니다. 누가 고르는지만 알아도 쌍별 예측은 꽤 좋아질 수 있습니다. 늘 얇은 스포크를 고르는 분이 있기 때문입니다. 여기에 상황이 더해지면 남은 오차가 줄어듭니다. 출근용과 전시용의 기준이 다르다는 것을 모형이 알게 되니까요. 두 조건이 겹칠 때 앞섬이 커진다는 해석은 자연스럽습니다. 다만 두 조건의 기여를 가른 수치가 없어서, 어느 쪽이 더 컸는지는 지금으로서는 물을 수만 있고 답할 수는 없습니다.

좋은 결과라는 말을 어디까지 믿어야 할까

여기서는 조금 차갑게 식혀야 합니다. 좋은 결과라는 말은 조건을 빼면 쉽게 부풀기 때문입니다. 이 실험의 무대는 미적인 판단이었고, 대상은 자동차 바퀴였고, 물음은 둘 중 어느 쪽이 더 낫냐는 쌍별 선택이었습니다. 이 조건 안에서는 개인화의 승리가 분명해 보입니다. 그런데 조건을 바꾸면 이야기가 달라질 수 있습니다.

예를 들어 진료 지침이나 대출 심사처럼 정답에 가까운 기준이 있는 영역에서는 개인의 취향을 앞세우는 일이 오히려 위험할 수 있습니다. 또한 쌍별 선택은 고르기 쉬운 물음이지만, 실제로는 고르기보다 만들기나 설명하기가 앞서는 영역도 많습니다. 바퀴 실험의 승리가 그런 영역까지 그대로 이어진다고 말하려면 별도의 증거가 필요합니다. 저는 그래서 이 결과를 취향이 실재한다는 증거로는 무겁게 받고, 정렬 전반의 해법이라는 말로는 가볍게 듣습니다.

또 하나 짚을 점은 기반선이라는 말의 폭입니다. 기반 모델을 그대로 쓴 기준선을 앞섰다는 말이, 어떤 기반 모델을 어떻게 썼는지에 따라 무게가 달라지기 때문입니다. 미적 판단을 묻는 데에 말을 잘하는 모델을 그대로 쓰면 당연히 흔들릴 수 있습니다. 이미지를 제대로 보는 쪽과 글을 읽는 쪽을 같은 선에 세웠는지도 따져야 합니다. 전해진 요약에는 이런 세부 조건이 없습니다. 그래서 저는 앞섰다는 방향은 받아들이되, 앞섬의 크기를 말할 때는 말을 아낍니다. 조건이 붙지 않은 승리는 해석의 여지가 크기 때문입니다.

정렬의 기준을 누구에게 맞춰야 할까요

마지막으로 시선을 넓혀 봅니다. 만약 취향의 차이가 노이즈가 아니라 각자의 효용이라면, 정렬이라는 말의 뜻도 달라져야 합니다. 모두를 만족시키는 하나의 대답이 아니라, 누구에게 어떤 대답이 맞는지 가려내는 일이 되기 때문입니다. 평균에 맞추는 정렬에서 각자에게 맞추는 정렬로, 문제의 정의가 이동하는 것이죠.

저희 팀에서 모델을 고를 때도 비슷한 고민이 있습니다. 벤치마크에서 1등 한 모델을 고르면 마음은 편하지만, 막상 붙여보면 우리 사용자와 어긋날 때가 있습니다. 그때 알게 됩니다. 점수는 평균의 언어이고, 서비스는 각자의 언어라는 것을요. 개인화된 효용은 이 간극을 메우는 한 가지 방식입니다. 보상 자체를 사람과 상황에 따라 다르게 적어두면, 정책이 배울 목표부터 달라지니까요.

그렇다면 남은 물음은 무엇일까요. 저는 앞으로 보고 싶은 것이 세 가지 있습니다. 먼저 바퀴를 넘어선 영역에서의 확인입니다. 글쓰기 취향이나 설명의 길이, 말투 같은 일상적인 다름에서도 같은 앞섬이 나오는지 궁금합니다. 다음으로 상황의 범위입니다. 시간과 장소 같은 외부 조건뿐 아니라, 대화의 흐름 같은 내부 조건까지 효용이 따라갈 수 있는지 보고 싶습니다. 마지막으로 비용입니다. 각자를 따로 배우는 일은 자료와 계산을 더 달라고 합니다. 그 값을 치르고도 남는 이익이 어디에서 생기는지, 운영의 언어로 풀어낼 필요가 있습니다.

이 논문이 남긴 가장 단단한 문장은 결국 하나입니다. 엇갈림을 오차로 지우지 말고 취향으로 읽으라는 것이죠. 밤에 혼자 차를 고르는 사람과 주말에 가족과 함께 고르는 사람은 같은 사람이지만 다른 선택을 합니다. 그 다름을 노이즈라고 부르는 한, AI는 평균적으로 친절하고 개별적으로는 어긋난 채로 남을 것입니다. 각자의 효용을 배우는 일은 그래서 점수 경쟁이 아니라 태도의 전환입니다. 누구의 마음을 맞힐 것인지 먼저 묻고, 그 다음에 어떻게 맞힐지를 묻는 순서 말입니다.