행동 기록이 사람 설명을 이긴다, LLM 합성 페르소나의 개인을 복원하는 방법

오늘 살펴볼 논문은 arXiv에 공개된 Behavioral History Outperforms Descriptions of the Person for LLM Synthetic Personas (arXiv:2610.03998)입니다. 원문 논문으로 이어지는 링크는 제목 아래에 걸어두었습니다. 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 특정 응답자를 대신하는 합성 페르소나를 만들 때 그 사람이 누구인지 설명하는 글보다 그 사람이 과거에 실제로 어떤 선택을 했는지 보여주는 편이 개인 수준의 결정을 훨씬 잘 되살린다는 것입니다.

실험의 뼈대도 함께 짚어두겠습니다. 미국 성인 845명을 두 차례에 걸쳐 조사한 패널에서 위험과 시간 선호, 과신, 추론에 걸친 14가지 행동 편향을 측정했고, 아무 정보도 주지 않는 조건부터 인구통계와 성격 특성, 인지 점수, 그리고 마지막에 과거 설문 선택 기록을 더하는 방식까지 다섯 단계로 점점 더 풍부한 조건을 비교했습니다.

왜 이 논문을 굳이 읽었을까요

안녕하세요, 패트릭입니다. 저는 합성 페르소나 이야기를 들을 때마다 반쯤은 기대하고 반쯤은 의심했는데요. 설문 응답자를 모델로 흉내 낼 수 있다면 연구 비용이 크게 줄어들 테니까요. 그런데 막상 결과를 보면 평균은 그럴듯하고 개인은 어딘가 밋밋하다는 느낌이 남을 때가 많았습니다. 여러분도 비슷한 경험이 있으실지 모르겠습니다. 전체 분포 그래프는 잘 맞는데, 정작 내가 아는 그 한 사람의 대답은 재현되지 않는 경우 말이죠.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 그 지점을 정면으로 파고든 방식이었습니다. 평균이 맞았다고 해서 개인을 맞힌 것이 아니라는 당연해 보이는 명제를, 측정 가능한 형태로 끝까지 밀어붙였기 때문입니다. 인구 수준에서는 모든 조건이 사람 평균과 비슷해 보였는데, 개인 사이의 차이와 개인 내의 일관성을 따로 재는 순간 설명 기반 페르소나의 바닥이 드러났습니다. 그리고 행동 기록을 넣자 숫자가 살아났습니다.

그렇다면 설명은 왜 부족했고 기록은 왜 도움이 됐을까요. 오늘은 그 차이를 만드는 구조부터, 숫자가 말하는 것과 말하지 않는 것까지 차례로 따라가 보겠습니다.

평균은 맞는데 사람은 틀리면 무슨 소용일까

설문을 대신할 합성 응답자를 만든다고 상상해 보겠습니다. 가장 먼저 확인하게 되는 것은 전체 평균입니다. 예컨대 참가자 한 사람당 평균적으로 몇 개의 편향이 나타나는지 같은 숫자죠. 이 논문에서도 모든 조건이 평균적으로 7.1개에서 8.1개의 편향을 만들어냈고, 실제 사람의 평균인 7.1개와 꽤 가까웠습니다. 조건을 아무것도 주지 않아도 평균은 비슷했고, 인구통계나 성격을 줘도 평균은 비슷했습니다. 표면적으로 보면 단순합니다. 어떤 조건을 써도 인구 전체의 모습은 얼추 재현된다는 이야기니까요.

문제는 그다음입니다. 평균이 같다는 것은 분포의 중심이 같다는 뜻일 뿐, 누가 어디에 있는지를 맞혔다는 뜻은 아닙니다. 반에서 시험 평균이 70점이라고 해서 모든 학생이 70점을 받은 것은 아니듯, 편향 개수의 평균이 7개라고 해서 각 개인의 위험 회피나 시간 할인, 과신 성향이 그대로 복원된 것은 아닙니다. 합성 페르소나의 진짜 쓰임새가 특정 응답자를 대신하는 데 있다면, 평균이 아니라 개인의 위치를 맞춰야 합니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 평균이 맞는 것은 필요조건에 가깝고, 개인차를 살리는 것은 충분조건에 가깝기 때문입니다. 정책 설문이나 제품 테스트에서 우리가 궁금한 것은 대개 전체 평균이 아니라 어떤 사람들이 어떻게 다르게 반응하는지이니까요. 그래서 논문이 평균 다음에 곧바로 개인차의 분산과 개인 수준의 예측력으로 넘어가는 흐름이 마음에 들었습니다. 쉬운 점수에서 어려운 점수로 질문을 옮겨간 셈이죠.

사람을 설명하는 것과 행동을 보여주는 것은 왜 다를까

이번 연구가 비교한 다섯 조건을 나란히 세워보면 질문의 방향이 보입니다. 아무 정보도 주지 않는 상태에서 시작해 인구통계와 성격 특성, 인지 점수를 차례로 더하고, 마지막에 과거 설문에서 했던 선택 기록을 덧붙이는 구조인데요. 앞의 조건들이 그 사람이 누구인지 설명하는 글에 가깝다면, 마지막 조건은 그 사람이 무엇을 했는지 보여주는 자료에 가깝습니다.

생각해보면 사람도 비슷하게 배웁니다. 새로 합류한 동료가 어떤 사람인지 소개로 듣는 것과, 그 동료가 지난 몇 달간 어떤 결정을 내렸는지 회의 기록으로 보는 것은 정보의 결이 다릅니다. 소개는 대체로 평균적인 인상과 라벨로 뭉뚱그려지고, 기록은 구체적인 상황에서 어디에 민감하고 어디에 관대한지를 드러내니까요. 예컨대 위험을 싫어한다고 적힌 한 줄보다, 실제로 변동성이 큰 선택지 앞에서 세 번 중 두 번을 안전한 쪽으로 고른 기록이 다음 선택을 예측하기에는 훨씬 직접적입니다.

여기서 재미있는 질문이 생깁니다. 그렇다면 설명이 자세해질수록 예측도 덩달아 좋아질까요. 상식적으로는 그럴 것 같지만, 이 실험의 답은 그렇지 않았습니다. 인구통계를 주고 성격을 주고 인지 점수를 줘도 개인 수준의 예측력은 제자리걸음에 가까웠고, 행동 기록을 넣는 순간에만 계단처럼 올라갔습니다. 설명이 쌓이는 것과 행동이 더해지는 것은 양의 차이가 아니라 질의 차이였던 셈입니다.

실험은 어떻게 짜여 있었을까

실험 설계를 조금 더 들여다보겠습니다. 미국 성인 845명을 두 시점에 걸쳐 조사한 패널이라서, 같은 사람에게 같은 종류의 편향을 시간을 두고 다시 물을 수 있었습니다. 다룬 편향은 모두 14가지로 위험과 시간 선호, 과신, 추론에 걸쳐 있었는데요. 단일 문항 하나로 사람을 재단하는 대신 여러 문항으로 편향을 측정했다는 점이 중요합니다. 그래야 특정 문항을 빼고도 그 사람이 그 편향을 보이는지를 물을 수 있기 때문입니다.

행동 기록 조건의 장치가 특히 영리했습니다. 예측하려는 편향을 점수화하는 문항들은 전부 빼고, 나머지 과거 선택만 모델에게 보여준 것입니다. 다시 말해 정답지와 같은 재료를 미리 보여주고 맞히는 방식이 아니라, 같은 편향을 재는 직접 증거를 치운 채로 일반화 능력을 시험한 것이죠. 위험 편향을 예측한다면 위험 문항은 가리고, 시간 선호나 추론 문항에서의 과거 답만 남겨두는 식입니다. 이 조건이 까다로운 이유는 그래서입니다. 모델이 문항의 표현을 베껴 맞히는 지름길이 막히고, 사람의 일관된 경향 자체를 읽어야만 점수가 오르니까요.

저는 여기서 조금 의심했습니다. 과거 답을 보여주면 모델이 그저 말투나 응답 습관을 따라 하는 것 아닌가 하는 생각이 들었기 때문입니다. 그런데 설계상 표적이 되는 편향의 문항이 통째로 빠져 있으니, 단순한 문장 흉내만으로는 설명하기 어려운 일반화가 요구됩니다. 물론 응답 스타일의 잔재가 전혀 없다고 단정할 수는 없지만, 적어도 직접적인 정답 유출은 막아둔 셈입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 이 정도의 일반화는 어디까지 믿을 수 있을까 하는 점이죠. 뒤에서 숫자를 볼 때 이 설계를 다시 떠올리시면 도움이 될 겁니다.

겉으로 보면 다 비슷해 보인다는 함정이 있다

다시 평균 이야기로 돌아오겠습니다. 조건마다 응답자 한 사람당 평균 7.1개에서 8.1개의 편향이 나타났고, 실제 사람의 평균인 7.1개와 큰 차이가 없었습니다. 조건을 백지 상태로 둬도 평균은 맞았고, 설명을 덧붙여도 평균은 맞았으며, 행동 기록을 넣어도 평균은 맞았습니다. 만약 보고서 첫 장에만 평균을 적는다면 모든 방법이 다 잘하고 있다는 결론이 나오기 쉽습니다.

하지만 평균 뒤에 숨은 분포를 펼치면 이야기가 달라집니다. 실제 사람 사이에는 편향의 개수와 종류에서 상당한 차이가 있는데, 설명 기반 페르소나는 그 차이를 절반 남짓만 되살렸습니다. 사람의 개인차 분산을 100으로 두면 설명 조건들은 53에서 67 정도만 복원했고, 행동 기록을 더했을 때에야 사람 수준에 근접했다는 것이죠. 다시 말해 설명으로는 사람들이 서로 얼마나 다른지를 충분히 그려내지 못했고, 기록을 보고 나서야 개개인의 윤곽이 또렷해졌습니다.

이 차이는 생각보다 중요합니다. 평균만 보면 연구비가 절감된다는 낙관적인 이야기로 이어지기 쉽지만, 분산이 뭉개진 합성 응답으로는 소수 집단의 강한 반응이나 양극단의 선택을 놓치기 때문입니다. 예컨대 전체 평균 찬성이 60퍼센트라도, 실제로는 어떤 집단은 90퍼센트 찬성하고 다른 집단은 30퍼센트에 머무는 경우가 있습니다. 평균만 맞는 모형은 그 갈라짐을 지워버립니다. 운영 측면에서 보면 이 차이는 상당히 큽니다. 설문을 돌리는 이유 자체가 그 갈라짐의 모양을 알고 싶어서인 경우가 많기 때문입니다. 저는 그래서 평균 일치라는 결과를 좋은 소식이 아니라 주의 표지로 읽었습니다. 쉬운 시험에서는 모두가 통과한다는 뜻일 뿐이니까요.

사람 사이의 차이가 사라지면 어떤 일이 생길까

분산 이야기는 조금 더 풀어볼 가치가 있습니다. 개인차의 분산이 절반으로 줄어든다는 것은 모델이 만들어내는 사람들이 실제보다 서로 비슷해 보인다는 뜻입니다.성격이 외향적이라는 설명을 들으면 모델은 외향적인 사람의 전형에 가까운 답을 내놓고, 신중한 성격이라는 설명을 들으면 신중한 사람의 전형에 가까운 답을 내놓습니다. 전형에 가깝다는 것은 그만큼 개인의 뾰족함이 깎인다는 뜻이기도 합니다.

왜 이런 일이 생길까요. 제 해석은 설명이라는 입력 자체가 평균의 언어이기 때문입니다. 인구통계나 성격 점수는 많은 사람을 몇 개의 숫자와 라벨로 압축한 요약이고, 요약은 필연적으로 개인의 예외를 버립니다. 모델이 그 요약을 받아 다시 사람을 펼치면, 버려진 예외는 돌아오지 않고 요약에 자주 딸려 다니는 전형적인 모습만 돌아옵니다. 그래서 설명이 자세해져도 분산 회복이 53에서 67 사이에 머문 것이 이해됩니다. 라벨을 더 붙인다고 해서 버려진 디테일이 되살아나지는 않으니까요.

반면 행동 기록은 요약이 아니라 흔적입니다. 어떤 문항에서 위험한 쪽을 골랐고 어떤 문항에서 미뤘으며, 어디서는 자신감을 낮게 매겼다는 식의 구체적인 선택들이 쌓이면, 전형에서 벗어난 개인의 결이 드러납니다. 분산이 사람 수준으로 돌아왔다는 결과는 그래서 단순한 점수 상승이 아니라 입력의 성격이 바뀌었다는 신호로 읽힙니다. 사람을 말로 규정하는 대신 사람이 남긴 발자국을 따라갔더니, 사람들 사이의 거리가 다시 보이기 시작한 것이죠. 여기서 다음 질문이 자연스럽게 이어집니다. 그렇다면 개인 한 명 한 명의 다음 답을 맞히는 정확도는 얼마나 올랐을까요.

그래서 개인의 다음 답을 얼마나 맞혔을까

이 논문에서 제가 가장 오래 머문 숫자는 개인 수준의 예측력을 재는 지표였습니다. 사람의 두 차례 응답이 서로 얼마나 일치하는지를 기준으로 삼고, 합성 페르소나의 응답이 그 기준의 몇 퍼센트만큼 정보를 살리는지를 본 것인데요. 설명 기반 조건들은 사람의 재검사 일관성이 담고 있는 정보량의 7에서 12퍼센트 정도만 건져 올렸습니다. 인구통계를 주든 성격을 주든 인지 점수를 주든, 개인의 다음 선택을 점치는 데는 거의 도움이 되지 않았다는 뜻입니다.

그런데 과거 행동 기록을 넣자 이 수치가 28퍼센트까지 올라갔습니다. 여전히 사람의 재검사 수준에는 한참 못 미치지만, 설명만 쓸 때와 비교하면 두 배를 훌쩍 넘는 도약입니다. 숫자를 prose 안에 다시 적어보면, 설명으로는 100만큼의 개인 정보 중 7에서 12만큼만 살리던 것이 행동 기록을 보태자 28만큼으로 늘어난 셈입니다. 절대값으로 보면 겸손한 숫자지만, 방향으로 보면 분명한 계단입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 28퍼센트라는 수치는 행동 기록이 만능이라는 뜻이 아니라, 설명이 거의 무력했다는 뜻과 함께 읽어야 하기 때문입니다. 다시 말해 빈칸을 채운 것이 아니라 바닥을 확인한 실험에 가깝습니다. 사람이 두 번 답해도 완전히 똑같이 답하지 않는 과제에서, 설명만으로 개인을 맞히려는 시도가 1할 안팎에 머문 것은 합성 페르소나의 사용법을 다시 생각하게 만듭니다. 저희가 새로운 AI 평가를 볼 때도 벤치마크 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 어떤 비용 구조를 만드는지를 함께 보는데요. 이 경우 바뀐 것은 입력의 종류였고, 비용은 과거 응답을 모으는 수고였습니다. 그 수고를 들일 때 개인 예측이 처음으로 유의미하게 움직였다는 점이 이 숫자의 진짜 메시지라고 봅니다.

누구에게는 되고 누구에게는 안 되는 페르소나가 있다

평균과 분산 다음에 봐야 할 것은 집단별 고름입니다. 이 연구는 17개 인구집단으로 나눠 조건별 예측력을 따로 쟀는데, 행동 기록 조건이 모든 집단에서 가장 높은 정보량을 보였습니다. 설명 기반 조건들이 어떤 집단에서는 거의 정보를 주지 못했다는 대목과 대비됩니다. 다시 말해 누구인지를 설명하는 방식은 집단에 따라 편차가 컸고, 무엇을 했는지를 보여주는 방식은 상대적으로 고르게 통했다는 것이죠.

그런데 여기서 반가운 소식만 있는 것은 아닙니다. 합성 응답은 실제 사람 응답보다 학력이나 소득에 따른 차이가 더 크게 나타났습니다. 모델이 학력이나 소득 라벨을 만나면 실제보다 더 전형적인 차이를 그려낸다는 뜻입니다. 예컨대 고학력 집단은 더 이성적으로, 저소득 집단은 더 현재 지향적으로 그리는 식으로, 라벨에 딸린 고정관념이 증폭될 수 있습니다. 설명을 입력으로 쓸수록 이런 과장이 커지기 쉬운데, 이는 앞서 분산이 뭉개진다는 이야기와 같은 뿌리를 공유합니다. 라벨이 평균의 언어라서 생기는 일이기 때문입니다.

그렇다면 행동 기록은 이 문제를 완전히 없애줄까요. 그렇지 않습니다. 행동 기록 조건에서도 교육과 소득에 따른 과장된 차이가 남았다는 점은 논문이 솔직하게 드러낸 대목입니다. 예측력이 좋아졌다고 해서 편향까지 사라진 것은 아니라는 뜻이죠. 저는 이 대목을 논문의 정직한 지점이라고 봅니다. 좋은 결과를 내세우면서도 찜찜한 뒷맛을 함께 적어둔 셈이니까요. 실제 설문을 대신 맡기려면 평균 정확도뿐 아니라 집단별 오차의 모양까지 함께 봐야 합니다. 누구에게는 잘 맞고 누구에게는 빗나가는 도구가, 전체 평균 behind에 숨어들 수 있기 때문입니다.

이 결과를 너무 단순하게 읽으면 놓치는 것들

여기까지 읽으면 한 줄 요약이 떠오르기 쉽습니다. 설명은 소용없고 행동 기록만 넣으면 된다는 식이죠. 하지만 저는 그 요약이 위험하다고 봅니다. 행동 기록의 성공에도 조건이 붙어 있기 때문입니다. 첫째, 이 실험의 행동 기록은 같은 조사 안에서 모은 과거 답이었습니다. 같은 형식과 비슷한 주제의 문항에서 나온 기록이라서 다음 답과의 거리가 가까웠습니다. 만약 몇 달 전의 구매 기록이나 전혀 다른 맥락의 클릭 로그만 있다면 같은 정도의 도약이 나올지는 알 수 없습니다.

둘째, 표적이 되는 편향을 재는 문항을 통째로 빼고 시험했다는 점을 다시 떠올릴 필요가 있습니다. 모델이 직접 증거 없이 일반화해야 하는 어려운 시험에서 28퍼센트까지 온 것은 의미 있지만, 반대로 말하면 직접 증거를 빼자마자 천장이 낮아졌다는 뜻이기도 합니다. 실제 현장에서는 과거 기록과 예측하려는 질문이 얼마나 닮았는지가 성패를 가를 가능성이 큽니다. 닮을수록 잘 맞고, 멀수록 흐려지는 것이죠.

셋째, 설명이 쓸모없다는 해석은 성급합니다. 설명 조건들이 개인 예측에서는 빈약했지만, 인구 평균을 맞추는 데는 충분했고 집단에 따라서는 약간의 정보를 주기도 했습니다. 설명이 필요 없다는 말이 아니라, 설명만으로는 개인을 대신할 수 없다는 말이 정확한 표현입니다. 일종의 오답 노트처럼 정리하면, 설명은 출발점으로 쓰고 개인차를 살리는 재료는 행동에서 가져오라는 이야기에 가깝습니다. 좋은데, 이걸 실제 설문 현장에 어떻게 올릴까요. 다음 장면에서 그 질문을 이어가 보겠습니다.

실제 설문 현장에 가져가려면 무엇을 바꿔야 할까

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 과거 행동 기록을 매번 모을 수 있을까 하는 점입니다. 연구실에서는 845명의 과거 답을 이미 들고 시작했지만, 현장에서는 그 기록을 모으는 과정 자체가 비용입니다. 두 차례 조사를 돌리고 문항을 겹치지 않게 설계하고 개인정보 동의를 받는 일까지, 평균을 맞히는 것보다 훨씬 손이 많이 갑니다. 그럼에도 개인 수준의 답이 필요하다면 그 수고를 피할 수 없다는 것이 이 논문이 주는 현실적인 청구서입니다.

저희 팀 관점에서도 비슷한 기준으로 봅니다. 모델 입력에 무엇을 넣을지를 정할 때, 라벨 몇 개를 덧붙이는 것과 실제 행동 로그를 연결하는 것은 비용 구조가 전혀 다릅니다. 라벨은 싸고 빠르게 모이지만 개인 예측에는 거의 기여하지 않았고, 행동 기록은 비싸고 느리지만 처음으로 유의미한 움직임을 만들었습니다. 같은 예산을 어디에 쓸지 고르는 일이라고 할 수 있죠. 싸게 많이 모으는 대신, 적게 모으더라도 개인의 흔적이 담긴 자료를 모으는 쪽이 합성 응답의 품질을 가른다는 이야기입니다.

또 하나 현장에서 바로 써먹을 수 있는 교훈은 검증의 순서입니다. 평균 일치부터 자랑하지 말고 분산과 개인 예측부터 확인하라는 것이죠. 합성 응답을 도입한다면 전체 평균이 맞았는지를 먼저 보는 대신, 사람들 사이의 차이가 사람만큼 살아 있는지, 같은 사람의 다음 답을 어느 정도 맞히는지, 그리고 17개 집단처럼 나눴을 때 어느 집단에서 무너지는지를 먼저 물어야 합니다. 평균은 통과하기 쉬운 시험이고, 개인차는 통과하기 어려운 시험이기 때문입니다. 어려운 시험을 먼저 치르면 도구의 한계가 빨리 드러나고, 그래야 어디에 쓸 수 있고 어디에 쓰면 안 되는지가 정해집니다.

제가 앞으로 보고 싶은 것은 무엇일까

마지막으로 남은 질문들을 정리해 보겠습니다. 그렇다면 행동 기록의 효과는 시간이 지나도 유지될까요. 두 차례 조사의 간격이 길어지거나, 사람의 생활 조건이 바뀌면 과거의 선택이 현재를 설명하는 힘이 약해질 수 있습니다. 이번 실험은 비교적 가까운 두 시점을 본 것이어서, 오래된 기록의 유통기한은 아직 알 수 없습니다. 유통기한을 아는 것은 현장에서 기록을 얼마나 자주 갱신해야 하는지를 정하는 문제와 직결됩니다.

다음으로 궁금한 것은 기록의 종류입니다. 같은 설문 안의 다른 문항이 아니라, 설문 밖의 행동에서 온 기록도 같은 힘을 낼까요. 예컨대 실제 구매나 저축, 운동 기록 같은 생활 데이터가 설문 속 편향 답을 예측할 수 있다면 쓰임새가 크게 넓어집니다. 반대로 형식이 너무 다르면 일반화가 끊길 수도 있습니다. 어디까지가 같은 행동이고 어디부터가 다른 행동인지, 그 경계를 긋는 연구가 뒤따라야 합니다.

저는 이 숫자보다 그 뒤의 질문이 더 중요하다고 봅니다. 합성 페르소나가 사람을 대신할 수 있는지를 묻는 대신, 어떤 재료가 주어졌을 때 어디까지 대신할 수 있는지를 묻는 쪽으로 연구의 질문이 옮겨갔기 때문입니다. 설명이냐 행동이냐의 대결 구도로 읽히기 쉽지만, 실제로는 개인을 복원하는 데 필요한 정보의 최소 단위를 찾는 과정에 가깝습니다. 7에서 12퍼센트에 머문 설명과 28퍼센트까지 온 행동 기록 사이에는 여전히 72퍼센트의 빈칸이 있습니다. 그 빈칸을 무엇으로 채울지, 아니면 채울 수 없는 영역으로 남겨둘지를 정하는 것이 다음 연구의 몫입니다.

그렇다면 사람의 역할은 무엇일까요. 합성 응답이 싸고 빨라질수록, 어떤 질문을 합성 응답에 맡기고 어떤 질문은 사람에게 다시 물어야 하는지를 정하는 판단이 더 중요해집니다. 평균으로 충분한 질문은 모델에 맡기고, 개인의 뾰족함이 중요한 질문은 사람에게 남기는 식의 구분 말이죠. 이 논문은 그 구분에 필요한 자를 한 자루 건네줍니다. 사람을 말로 설명하는 것만으로는 그 자가 잘 재지지 않으며, 사람이 남긴 선택의 흔적을 따라갈 때 비로소 개인의 윤곽이 보이기 시작한다는 것을 보여줬으니까요. 다음에 합성 페르소나를 쓰겠다는 이야기를 들으면, 저는 먼저 이렇게 물을 것 같습니다. 그 모델이 본 것은 그 사람의 설명인가요, 아니면 그 사람의 행동인가요.