누구의 정답인가: 인간 중심 AI에서 모호함을 끌어안는 법

오늘 글에서는 Whose Ground Truth? Embracing Ambiguity in Human-Centered AI라는 arXiv 논문을 다룹니다. 이 논문은 식별자 2610.10805로 공개된 연구입니다. 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 사람에 대한 판단이 얽힌 과제에서는 모호함을 단일 정답으로 누르지 말고 그럴듯한 해석들의 공간을 그대로 모델링하자는 것입니다. 원문 논문으로 이어지는 연결은 이 글의 제목 아래에 붙어 있습니다.

왜 이 논문을 굳이 지금 읽어야 했을까

안녕하세요, 패트릭입니다.

현장에서 모델을 만들다 보면 정답이라는 말이 생각보다 쉽게 쓰입니다. 누군가 라벨을 모아오면 그걸 정답이라고 부르고, 그 정답을 맞히는 확률을 올리면 일이 끝난 것처럼 느껴지는데요. 그런데 사람에 대한 판단에서는 이 흐름이 어딘가 꺼림칙할 때가 있습니다. 같은 문장을 두고도 읽는 사람마다 다른 감정이 보이고, 같은 사진을 두고도 어떤 사람은 농담으로 보고 어떤 사람은 모욕으로 보니까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 그 꺼림칙함을 정면으로 다룬다는 점입니다. 저자들은 오랫동안 당연하게 여겨온 전제를 의심합니다. 기계학습은 보통 세상에 하나의 분명한 정답이 있다고 가정하고, 사람들의 의견이 엇갈리면 다수결로 합치거나 노이즈로 처리해왔습니다. 그러면 학습은 편해지는데, 정작 사람의 다양성은 표에서 사라집니다. 그렇다면 우리가 지운 것은 정말 노이즈였을까요.

이 질문은 요즘 더 중요해졌습니다. AI가 사람과 직접 대화하고, 사람에 대한 결정을 돕고, 사람의 창작과 기록에 개입하는 일이 늘었기 때문입니다. 이런 시스템에서 사람의 해석을 이해한다는 것은 부가 기능이 아니라 설계의 중심이 됩니다. 그래서 저는 이 논문을 단순한 방법론 제안이 아니라, 인간 중심 AI를 어떻게 바라봐야 하는지에 대한 관점의 전환으로 읽었습니다.

정답 하나로 합치면 무엇이 사라질까

일상적인 예를 하나 들어보겠습니다. 친구와 같이 카페에 앉아 있는데 옆 테이블에서 큰 소리로 통화가 이어진다고 해보죠. 저는 그 소리가 거슬려서 자리를 옮기고 싶어지는데, 친구는 오히려 주변 소음이 있어야 집중이 잘 된다며 괜찮다고 합니다. 같은 소리인데도 두 사람의 해석은 완전히 다릅니다. 여기서 누구의 느낌이 정답일까요.

기계학습의 오래된 습관은 이런 경우에 다수에게 물어보고 평균을 내는 것입니다. 세 명이 거슬린다고 하면 시끄럽다는 라벨을 붙이고, 다섯 명이 괜찮다고 하면 괜찮다는 라벨을 붙이죠. 이렇게 하면 데이터는 깔끔해지고 학습도 안정됩니다. 그런데 이 과정에서 사라지는 것이 있습니다. 바로 소리에 민감한 사람의 경험, 조용한 공간이 필요한 사람의 사정, 그리고 상황에 따라 달라지는 맥락입니다.

논문이 지적하는 지점도 같습니다. 사람의 인식과 판단, 경험의 다양성에 대한 정보는 단일 목표값으로 압축되는 순간 잘려 나갑니다. 다수결은 효율적인 정리 도구이지만, 동시에 소수의 해석을 체계적으로 지우는 장치이기도 합니다. 문제는 그다음입니다. 지워진 해석이 나중에 모델의 사용자 앞에 다시 나타날 때는, 모델이 그 존재 자체를 모른다는 형태로 나타납니다.

저는 여기서 멈칫했습니다. 우리가 정확도를 올렸다고 말할 때, 그 정확도는 누구의 해석을 기준으로 잰 것일까요. 만약 평가 데이터 자체가 이미 다수결로 정리된 것이라면, 모델은 처음부터 소수의 눈을 배울 기회를 잃은 셈입니다. 그래서 단일 정답 가정은 단순한 기술적 편의가 아니라, 누구의 관점을 남길지를 정하는 선택에 가깝습니다.

그렇다면 모호함과 노이즈는 어떻게 다를까

여기서 재미있는 질문이 생깁니다. 의견이 엇갈린다고 해서 전부 귀하게 다뤄야 할까요. 작업자가 실수로 잘못 누른 경우도 있고, 지침을 오해해서 생긴 엇갈림도 있으니까요. 전부 모호함이라고 부르면 데이터 품질 관리가 무너질 것 같습니다. 그렇다면 진짜 다양성과 단순한 오류는 어떻게 가를 수 있을까요.

논문은 이 구분을 아주 중요하게 다룹니다. 의미 있는 모호함은 사람들의 진짜 차이를 비추고, 노이즈는 실수나 부실한 작업에서 나옵니다. 말로 하면 쉬운데 실제로 나누기는 어렵습니다. 같은 엇갈림이라도 어떤 경우에는 문화와 경험의 차이에서 오고, 어떤 경우에는 버튼을 잘못 눌러서 생기니까요. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 엇갈림의 모양을 보지 않고 전부 합쳐버리면, 둘을 구분할 단서까지 함께 사라지기 때문입니다.

예를 들어 어떤 문장에 대한 판단이 두 개의 봉우리로 또렷하게 갈라진다면, 그건 실수라기보다 서로 다른 읽기 방식이 있다는 신호에 가깝습니다. 반면 판단이 이리저리 흩어져 있고 맥락도 없이 튄다면, 작업 과정의 문제를 의심해볼 수 있습니다. 물론 현실에서는 둘 사이에 회색 지대가 넓게 있습니다. 그래서 저자들은 이 구분을 한 번의 규칙으로 끝낼 일이 아니라, 표현과 학습과 평가 전반에서 계속 붙들고 가야 할 기술적 과제로 제시합니다.

이 차이는 생각보다 중요합니다. 모호함을 지우면 다양성을 잃고, 노이즈를 살리면 모델이 흔들립니다. 둘 다 피하려면 엇갈림을 뭉뚱그리지 않고 들여다보는 습관이 필요합니다. 저는 그래서 이 논문이 모호함을 찬양만 하지 않고, 노이즈와 가르는 일을 함께 강조한 점을 마음에 들어 했습니다. 포용이라는 말이 무조건 받아주자는 뜻이 아니라, 더 정교하게 보자는 뜻으로 읽혔기 때문입니다.

해석 공간을 모델링한다는 말은 무슨 뜻일까

논문이 제안하는 방향은 문장 하나로 말하면 담백합니다. 하나의 집계된 라벨을 예측하는 대신, 그럴듯한 인간 판단들의 공간을 모델링하자는 것입니다. 그런데 이 문장은 처음 보면 추상적으로 들립니다. 공간이라는 말이 도대체 무엇을 가리킬까요.

제가 이해한 바를 풀어보겠습니다. 기존 방식에서는 입력이 들어오면 정답 하나를 가리킵니다. 사진이 들어오면 유해함이라는 라벨 하나, 문장이 들어오면 긍정이라는 라벨 하나를 내놓는 식이죠. 반면 해석 공간을 다룬다는 것은 입력마다 사람들의 판단이 어떻게 퍼져 있는지를 함께 내놓는 일입니다. 어떤 판단이 흔하고, 어떤 판단이 드물지만 분명히 존재하고, 어떤 맥락에서는 판단이 뒤집히는지를 하나의 분포로 그리는 것입니다.

생각해보면 사람도 비슷하게 판단합니다. 친구에게 이 메시지 괜찮아 보인다고 물으면, 친구는 괜찮다거나 별로라는 한 마디만 하지 않습니다. 누구에게는 괜찮지만 윗사람에게는 예의 없어 보일 수 있고, 친한 사이에서는 농담이지만 처음 보는 사이에서는 선을 넘는다는 식으로 경우를 나눠 말해주죠. 해석 공간이라는 말은 바로 그 경우 나누기를 모델 안에 들여오자는 뜻으로 읽힙니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 분포를 예측한다는 말이 매번 복잡한 확률 모형을 써야 한다는 뜻은 아닙니다. 중요한 것은 출력의 형태가 아니라 태도입니다. 모델이 하나의 답 뒤에 숨어 있는 여러 읽기를 함께 보여줄 수 있는지, 그리고 그 여러 읽기가 실제 사람들의 분포와 어긋나지 않는지가 관건입니다. 저는 이 대목을 읽으면서, 정확도 경쟁보다 분포를 얼마나 정직하게 담는지가 앞으로 더 큰 기술 격차가 되겠다고 느꼈습니다.

표현부터 다시 생각해야 하는 이유

같은 이야기를 표현의 층위에서 다시 해보겠습니다. 모델이 세상을 어떤 형태로 들고 있는지가 바로 표현인데, 단일 정답 체제에서는 표현도 하나의 답을 향해 납작해지기 쉽습니다. 다양한 해석이 가능하다는 정보가 애초에 데이터에 없으면, 표현이 그 다양성을 붙잡을 이유가 없기 때문입니다.

반면 해석의 분포를 함께 두면 표현이 배워야 할 일이 달라집니다. 입력의 미묘한 차이가 사람들의 판단 갈림길과 어떻게 연결되는지를 담아야 합니다. 예를 들어 농담과 모욕을 가르는 것은 단어 하나가 아니라 관계와 상황, 말투와 맥락인데, 이런 단서들은 단일 라벨만 보고는 잘 드러나지 않습니다. 분포가 함께 있으면 모델은 왜 어떤 입력에서 의견이 갈라지는지를 표현 안에 남기려는 압력을 받습니다.

저희가 새로운 AI 구조를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 표현에 대한 이 논문의 제안도 같은 눈으로 보면 이해가 쉽습니다. 다양한 해석을 담는 표현은 당장 점수를 올리는 장치가 아니라, 나중에 평가와 운영에서 덜 틀리게 해주는 토대에 가깝습니다.

물론 표현을 바꾼다고 모든 문제가 풀리지는 않습니다. 분포를 담으려면 더 많은 주석이 필요할 수 있고, 학습도 까다로워집니다. 그런데도 저는 이 방향이 맞다고 봅니다. 표현이 다양성을 잊은 채로 최적화되면, 뒤에 오는 학습과 평가는 잊어버린 것을 다시 찾을 수 없기 때문입니다. 출발점에서 무엇을 들고 갈지를 정하는 일이 결국 전체 시스템의 상한을 정합니다.

학습은 평균을 맞히는 일이 아니게 된다

학습 이야기로 넘어가 보죠. 단일 정답 체제에서 학습은 꽤 단순합니다. 정답을 맞히면 상을 주고 틀리면 벌을 주면 됩니다. 그런데 사람들의 판단이 둘로 갈라지는 과제에서는 이 방식이 어색해집니다. 한쪽을 맞히면 다른 쪽은 자동으로 틀리게 되니까요. 그렇다면 학습의 목표는 무엇이 되어야 할까요.

논문의 흐름을 따라가면 답은 평균이 아니라 분포에 가까워집니다. 모델이 다수의 답만 외우게 두는 대신, 소수이지만 분명히 존재하는 해석까지 함께 맞히도록 가르치자는 것입니다. 말하자면 평균적인 사람을 맞히는 기계에서, 다양한 사람들을 함께 담는 기계로 목표가 바뀌는 셈입니다. 이 차이는 학습 신호를 어떻게 만드느냐에 그대로 영향을 줍니다. 집계된 라벨 하나만 남기면 분포를 배울 수 없고, 개개인의 판단 기록이 남아 있어야 분포를 배울 수 있기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 주석은 어떻게 모아야 할까요. 같은 입력에 여러 사람의 판단을 붙이고, 판단한 사람의 맥락도 함께 남겨야 분포 학습이 가능해집니다. 비용은 더 들지만, 그 비용은 나중에 모델이 특정 집단에게만 잘 맞는 편향을 줄이는 데 쓰입니다. 저는 이 대목을 실무와 가깝게 느꼈습니다. 데이터 설계가 학습 목표를 규정하고, 학습 목표가 다시 데이터 설계를 요구하는 순환이 보였기 때문입니다.

여기서 흔한 오해를 하나 짚고 싶습니다. 분포를 배운다는 말이 모델이 우유부단해져야 한다는 뜻은 아닙니다. 모든 답이 다 맞다고 말하는 것이 목표가 아니라, 어떤 답이 어떤 사람들에게 타당한지를 구분해서 말하는 것이 목표입니다. 그래서 학습은 정답 맞히기에서 경우 가르기 쪽으로 이동합니다. 언제 의견이 갈라지고, 누구에게 무엇이 타당한지를 배우는 일이 학습의 중심이 됩니다.

평가는 누가 맞았는지가 아니라 무엇을 놓쳤는지 묻는다

평가는 이 논문의 제안이 가장 날카롭게 드러나는 자리입니다. 기존 평가는 대개 정답을 하나 정해두고 맞았는지 틀렸는지를 셉니다. 그런데 그 정답이 이미 다수결로 만들어진 것이라면, 평가는 처음부터 다수의 눈으로만 세상을 보게 됩니다. 소수의 해석을 잘 담아낸 모델도 정답과 다르다는 이유로 감점을 받을 수 있습니다.

그래서 저는 평가 질문을 이렇게 바꿔야 한다고 봅니다. 모델이 다수의 답을 맞혔는지를 묻는 대신, 모델이 사람들의 해석 분포를 얼마나 온전히 담았는지를 물어야 합니다. 흔한 해석은 물론이고 드물지만 타당한 해석까지 놓치지 않는지, 특정 집단의 판단을 체계적으로 비워두지는 않는지를 함께 봐야 합니다. 이 관점에서는 틀렸다는 말보다 놓쳤다는 말이 더 정확합니다.

이렇게 말하면 평가가 막연해지는 것 아니냐고 걱정하실 수 있습니다. 그런데 막연해지는 것이 아니라 오히려 더 구체적이어야 합니다. 어떤 집단의 판단이 포함됐는지, 어떤 맥락에서 분포가 달라지는지, 어떤 경우에는 단일 답으로 좁혀도 되는지를 밝혀야 하기 때문입니다. 평가는 점수표 한 장이 아니라, 모델이 누구에게 어떻게 작동하는지를 보여주는 기록에 가까워집니다.

개인적으로 인상 깊었던 점은, 이 평가 관점이 모델 개발자의 습관까지 바꾼다는 것입니다. 점수 하나를 올리는 대신 분포의 빈틈을 메우는 일을 하게 되고, 어느 집단에서 왜 틀리는지를 설명해야 합니다. 처음에는 일이 늘어난 것처럼 느껴지지만, 길게 보면 운영 사고를 줄이는 쪽이라고 생각합니다. 평가에서 본 다양성의 빈틈은 배포 후에 그대로 민원으로 돌아오기 때문입니다.

배포 현장에서 분포는 어떻게 작동할까

이제 모델이 세상 밖으로 나가는 장면을 떠올려보겠습니다. 아침에 고객센터를 여는 분이 있다고 해보죠. 밤사이 들어온 문의 글을 AI가 먼저 분류하고, 민감해 보이는 글은 사람에게 넘기도록 되어 있습니다. 그런데 단일 정답만 내놓는 모델은 애매한 글을 무조건 한쪽으로 밀어 넣습니다. 농담인지 항의인지 헷갈리는 글을 농담으로 단정하면, 정작 화가 난 고객은 더 늦게 대응을 받게 됩니다.

분포를 아는 모델은 이 자리에서 다르게 행동할 수 있습니다. 판단이 갈린다는 사실 자체를 함께 내놓기 때문입니다. 이 글은 열 명 중 여섯 명은 농담으로 보지만 네 명은 불쾌하게 본다는 식의 정보가 있으면, 시스템은 바로 다음 행동을 정할 수 있습니다. 애매하면 사람에게 넘기고, 이유를 함께 보여주고, 임계값을 맥락에 따라 다르게 거는 것이죠. 모호함을 안다는 것은 결정을 미루는 것이 아니라, 결정을 더 잘게 나누는 것입니다.

여기서 운영의 아침을 지켜주는 장치가 무엇인지 분명해집니다. 분포는 불확실할 때 쓸 수 있는 선택지를 늘려줍니다. 자동 처리, 사람 검토, 추가 정보 요청, 표현 방식 바꾸기 같은 선택지 중에서 상황에 맞는 것을 고를 수 있습니다. 저는 그래서 분포 예측을 연구실 점수 이상으로 평가했습니다. 현장에서는 맞혔는지보다 틀렸을 때 어떻게 멈추는지가 더 중요하기 때문입니다.

물론 분포가 만능은 아닙니다. 분포를 보여준다고 사람이 바로 잘 판단하는 것은 아니고, 오히려 정보가 많아져서 결정이 느려질 수도 있습니다. 그래서 배포 설계에서는 무엇을 보여줄지, 언제 사람에게 넘길지, 넘길 때 어떤 설명을 덧붙일지를 함께 정해야 합니다. 분포를 모델 안에 넣는 일과 분포를 화면과 절차에 녹이는 일은 같은 작업의 앞뒷면입니다.

거버넌스는 다수결이 아니라 다양성의 기록이다

논문이 표현과 학습, 평가와 배포를 넘어 거버넌스까지 이야기를 잇는 대목은 곱씹을수록 의미가 있습니다. AI가 사람에 대한 결정을 도울수록, 누구의 해석을 남겼는지는 기술 문제를 넘어 책임의 문제가 되기 때문입니다. 단일 정답 체제에서는 이 기록이 남지 않습니다. 다수결로 정리된 결과만 남고, 어떤 해석이 지워졌는지는 흔적도 없이 사라집니다.

반면 분포를 남기는 체제에서는 거버넌스가 할 일이 생깁니다. 어떤 집단의 판단이 데이터에 들어왔는지, 어떤 해석이 소수이지만 타당하다고 판단되어 보존됐는지, 어떤 경우에는 단일 답을 쓰기로 했는지를 문서로 남기는 것입니다. 나중에 문제가 생겼을 때 돌아볼 수 있는 기록이 생기고, 그 기록을 바탕으로 기준을 고칠 수 있습니다. 저는 이 기록의 존재 자체가 거버넌스의 시작이라고 봅니다.

이 이야기는 요즘 나오는 AI 안전 논의와도 자연스럽게 이어집니다. 모델 하나가 안전한지만 보는 것을 넘어, 모델이 누구의 눈을 얼마나 담고 있는지를 함께 봐야 합니다. 특정 집단의 해석이 계속 지워진다면, 그건 성능 문제가 아니라 대표성의 문제입니다. 그래서 거버넌스는 점수를 매기는 일이 아니라 분포를 읽는 일이 됩니다. 누가 빠져 있는지, 누구에게 부담이 몰리는지를 묻는 것이죠.

좋은 건 알겠는데, 이걸 실제로 어떻게 운영할까요. 모든 판단마다 분포를 남기기는 어렵고, 어디까지 기록할지를 정해야 합니다. 저는 영향이 큰 결정부터 시작하는 것이 현실적이라고 봅니다. 사람에 대한 평가나 분류, 노출과 차단처럼 삶에 직접 닿는 자리에서는 해석의 다양성을 기록으로 남기고, 그 기록을 주기적으로 검토하는 것입니다. 거버넌스는 거창한 선언보다 이런 기록 습관에서 만들어집니다.

그래서 저는 다음 연구에서 무엇을 보고 싶을까

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 모호함을 끌어안자는 방향에는 동의하는데, 실제로는 어디부터 손대야 할까요. 그 이야기는 마지막에 다시 다루겠다고 앞서 약속드린 셈인데요. 저는 다음 연구에서 세 가지가 더 구체적으로 다뤄지기를 바랍니다.

첫째는 모호함과 노이즈를 가르는 실무적인 방법입니다. 개념적으로는 나뉘지만 현장에서는 계속 섞여 나타납니다. 같은 입력에 대한 판단이 갈릴 때, 언제 추가 주석을 모으고 언제 작업 지침을 고쳐야 하는지를 알려주는 기준이 필요합니다. 판단의 갈라짐 모양, 판단한 사람의 맥락, 시간에 따른 안정성 같은 단서를 어떻게 엮으면 되는지, 재현 가능한 절차로 정리되면 좋겠습니다.

둘째는 표현과 학습을 엮는 설계입니다. 분포를 배우는 여러 방식 중에서 무엇이 어떤 과제에서 잘 맞는지가 아직 충분히 정리되지 않았습니다. 저는 특히 사람의 맥락을 함께 쓰는 방식이 궁금합니다. 누가, 어떤 상황에서, 왜 그렇게 판단했는지를 함께 넣으면 분포 예측이 더 정교해질 수 있기 때문입니다. 물론 개인정보와 표시에 대한 주의가 함께 가야 합니다. 맥락을 쓴다는 말이 개인을 특정한다는 뜻이 되어서는 안 됩니다.

셋째는 평가와 운영을 잇는 고리입니다. 분포를 잘 담았다는 점수가 현장의 좋은 결정으로 이어지는지를 보여주는 사례가 필요합니다. 애매할 때 사람에게 넘기는 비율이 어떻게 바뀌고, 특정 집단에 대한 오류가 어떻게 줄고, 운영 비용과 대기 시간은 어떻게 달라지는지를 함께 재는 것이죠. 연구실 점수와 현장 지표가 함께 움직일 때, 이 관점은 선언을 넘어 표준이 됩니다.

이 논문이 흥미로운 이유는 단순히 다양성을 말해서가 아닙니다. 다양성을 다루는 일이 표현과 학습, 평가와 배포, 거버넌스까지 이어지는 하나의 설계 문제라는 점을 보여주기 때문입니다. 한 부분을 고쳐서는 풀리지 않고, 전체를 같은 방향으로 틀어야 합니다. 앞으로 사람과 함께 일하는 AI를 만든다면, 누구의 해석을 담았는지를 묻는 일이 모델 크기나 순위를 묻는 일만큼 자연스러워져야 할 것 같습니다. 저는 그 질문이 남는 글을 좋은 글이라고 부릅니다. 이 논문은 그 질문을 오래 남기는 글입니다.