분위기를 읽는다는 것의 조건과 한계

Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs는 arXiv에 2610.10906 번호로 공개된 연구로, 거대 언어 모델이 공동체의 규범을 상호작용만으로 가려낼 수 있는지를 묻습니다. 이 연구가 내세우는 주장은 한 문장으로 정리되지만, 지금의 LLM은 행동을 흉내 내는 데에는 능하지만 공동체가 실제로 강제하는 질서를 가려내는 능력은 아직 갖추지 못했다는 것입니다. 원문 논문은 제목 아래에 연결해 두었습니다.

안녕하세요, 패트릭입니다.

새 직장에 처음 출근한 날을 떠올려 보시면 감이 오실 겁니다. 복장 규정이 문서 어딘가에 적혀 있더라도, 실제로 사람들이 무엇을 입고 회의에서 누가 먼저 말하며 점심 때 어떤 이야기는 피하는지는 문서에 다 적혀 있지 않죠. 그래서 우리는 첫 며칠 동안 눈치를 보면서, 누가 말을 끊으면 표정이 어떻게 바뀌는지, 어떤 농담에는 웃고 어떤 농담에는 정적이 흐르는지를 봅니다. 그렇다면 여러 LLM 에이전트가 한 공동체에서 함께 일할 때도 이런 눈치를 볼 수 있을까요. 오늘은 그 질문을 정면으로 다룬 위 논문을 따라가 보겠습니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 문제를 정의한 방식인데, 규범을 외운 지식이 아니라 상호작용으로 가려내는 능력으로 보았죠. 그래서 이 글은 논문 순서대로 요약하지 않고, 왜 이런 정의가 필요했는지부터 실험 설계와 실패 양상, 그리고 엔지니어 관점의 함의까지 차근차근 풀어보겠습니다.

낯선 팀에 들어가면 왜 눈치부터 볼까요

새로운 팀에 들어가면 우리는 규칙을 묻기 전에 분위기부터 읽습니다. 문서에는 아홉 시 출근이라고 적혀 있는데, 실제로는 여덟 시 오십 분이면 자리가 다 차 있기도 하죠. 반대로 문서에는 자유 복장이라고 적혀 있지만, 고객 미팅 날에는 다들 재킷을 입고 오는 것처럼요. 문서는 거짓말을 하지 않지만 전부를 말해주지도 않으니까요. 그래서 적응을 잘하는 사람은 조용히 관찰하면서, 누가 칭찬을 받고 누가 지적을 받으며 어떤 행동이 반복되는지를 봅니다.

생각해보면 공동체의 규범이란 게 원래 그렇습니다. 수가 많고 자주 바뀌며, 가끔은 자의적이기까지 합니다. 옷차림이나 말투 같은 관습이 대표적이지만, 어제까지 괜찮던 표현이 오늘은 부적절해지고, 이 팀에서는 농담이던 말이 다른 팀에서는 실례가 되기도 합니다. 그런데도 사람은 어떻게든 적응하는데, 매번 규정집을 다시 외워서가 아니라 주변 반응을 읽으면서 무엇이 강제되고 무엇이 그냥 개인 습관인지를 구분해냅니다.

그렇다면 LLM 에이전트도 그럴 수 있을까요. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지 않고, 실제로 무엇이 바뀌었고 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 태도로 이 논문을 읽으면 질문은 benchmark 점수가 아니라 적응 방식으로 바뀝니다. 구체적으로 에이전트가 문서를 외워서 맞추는 것인지 아니면 상호작용 속에서 강제되는 패턴을 가려내는 것인지가 갈리는 지점입니다. 이 차이는 생각보다 중요합니다. 문서로 다 적을 수 없는 것들이 현장에는 너무 많기 때문입니다.

외운 것과 읽어낸 것은 어떻게 다를까요

여기서 재미있는 질문이 생깁니다. 모델이 예의 바르게 행동하면, 그걸로 규범을 안다고 말할 수 있을까요. 겉으로 보면 비슷해 보이지만 실제로는 전혀 다른 능력일 수 있죠. 미리 학습한 상식을 꺼내 쓰는 것과 지금 이 공동체에서 무엇이 강제되는지를 상호작용으로 알아내는 것은 다른 일입니다. 전자는 기억에 가깝고, 후자는 관찰에 가깝습니다.

논문은 후자를 규범 능력으로 정의합니다. 상호작용만으로 공동체가 강제하는 규범을 가려내는 능력, 그것도 정적인 사전 지식에 기대지 않고 해내는 능력으로요. 이 정의가 마음에 드는 이유는 평가를 까다롭게 만들기 때문인데, 모델이 원래 알던 상식으로 맞출 수 있는 문제는 전부 제외되고 진짜로 현장에서 보고 배웠는지만 남깁니다. 그래서 이 정의는 연구자에게도 부담이 됩니다. 실험을 설계할 때 모델이 외운 것을 활용하지 못하도록 막아야 하니까요.

저는 이 구분을 이렇게 이해했습니다. 외운 것은 도서관에서 빌려온 지도이고, 읽어낸 것은 지금 서 있는 골목에서 간판을 보고 방향을 잡는 일입니다. 지도가 정확하면 편하지만 골목이 바뀌면 지도는 금방 낡기 때문이죠. 공동체는 골목처럼 자주 바뀝니다. 그래서 지도만 믿고 걷는 에이전트는 언젠가 엉뚱한 문을 두드리게 됩니다. 문제는 그다음입니다. 지도 없이 골목을 읽는 법을 모델에게 어떻게 가르치고, 또 어떻게 측정할 수 있을까요.

규정집이 아니라 토론장을 쓴 이유가 뭘까요

논문이 고른 방법은 꽤 영리합니다. 규범을 종이에 적어 시험하는 대신, 토론이라는 살아 있는 장면을 만들었죠. 여러 에이전트가 공동체 토론에 참여하는 상황을 만들고, 누가 토론에 들어올 수 있는지를 합성 규범으로 통제했죠. 합성이라는 말이 중요한데, 현실의 예절이나 상식을 그대로 쓰면 모델이 이미 외운 지식으로 풀어버릴 수 있기 때문입니다. 일부러 낯설고 자의적인 규칙을 만들어야, 외운 것이 아니라 배운 것만 측정됩니다.

이 설계를 교실에 비유해볼 수 있습니다. 시험지를 나눠주고 규칙을 외웠는지 묻는 게 아니라, 전학 온 학생을 새 반에 앉혀놓고 그 반만의 암묵적인 규칙을 며칠 만에 파악하는지를 보는 셈이기 때문입니다. 자리 배치나 발표 순서, 쉬는 시간 행동 같은 것들이 그 대상인데, 선생님이 칠판에 규칙을 적어주지 않으니까요. 대신 학생은 누가 지적받고 누가 자연스럽게 받아들여지는지를 보면서 감을 잡아야 합니다. 논문의 토론장도 같은 역할을 합니다. 이때 참여 자격이라는 구체적인 결과를 걸어두었기 때문에 규범을 읽어내면 실제로 이득을 보고 못 읽으면 손해를 봅니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 합성 규범이 너무 인위적이면 현실과 멀어지지 않을까요. 그런데 저는 이 인위성이 오히려 필요하다고 봅니다. 현실 규범을 쓰면 측정이 오염되니까요. 오염된 측정으로 높은 점수를 받아봤자, 그건 적응이 아니라 기억의 승리일 수 있습니다. 논문은 그 유혹을 피하려고 일부러 낯선 규칙을 썼고, 그 선택 덕분에 이후의 실패가 더 또렷하게 읽힙니다.

잘하면 점수가 오르는데 왜 못 배울까요

이제 실험 이야기로 들어갑니다. 토론장에서 규범을 제대로 읽어내면 토론에 더 잘 참여할 수 있고, 그러면 정확도 같은 결과도 좋아집니다. 인센티브가 분명한 셈인데, 배우면 이득인데도 베이스라인 LLM 에이전트는 그래도 배우지 못했습니다. 이 대목에서 저는 조금 멈칫했습니다. 보통 모델은 점수와 연결된 패턴에는 민감하게 반응하니까요. 그런데도 규범 학습이 일어나지 않았다는 것은, 실패가 단순한 동기 부족이 아니라는 뜻입니다.

왜 그럴까요. 가능한 설명은 몇 가지가 겹쳐 있습니다. 하나는 관찰 기회가 있어도 무엇이 신호이고 무엇이 잡음인지 구분하지 못한다는 것인데, 토론 장면에는 규범과 무관한 말버릇이나 개인 취향, 우연한 표현이 함께 떠다닙니다. 모델이 그걸 다 같은 무게로 받아들이면 학습이 흐려질 수밖에 없습니다. 다른 하나는 단기 반응과 장기 규칙을 잇지 못한다는 것인데, 지금 지적을 피하는 것과 앞으로 통용되는 규칙을 내면화하는 것은 다른 층위의 학습이기 때문입니다. 전자만 하면 그때그때 둘러댈 수는 있어도, 다음 장면에서는 다시 헤맵니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 베이스라인이 실패했다고 해서 모델이 아무것도 못 배웠다는 뜻은 아니기 때문입니다. 표면적인 말투나 자주 등장하는 표현은 곧잘 따라 하니까요. 문제는 그래서 더 또렷해집니다. 따라 하기는 하는데, 정작 점수와 연결된 규범은 못 짚는다는 것이죠. 잘하면 점수가 오르는 구조에서도 못 배운다는 사실은, 이 능력이 단순한 프롬프트 요령이나 추가 예시 몇 개로 해결될 문제가 아니라는 점을 보여줍니다.

같은 규칙인데 말투만 바뀌면 왜 흔들릴까요

논문이 다음으로 보여주는 대목은 저에게는 앞선 실패보다 더 뼈아팠습니다. 규범을 돕는 모듈을 붙여도, 결과가 규범의 표현 방식과 모듈을 구동하는 모델에 따라 크게 달라졌죠. 같은 뜻의 규칙인데도 말투나 형식이 바뀌면 따르는 정도가 달라지고, 어떤 모델이 그 모듈을 맡느냐에 따라서도 결과가 출렁였다는 것인데요. 일반화가 안 된다는 뜻입니다.

이게 왜 중요할까요. 실제 공동체의 규범은 한 가지 말투로만 나타나지 않기 때문입니다. 어떤 날은 공지로, 어떤 날은 농담 섞인 지적질로, 어떤 날은 아무 말 없는 정적으로 전달되는데요. 사람이면 그 다양한 포장을 뚫고 같은 뜻을 알아듣습니다. 그런데 모듈이 포장에 따라 흔들린다면, 그건 규칙을 이해한 게 아니라 특정 표현에 과적합된 것에 가깝습니다. 실험실에서는 잘 돌아가던 장치가 현장 말투 앞에서는 멈추는 모습이 떠오릅니다. 모델은 논문을 읽는데 왜 실험은 멈출까 싶은 장면입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 민감성 자체가 나쁜 것은 아닙니다. 모든 시스템은 입력 형태에 어느 정도 민감하니까요. 진짜 문제는 민감성의 결이 규범의 본질과 어긋나 있다는 점인데, 규범은 표현이 바뀌어도 유지되는 것이지만 모듈은 표현이 바뀌면 함께 바뀌어버립니다. 그렇다면 그 모듈은 규범을 읽는 장치가 아니라 특정 문장을 잘 따르는 장치에 가깝습니다. 이 차이를 구분하지 못하면, 데모에서는 좋아 보이다가 배포 후에 조용히 무너지는 시스템을 만들게 됩니다.

진짜 규칙 옆에 잡음이 있으면 왜 다 따라 할까요

다음 장면은 더 사람 같으면서도 더 걱정됩니다. 진짜 규범 옆에 개인적인 버릇 같은 비규범 행동이 함께 있으면, LLM 에이전트가 그걸 가리지 않고 함께 따라 흡수해버렸죠. 강제되는 규칙과 그냥 옆 사람이 자주 하는 행동을 구분하지 못하고, 둘 다 규범인 것처럼 받아들였는데요. 논문은 이를 무차별 귀인 실패 같은 현상으로 설명합니다. 무엇이 벌을 받고 무엇이 그냥 취향인지 가려내지 못한 채, 보이는 대로 복사한다는 것입니다.

사무실로 비유하면 이해가 빠릅니다. 어떤 팀에는 회의 전에 꼭 창문을 여는 사람이 있습니다. 그건 그 사람의 습관이지 규칙이 아니죠. 그런데 새로 온 사람이 그걸 보고 회의 전 창문 열기가 이 팀의 규칙이라고 착각하면 어떻게 될까요. 창문을 열지 않으면 지적받을 거라고 믿고 괜히 눈치를 보다가, 심지어 다른 사람에게도 창문을 열라고 권하기 시작합니다. 논문의 에이전트가 보인 모습이 이와 비슷한데, 강제되는 것과 반복되는 것을 같은 것으로 보았기 때문입니다.

그렇다면 왜 이런 혼동이 생길까요. 저는 관찰 데이터가 말해주지 않는 것을 모델이 메우지 못하기 때문이라고 봅니다. 무엇이 강제되는지는 누가 지적받고 누가 제재받으며 어떤 위반이 반복적으로 교정되는지를 봐야 알 수 있죠. 단순히 자주 보인다는 사실만으로는 알 수 없기 때문입니다. 자주 보인다고 다 규칙은 아니니까요. 그런데 모델은 빈도와 규범성을 자꾸 같은 것으로 봅니다. 자주 나오면 중요한 것으로 보고, 중요한 것이면 따라야 할 것으로 보는 식입니다. 이 연결이 끊어지지 않는 한, 에이전트는 시끄러운 습관을 조용한 규칙보다 먼저 배울 겁니다.

벌점을 줘도 계속 따라 한다면 무엇을 봐야 할까요

이야기는 여기서 한 걸음 더 갑니다. 불필요한 행동을 따라 하면 explicitly 손해를 보게 만들어도, 무차별적인 복사가 계속됐죠. 벌점을 준다는 것인데, 보통 학습 시스템은 벌점이 있으면 그 행동을 줄이니까요. 그런데도 에이전트는 잡음까지 계속 따라 했다는 것이죠. 이 대목은 단순한 부주의로 넘기기 어렵습니다. 인센티브를 이해하지 못한 게 아니라, 무엇을 따라야 할지를 구분하는 능력 자체가 비어 있다는 신호에 가깝기 때문입니다.

왜 벌점이 안 들을까요. 생각해볼 수 있는 이유는 이렇습니다. 벌점이 행동 전체에 뭉뚱그려져 있으면, 에이전트는 어떤 부분을 고쳐야 할지 모릅니다. 전체 답안이 틀렸다는 피드백만 받고, 그중 어떤 문장이 규범 위반이고 어떤 문장이 불필요한 흉내인지를 구분하지 못하는 식으로요. 그래서 다음 시도에서도 비슷한 묶음을 통째로 가져옵니다. 마치 시험에서 감점 이유를 모른 채 답안 전체를 다시 외우는 학생처럼요. 점수는 깎였는데, 고칠 곳을 모릅니다.

이 결과는 마음에 들면서도 조심스럽습니다. 마음에 드는 이유는 실패의 위치를 정확히 짚어주기 때문인데, 보상 설계가 아니라 귀인 능력에 문제가 있다는 것을 보여주니까요. 조심스러운 이유는 일반화하기 어렵기 때문인데, 모든 벌점 설계가 무력하다는 뜻이 아니라 이 실험 조건에서는 벌점이 구분 능력을 만들어내지 못했다는 뜻입니다. 그래서 저는 이 대목을 보상만 손보면 된다는 이야기로 읽지 않았습니다. 무엇을 강제된 것으로 볼지를 판단하는 별도의 장치가 필요하다는 이야기로 읽었습니다.

흉내를 잘 내는 것과 질서를 읽는 것은 왜 다를까요

논문이 마지막에 던지는 진단은 꽤 단호합니다. 지금의 AI 시스템은 행동 모방에는 능하지만, 사회적으로 강제되는 질서를 가려내는 능력은 부족하다는 것인데요. 겉으로 보면 잘 어울리는데 실제로는 눈치를 못 본다는 뜻입니다. 이 문장을 처음 읽었을 때는 조금 억울하게 느껴질 수도 있습니다. 흉내를 잘 내면 적응을 잘하는 것 아닌가요. 그런데 곰곰이 생각하면 둘은 다릅니다.

흉내는 보이는 것을 재현하는 일이고, 질서를 읽는 것은 보이지 않는 강제 관계를 추론하는 일입니다. 누가 무엇을 자주 하는지가 아니라, 무엇을 어기면 무엇이 따르는지를 아는 것이죠. 예를 들어 어떤 방에서는 모두가 조용히 말합니다. 흉내 내기는 그저 작은 목소리로 말하는 일에 그치지만, 질서를 읽는 것은 이 방에서는 큰 목소리가 제지를 받는다는 것을 아는 것이어서요. 그래서 조용히 말하다가도, 누군가 쓰러져서 도움을 청해야 할 때는 큰 목소리를 낼 수 있습니다. 규칙을 외운 사람은 그 예외를 못 만들지만, 질서를 읽은 사람은 예외를 압니다.

개인적으로 인상 깊었던 점은, 이 구분이 평가 방식까지 바꾼다는 것입니다. 흉내는 정답률이나 자연스러움으로 측정하기 쉽지만, 반면 질서를 읽었는지는 위반과 제재, 예외와 교정이 얽힌 장면에서만 드러납니다. 그래서 기존 benchmark만 보면 모델이 잘 적응하는 것처럼 보일 수 있습니다. 말투는 매끄럽고 자주 쓰는 표현도 잘 따라 하니까요. 하지만 강제 관계를 묻는 장면을 따로 만들면 성적이 달라지는데, 논문의 토론장이 바로 그런 장치를 만든 셈이고, 그 장면에서는 모방 능력이 질서 이해로 자동 변환되지 않았습니다.

이 실패를 현장 옆에 두면 어떤 질문이 생길까요

여기까지 읽으면 실무적인 질문이 생깁니다. 좋은 건 알겠는데, 이걸 실제로 어디에 써야 할까요. 당장 떠오르는 곳은 여러 에이전트가 함께 일하는 시스템인데, 고객 지원이나 문서 작성, 코드 리뷰, 운영 보조처럼 에이전트가 서로 파일을 넘기고 메시지를 주고받는 곳입니다. 그런 곳에는 문서화되지 않은 팀 관습이 늘 있는데, 어떤 표현은 고객 앞에서는 피하고 어떤 승인 절차는 생략하지 않으며 어떤 위험한 명령은 절대 단독으로 실행하지 않는 것 같은 것들입니다. 이런 것들은 규정집에 다 적기 어렵고, 설령 적더라도 현장 말투로 계속 바뀌면서 전달됩니다.

문제는 그다음입니다. 현장 관습이 말투를 바꿔가며 전달되는데, 앞선 실험에서 모듈은 표현 방식에 민감했습니다. 그렇다면 현장에 그대로 두면 어떻게 될까요. 공지 형태로 배운 규칙을 농담 섞인 지적에서는 못 알아듣거나, 반대로 개인 습관을 규칙으로 착각해서 불필요한 절차를 만들어낼 수 있습니다. 더 아픈 것은 벌점을 줘도 잡음 복사가 계속됐다는 점인데, 운영에서 피드백을 준다고 바로 고쳐질 거라고 믿기 어렵다는 뜻입니다. 밤사이 공시가 늦게 도착하거나 아침에 특정 종목이 거래 정지에 걸려도 예측 라인은 멈추면 안 되는 것처럼, 에이전트 시스템도 현장 잡음 속에서도 멈추지 않고 가려내야 하는데, 지금은 그 장치가 비어 있습니다.

저희 팀 관점에서 보면 다음 확인할 일도 분명합니다. 규범을 별도 모듈로 둘 것인지 아니면 상호작용 기록을 읽는 방식으로 풀 것인지, 그리고 위반과 제재의 신호를 로그에 어떻게 남길지를 정해야 하기 때문입니다. 별도 모듈은 관리하기 편하지만 표현에 민감해질 수 있고, 상호작용 기반은 유연하지만 무엇이 강제인지를 라벨링하기 어렵습니다. 어느 쪽이든 자주 나온다는 이유만으로 규칙 취급하지 않는 장치가 필요합니다. 저는 그래서 이 논문을 점수표가 아니라 설계 질문집으로 읽었습니다. 무엇을 로그로 남기고, 무엇을 제재 신호로 쓸지를 묻는 질문집으로요.

그래서 앞으로 무엇을 봐야 할까요

남은 질문들을 정리해볼 차례입니다. 논문은 답보다 질문을 남기는 쪽에 가까운데, 저는 그 점이 오히려 마음에 들었습니다. 풀어야 할 것들이 구체적이니까요. 우선 규범의 표현을 바꿔도 유지되는 이해가 가능한지가 남는데, 같은 뜻을 공지체나 구어체, 침묵 같은 비언어적 신호로 줘도 같은 규칙으로 알아듣는지가 관건입니다. 표현이 바뀌면 무너지는 이해는 현장에서 오래 못 갑니다.

다음으로 강제 신호를 어떻게 읽을지가 남습니다. 누가 지적받고 무엇이 교정되며 어떤 위반은 그냥 넘어가는지를 구분해야 하는데, 빈도가 아니라 제재 패턴을 보는 것입니다. 여기서 또 다른 질문이 따라옵니다. 예외를 어떻게 다룰 것인가 하는 점인데, 질서를 읽었다는 것은 규칙을 외웠다는 뜻이 아니라 언제 규칙을 깨야 하는지도 안다는 뜻이니까요. 긴급 상황이나 상위 규칙과의 충돌 같은 장면에서 모델이 어떻게 판단하는지를 봐야 합니다.

제가 앞으로 보고 싶은 것은 이런 장면을 담은 후속 실험입니다. 토론장보다 더 지저분한 현장, 말투가 계속 바뀌고 개인 습관이 섞이며 벌점이 뭉뚱그려져서 들어오는 환경에서도 가려내기가 되는지를 보는 것인데요. (참고로 저는 이 논문의 합성 규범 설계를 꽤 실용적이라고 느꼈는데, 현실 상식을 배제하고 학습 자체를 측정하려는 태도가 분명했기 때문입니다.) 그런 후속이 나오면, 모듈을 붙이는 방식과 상호작용 기록을 읽는 방식 중 어느 쪽이 더 단단한지도 가려질 겁니다.

잘 어울리는 척을 넘어서려면

처음으로 돌아가 보겠습니다. 새 직장에 간 사람이 문서만 외우고 눈치를 못 보면, 처음 며칠은 그럴듯해 보여도 곧 어긋나기 시작합니다. 창문 여는 습관을 규칙으로 착각하고, 진짜로 중요한 침묵의 신호는 놓치며, 지적을 받아도 어디를 고쳐야 할지 모릅니다. 논문이 보여준 에이전트의 모습이 이와 겹쳐 보였는데, 말투는 매끄럽고 따라 하기도 잘하는데 무엇이 강제되는지는 가려내지 못했기 때문입니다.

그래서 이 논문이 남기는 한 문장은 분명합니다. 적응을 흉내와 같은 것으로 보지 말자는 것인데요. 흉내는 자주 보이는 것을 재현하고, 적응은 강제되는 것을 가려내어 예외까지 다루는 일입니다. 앞으로 에이전트가 더 오래 일하고 더 많은 동료와 연결될수록, 개별 모델 하나가 똑똑한지만 보는 것을 넘어 그 사이에서 무엇이 강제되고 어떻게 이어지는지까지 함께 봐야 할 것 같습니다. 그렇다면 사람의 역할은 무엇일까요. 아마도 강제하고 싶은 것을 말투가 아니라 구조로 남기는 일이 아닐까 싶습니다. 지적과 교정과 예외를 기록으로 남겨, 새로 온 존재가 눈치만으로 헤매지 않게 만드는 일이요.