서사로 감싸면 거부가 무너진다: 다언어 벤치마크와 방어를 읽다

How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense는 arXiv에 공개된 논문으로 식별 번호 2610.11005를 달고 있습니다. 이 연구는 직접 말하면 거절하던 안전 정렬 모델이 같은 부탁을 역할극이나 서사 구조로 감싸면 답을 내놓는 현상을 세 가지 언어로 측정하고 그 원인을 표상 수준에서 설명한 뒤 방어 기법을 제안한다는 주장을 한 문장으로 정리할 수 있습니다. 원문은 제목 아래에 연결되어 있습니다.

안녕하세요, 패트릭입니다. 제가 이 논문을 처음 펼쳤을 때 눈길을 끈 대목은 숫자의 높낮이보다 질문의 결이었습니다. 모델이 안전한지 묻는 대신 모델이 언제 거부를 접는지 물었기 때문입니다. 거부는 능력처럼 보이지만 실제로는 조건에 따라 접혔다 폈다 하는 태도에 가깝습니다. 그래서 저는 이 글을 거부라는 스위치가 어떤 손길에 쉽게 넘어가는지 따라가 보는 시간으로 쓰고 싶었습니다.

여러분도 비슷한 경험을 하신 적이 있을 겁니다. 같은 모델에게 같은 취지의 질문을 던졌는데 어떤 날은 단호하게 거절하고 다른 날은 술술 답이 나오던 순간 말이죠. 그 차이는 대개 문장 앞에 붙은 짧은 이야기에서 시작됩니다. 옛날 이야기처럼 시작해 달라는 부탁, 특정 인물의 말투로 답해 달라는 부탁, 시험이 아니라 소설의 한 장면이라는 설명이 앞에 붙으면 모델의 말투가 달라집니다. 그렇다면 그 이야기는 정확히 무엇을 바꾸는 걸까요. 오늘은 그 물음에 측정과 원리 분석과 방어로 답한 이 논문을 처음부터 끝까지 읽어보려 합니다.

직접 물으면 막히는데 이야기로 감싸면 열리는 이유

이 논문이 출발점으로 삼은 관찰은 아주 단순합니다. 안전 정렬을 거친 모델은 유해한 요청을 직접 받으면 거절하는데 같은 요청을 역할극이나 서사 포장으로 감싸면 답을 내놓는 경우가 많습니다. 이 간극은 우연히 한 번씩 벌어지는 실수를 넘어 반복해서 관찰되는 경향입니다. 연구진은 이 간극을 이야기의 힘 때문이라고 뭉뚱그리지 않고 측정 가능한 형태로 바꿨습니다. 어떤 포장이 어느 언어에서 얼마나 통하는지 숫자로 드러낸 것이죠.

저는 여기서 멈칫했습니다. 거절을 모델의 성격처럼 생각해 왔기 때문입니다. 성격이라면 이야기가 붙어도 유지되어야 하는데 실제로는 포장지에 따라 태도가 바뀌니까요. 생각해보면 사람도 비슷하게 흔들립니다. 낯선 사람이 길에서 갑자기 부탁하면 경계하지만 같은 부탁을 아는 사람의 사연과 함께 들으면 마음이 열립니다. 모델의 거부도 그런 식으로 문맥의 온도에 영향을 받는 것일까요. 이 질문을 품고 다음 장으로 넘어가면 숫자가 먼저 기다리고 있습니다.

포장을 벗기는 일부터 생각해 보면 감이 옵니다. 직접 요청은 판단이 쉽습니다. 무엇을 달라는 말이 문장 가운데 또렷하게 서 있으니까요. 그런데 서사가 앞에 붙으면 판단해야 할 대상이 늘어납니다. 등장인물의 사연을 이해해야 하고, 그 사연 안에서 요청이 어떤 역할을 하는지 따져야 하며, 말투까지 맞춰야 합니다. 그 과정에서 원래 요청의 윤곽이 흐려집니다. 그래서 저는 이 현상을 모델이 나빠져서라기보다 할 일이 많아져서 생기는 틈으로 읽었습니다. 실제로 무엇이 바뀌었고 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 보는 편이 저희가 새로운 AI 아키텍처를 볼 때 유지하는 습관이기도 합니다.

같은 부탁을 세 개 언어로 나란히 놓으면 보이는 차이

연구진이 만든 GUISE라는 벤치마크는 같은 요청을 영어와 현대 중국어와 고문체 중국어로 나란히 놓은 병렬 구성입니다. 번역이 매끄러운지 정도를 넘어 요청의 의도와 난이도가 세 언어에서 같아지도록 맞췄습니다. 같은 포장을 세 언어로 입혀 보면 언어 자체가 방어를 약하게 만드는지, 아니면 포장이 언어를 타고 더 잘 먹히는지 구분할 수 있기 때문입니다.

숫자는 솔직합니다. Qwen3-1.7B에서 공격 성공률은 영어에서 89.4%였는데 현대 중국어에서는 93.0%로 올랐고 고문체에서는 95.7%까지 치솟았습니다. 영어로도 이미 열에 아홉은 뚫린다는 뜻인데 중국어로 가면 더 잘 뚫리고 옛 문체로 가면 거의 다 열린다는 결과입니다. 저는 이 숫자보다 그 뒤의 구조를 더 오래 들여다본다고 봅니다. 언어가 바뀌었을 뿐인데 성공률이 계단처럼 올라간다는 점은 안전 장치가 특정 언어에 기대어 있다는 신호이기 때문입니다.

왜 이런 계단이 생길까요. 한 가지 설명은 학습 데이터의 분포입니다. 현대 영어의 직접 요청과 거절 사례는 정렬 과정에서 많이 다뤘을 가능성이 큽니다. 반면 고문체는 같은 의도를 훨씬 드문 표현으로 감추고, 그 드문 표현은 거절 학습에서 자주 만나지 못했을 수 있습니다. (참고로 고문체 판정을 사람이 일일이 검수했다고 상상하면 막막해지는데요. 연구진은 병렬 요청을 맞추는 데 적지 않은 공을 들였다고 밝히고 있습니다.) 그래서 저는 이 결과를 언어별 점수표로 읽기보다 정렬의 사각지도를 보여주는 등고선으로 읽었습니다. 어디가 높고 어디가 낮은지보다 어디가 비어 있는지가 드러났기 때문입니다.

왜 굳이 고문체까지 가져왔을까요

여기서 자연스럽게 따라오는 물음이 있습니다. 왜 굳이 고문체까지 가져왔을까요. 현대 중국어만으로 충분하지 않았을까요. 연구진의 답은 문체/register가 또 하나의 변수라는 데 있습니다. 같은 중국어 안에서도 현대어와 고문체는 어휘와 문법과 함축의 결이 다릅니다. 그래서 언어를 바꾸는 효과와 문체를 바꾸는 효과를 따로 볼 수 있습니다.

이 구분은 생각보다 실무적입니다. 실제 서비스에서는 사용자가 표준어만 쓰지 않습니다. 옛 표현을 섞기도 하고, 특정 커뮤니티의 말투를 쓰기도 하며, 번역기를 거친 문장을 붙여넣기도 합니다. 그런 변형이 안전 장치를 우회하는 통로가 된다면 방어 범위를 표준어에만 맞출 수 없기 때문입니다. 저도 예전에 문체를 살짝만 바꿨는데 모델의 태도가 달라져서 놀란 적이 있습니다. 그때는 우연이라고 넘겼는데 이번 숫자를 보고 나니 우연을 넘어 구조였겠다는 생각이 들었습니다.

그렇다면 고문체가 특별히 강한 무기가 되는 걸까요. 저는 그렇게 단정하기 전에 조건을 보고 싶었습니다. 고문체 자체가 마법을 부린다기보다 고문체로 감싼 요청이 거절 학습에서 덜 다뤄졌을 가능성이 크기 때문입니다. 다시 말해 문제는 고문체 자체보다 커버리지의 구멍에 있습니다. 이 해석이 맞다면 해법은 특정 문체를 금지하는 쪽보다 구멍을 메우는 쪽에서 찾아야 합니다. 뒤에 나오는 방어 장치가 표상 수준을 겨냥한 이유도 여기와 연결됩니다.

착한 질문과 어려운 질문을 짝지어야 하는 이유

GUISE의 또 다른 특징은 유해 요청과 무해 요청을 짝으로 묶었다는 점입니다. 안전만 재면 무조건 거절하는 모델이 만점을 받기 때문입니다. 묻는 말마다 모른다고 답하면 유해한 답은 막겠지만 쓸모도 함께 사라집니다. 그래서 연구진은 쌍을 맞춰 안전과 사용성을 함께 재는 길을 택했습니다. 위험한 부탁은 막는지, 괜찮은 부탁은 들어주는지를 한 묶음으로 보는 것이죠.

이 설계는 운영의 아침을 지키는 감각과 닿아 있습니다. 밤사이 공시가 늦게 도착하거나 아침에 특정 종목이 거래 정지에 걸려도 예측 라인은 멈추면 안 되듯이, 안전 장치는 위험한 흐름을 막으면서 정상 흐름은 흘려보내야 합니다. 무조건 잠그는 문은 밤에는 편해 보이지만 아침에는 모두가 발을 동동 구르게 됩니다. 그래서 저는 과도한 거부를 함께 재는 이 선택을 연구실 점수 이상의 장치로 평가했습니다. 현장에서 바로 체감되는 온도를 갖고 있기 때문입니다.

짝짓기에는 또 다른 소득이 있습니다. 모델이 정말로 의도를 구분하는지 볼 수 있기 때문입니다. 표면의 단어를 넘어 요청의 결을 보고 판단한다면 유해 쌍에서는 거절하고 무해 쌍에서는 답해야 합니다. 반대로 표면의 분위기에 휩쓸린다면 서사가 붙은 무해 요청까지 거절하거나 서사가 붙은 유해 요청까지 들어주는 식으로 흔들릴 것입니다. 그렇다면 여러분이 만드는 서비스에서는 어느 쪽 실수가 더 아플까요. 위험한 답을 내놓는 실수와 멀쩡한 질문을 막는 실수 가운데 어느 쪽을 먼저 줄여야 할까요. 이 질문을 안고 있으면 뒤에 나오는 결합 점수의 뜻이 또렷해집니다.

시험 문제는 미리 보여주지 않아야 합니다

벤치마크가 포장을 다룰 때 흔히 빠지는 함정이 있습니다. 평가에 쓸 포장 기법을 학습 과정에 그대로 노출하는 일입니다. 그렇게 되면 모델은 포장을 외워서 막는 법을 배우고, 새로운 포장이 나오면 다시 뚫립니다. 연구진은 이 함정을 피하기 위해 포장 유형 일부를 평가용으로 따로 숨겨두는 홀드아웃 구성을 택했습니다. 학습 때 본 포장이 아니라 처음 보는 포장으로 시험하는 셈입니다.

저는 이 대목을 읽고 일종의 오답 노트처럼 느꼈습니다. 오답 노트가 시험에 나온 문제만 외우는 종이가 되면 다음 시험에서는 무용지물이 되기 때문입니다. 실제 실력은 처음 보는 문제를 푸는 힘에서 드러납니다. 홀드아웃은 바로 그 힘을 재는 장치입니다. 모델이 특정 문구를 외웠는지, 아니면 서사에 흔들리는 버릇 자체를 고쳤는지를 구분해 줍니다.

이 선택은 방어 연구의 정직함과도 연결됩니다. 새로운 포장이 나올 때마다 땜질하는 방식으로는 끝이 없기 때문입니다. 공격자는 다음 주에 또 다른 이야기를 들고 옵니다. 그래서 평가부터 처음 보는 이야기를 기준으로 삼아야 방어의 체력이 드러납니다. 여러분이 안전 보고서를 읽을 때도 같은 질문을 던져보시면 좋습니다. 이 숫자는 본 문제를 맞힌 점수일까요, 아니면 처음 보는 문제를 푼 점수일까요. 그 한 줄이 보고서의 온도를 바꿉니다.

경고하면서 답하는 것도 성공으로 쳐야 할까요

이 논문에서 제가 가장 현실적으로 느낀 대목은 평가 기준입니다. 연구진은 경고 문구를 덧붙인 뒤 유해한 내용을 함께 내놓는 warn-then-answer 응답을 공격 성공으로 셉니다. 얼핏 보면 엄격해 보입니다. 조심하라는 말을 붙였으니 절반쯤 막은 것 아니냐고 물을 수 있기 때문입니다.

그런데 실제 피해를 기준으로 생각하면 기준이 달라집니다. 앞에 조심하라는 말이 붙어도 뒤에 따라오는 설명이 위험한 행동을 가능하게 만든다면 피해는 그대로 발생합니다. 마치 문 앞에 위험하다고 적어두고 문은 열어두는 셈입니다. 팻말은 있지만 통행은 막지 못한 것이죠. 그래서 저는 이 엄격한 기준에 동의합니다. 안전의 단위는 말투보다 결과에 있기 때문입니다.

이 기준은 뒤에 나오는 방어 설계에도 직접 이어집니다. 모델이 경고만 덧붙이고 본론으로 넘어가는 버릇을 그대로 두면 숫자는 좋아 보여도 구멍은 남습니다. 그래서 연구진은 끝까지 거절하는 응답을 따로 훈련하는 장치를 마련합니다. 그렇다면 여러분의 로그에서는 warn-then-answer가 얼마나 자주 나타날까요. 거절로 집계된 대화 가운데 앞에서는 걱정하고 뒤에서는 설명하는 경우가 섞여 있지는 않을까요. 이 질문은 오늘 바로 로그를 열어보게 만드는 힘이 있습니다.

말씨보다 서사가 표상을 멀리 밀어냅니다

이제 원인 분석으로 들어갑니다. 연구진은 표상 수준에서 거부 방향이라는 기준을 잡고 유해 요청의 표상이 그 기준에서 얼마나 멀어지는지 쟀습니다. 언어만 바꾸거나 문체만 바꿨을 때와 서사 포장을 씌웠을 때를 비교한 것이죠. 결과는 분명했습니다. 언어 차이와 문체 차이는 표상을 조금 움직였지만 서사 포장은 훨씬 멀리 밀어냈습니다.

이 차이는 생각보다 큽니다. 그동안 다언어 안전 문제를 언어 데이터가 부족해서 생기는 일로만 설명해 왔다면 이제는 설명을 덧대야 하기 때문입니다. 언어가 달라서 뚫린 측면을 넘어 서사가 얹혀서 더 크게 뚫린 측면이 따로 있다는 뜻입니다. 저는 이 대목을 읽고 고개를 끄덕였습니다. 앞에서 본 계단 숫자, 영어 89.4%와 현대 중국어 93.0%와 고문체 95.7%의 차이가 언어만의 효과를 넘어 언어 위에 얹힌 서사의 증폭과 함께 읽혀야 하기 때문입니다.

왜 서사가 더 멀리 미는 걸까요. 제 해석은 작업량의 문제로 돌아갑니다. 언어 변환은 같은 요청을 다른 옷으로 갈아입히는 일에 가깝습니다. 반면 서사는 요청 주변에 인물과 배경과 목적을 새로 짓는 일입니다. 모델이 그 세계를 이해하고 유지하느라 계산을 쓰는 사이 원래 요청에 대한 경계가 뒤로 밀리는 것이죠. 사람이 긴 사연을 듣다 보면 처음의 경계가 무뎌지는 과정과 닮았습니다. 그래서 저는 방어를 언어 데이터를 늘리는 일로만 풀 수 없다고 봅니다. 서사가 만드는 이동 자체를 되돌리는 장치가 따로 필요합니다.

표상을 거부 쪽으로 돌려세우는 법

연구진이 제안한 AXIS라는 방어는 이 이동을 정면으로 다룹니다. 선호 최적화에 회전 목적함수를 더해 유해 요청의 표상을 거부 방향과 나란히 맞추는 방식입니다. 말로 풀면 밀려난 표상을 다시 제자리로 돌려세우는 일입니다. 어떤 이야기를 씌우더라도 유해한 요청은 거부 쪽에 가깝게 머물도록 훈련하는 것이죠.

이 발상이 마음에 드는 이유는 땜질을 넘어 좌표를 고치기 때문입니다. 특정 포장 문구를 외우는 대신 표상이 놓이는 자리 자체를 조정합니다. 외우는 방식은 다음 포장에 약하지만 자리를 고치는 방식은 처음 보는 포장에도 버틸 여지가 있습니다. 앞에서 본 홀드아웃 평가와도 호흡이 맞습니다. 외운 시험이 아니라 처음 보는 시험을 겨냥한 공부에 어울리는 훈련이기 때문입니다.

물론 여기서 조심해서 읽을 대목이 있습니다. 표상을 돌린다고 모든 문제가 풀리는 것은 아닙니다. 회전은 방향을 맞추는 일에 가깝고 내용을 지우는 일과는 거리가 있기 때문입니다. 방향이 맞아도 표현이 어긋나면 거절 문장이 어색해질 수 있고, 반대로 너무 세게 돌리면 멀쩡한 요청까지 거부 쪽으로 끌려갈 수 있습니다. 그래서 뒤에 나오는 사용성 평가가 함께 있어야 합니다. 방향을 맞췄다는 말과 쓸모를 지켰다는 말은 따로 확인해야 하니까요. 여러분이 이 방식을 적용한다면 회전의 세기를 조절하는 손잡이를 어디에 둘지 먼저 정하시면 좋겠습니다.

끝까지 거절하게 만드는 또 하나의 약속

AXIS에는 회전과 함께 약속 목적함수라는 두 번째 장치가 들어갑니다. warn-then-answer처럼 경고하고 답하는 halfway 응답 대신 완전한 거절을 하도록 훈련하는 부분입니다. 앞에서 평가 기준을 엄격하게 잡은 것과 정확히 맞물립니다. 기준으로만 엄격하고 훈련은 그대로 두면 숫자는 나빠지기만 하기 때문입니다.

저는 이 장치를 읽으며 운전대 비유가 떠올랐습니다. 회전이 차선을 맞추는 일이라면 약속은 브레이크를 끝까지 밟는 일입니다. 차선이 맞아도 브레이크가 중간에 풀리면 차는 앞으로 나갑니다. 마찬가지로 표상이 거부 쪽을 봐도 문장이 중간에 새면 유해한 내용이 뒤따라 나옵니다. 그래서 두 장치는 따로 놀 때보다 함께 쓸 때 빛이 납니다. 방향과 마무리가 한 쌍을 이뤄야 구멍이 줄어듭니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 완전한 거절을 강제하면 멀쩡한 질문까지 짧게 끊어버리지는 않을까요. 이 걱정은 앞에서 본 짝지어진 평가가 덜어줍니다. 유해 쌍에서는 끝까지 거절하고 무해 쌍에서는 필요한 답을 주는지를 함께 재기 때문입니다. 저는 그래서 결합 점수라는 표현을 안전 점수 하나로 읽지 않았습니다. 안전과 쓸모를 함께 버티게 만드는 균형 감각으로 읽었습니다. 한쪽만 높으면 나머지 한쪽에서 대가를 치르기 때문입니다.

세 모델에서 같은 그림이 반복됐고 그래도 남은 질문

마지막으로 결과를 봅니다. AXIS는 Qwen3-1.7B와 Qwen3-4B와 GLM-4-9B에서 안전과 사용성을 합친 결합 점수가 가장 높았습니다. 작은 모델에서만 통하는 요령을 넘어 규모와 계열이 다른 모델에서도 같은 방향으로 작동했다는 뜻입니다. 홀드아웃 포장과 엄격한 warn-then-answer 기준 아래에서 얻은 결과라서 더 눈여겨볼 만합니다. 외운 답이 아니라 처음 보는 포장 앞에서도 버틴 셈이기 때문입니다.

그렇다면 이제 안전 문제는 풀린 걸까요. 저는 여기서 속도를 늦추고 싶습니다. 결합 점수가 가장 높다는 말은 상대적인 우위를 뜻하지 완전한 해결을 뜻하지 않기 때문입니다. 공격자는 다음 달에 또 다른 서사를 들고 옵니다. 고문체보다 더 드문 문체, 번역기를 여러 번 거친 문장, 이야기와 지시를 섞은 새로운 포장이 나올 수 있습니다. 방어가 좌표를 고치는 방식이라 해도 커버리지 바깥에서는 다시 흔들릴 여지가 있습니다.

제가 앞으로 보고 싶은 것은 세 가지입니다. 첫째로 더 긴 서사에서 버티는지입니다. 짧은 포장이 아니라 장편의 세계관 안에서 요청이 여러 번 변주될 때 표상이 제자리를 지키는지 궁금합니다. 둘째로 무해 쌍의 품질입니다. 어떤 무해 질문으로 짝을 지었는지에 따라 사용성 점수의 온도가 달라지기 때문입니다. 셋째로 운영 비용입니다. 회전과 약속 훈련이 추론 속도나 서빙 메모리에 어떤 흔적을 남기는지 알아야 현장에서 쓸 수 있습니다. 이 질문들이 풀리기 전까지는 경계를 늦추기보다 로그를 열어 warn-then-answer 패턴을 직접 세어보는 편이 좋습니다. 결국 남는 물음은 하나입니다. 우리의 거부는 어떤 이야기 앞에서도 같은 자리에 서 있을까요.