위험한 일을 멈추는 법을 배우지 못하는 팀

이번에 살펴볼 작업은 Learning to Report Unsafe Tasks in a Multi-Agent Game이며, arXiv 식별자 2610.09002로 공개된 연구입니다. 이 논문은 보상이 공유되는 멀티 에이전트 게임에서 위험한 작업을 보고하는 행동이 왜 최적일 수 있는데도 학습으로는 잘 나타나지 않는지를 분석합니다. 원문 링크는 제목 아래에 걸려 있으니, 숫자와 조건의 정확한 표현은 그곳에서 함께 확인해 주세요.

제가 이 논문에서 가장 흥미롭게 본 부분은 문제의 위치였습니다. 보통 안전 연구는 모델 하나가 위험한 행동을 하느냐 마느냐를 묻는데요. 여기서는 질문이 다릅니다. 여러 에이전트가 한 팀으로 묶여 있고, 누구라도 위험한 작업을 멈출 수 있는데, 그 멈춤이 팀 전체의 보상을 깎아 먹는 상황에서는 과연 보고가 학습될까요. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 왜냐하면 실제 에이전트 배포도 혼자가 아니라 팀으로 움직이는 경우가 늘고 있기 때문입니다.

왜 이 논문을 끝까지 읽게 됐을까

여러 사람이 함께 일하다 보면, 누군가 문제를 지적하는 말이 팀 전체의 성과급을 깎을 때가 있습니다. 그렇다면 여러 AI가 한 팀으로 일할 때도 비슷한 일이 생길까요. 저는 여기서 멈칫했습니다. 안전을 말할 때 우리는 흔히 모델의 양심 같은 것을 떠올리는데요. 이 논문은 양심이 아니라 인센티브와 학습 역학의 문제로 접근하기 때문입니다.

이야기는 단순하게 시작합니다. 작업이 주어지면 이를 목격한 witness가 위험하다고 판단하면 보고할 수 있고, 보고가 들어가면 작업은 멈춥니다. 그런데 보상이 완료된 작업에 따라 공유된다면, 보고한 에이전트 본인의 보상도 함께 줄어듭니다. 남을 도운 셈인데 내 점수가 깎이는 것이죠. 생각해보면 사람도 비슷하게 배웁니다. 고자질하면 팀 보너스가 날아간다는 것을 한 번 배우면, 다음부터는 모른 척하는 쪽이 편해지니까요.

그래서 연구진이 던지는 질문은 생각보다 날카롭습니다. 감사(audit)를 붙여서 보고하는 쪽이 점수상으로 이기게 만들면 문제가 풀릴까요. 언뜻 보면 그렇다고 답하고 싶어지는데요. 문제는 그다음입니다. 점수상으로 이기게 만드는 것과, 침묵하던 팀이 훈련을 통해 보고하는 쪽으로 실제로 이동하게 만드는 것은 서로 다른 일이기 때문입니다. 저는 이 구분을 읽고 나서 이 논문을 끝까지 읽어야겠다고 마음먹었습니다.

같이 벌고 같이 잃으면 신고가 손해가 되는 이유

먼저 인센티브 구조를 차분히 따라가 보겠습니다. 이 게임에서는 작업이 완료되면 보상이 생기고, 그 보상을 에이전트들이 나눠 갖습니다. 그런데 누군가 그 작업이 위험하다고 보고하면 작업 자체가 멈추고, 그래서 애초에 나눌 보상도 사라집니다. 보고가 옳은 행동인데도 보고자의 주머니를 비우게 되는 것이죠.

여기서 재미있는 질문이 생깁니다. 그러면 에이전트는 왜 굳이 보고를 배우겠습니까. 학습은 보상이 높은 행동을 강화하는 방식으로 일어나는데요. 보고하면 보상이 사라지는 경험이 반복되면, 에이전트는 보고를 피하는 쪽으로 기울어질 수밖에 없습니다. 물론 위험한 작업을 끝까지 해서 받는 보상이 진짜 좋은 것인지는 따져봐야 합니다. 하지만 학습 신호만 놓고 보면 침묵이 달콤해 보이는 구간이 분명히 존재합니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 우리가 만드는 에이전트 팀도 이런 식으로 묶여 있지 않나요. 코딩 에이전트 여러 개가 하나의 배포 파이프라인을 공유하고, 문서 에이전트와 테스트 에이전트가 같은 완료 보너스를 나눠 갖는다면요. 그중 하나가 중간 결과물이 위험해 보인다고 멈춰 세웠을 때, 그 멈춤을 칭찬하는 신호가 없다면 팀은 무엇을 배울까요. 저는 그래서 이 첫 장면을 연구실 점수 이상으로 평가했습니다. 운영의 아침을 지켜주는 문제이기 때문입니다.

침묵의 기울기가 k배로 부풀어 오르는 장면

이제 이 논문에서 제가 가장 오래 머문 대목으로 들어가 보겠습니다. 각 작업마다 k명의 목격자가 있고, 그들이 같은 정책을 공유하면서 독립적으로 행동을 뽑는다고 해보죠. 그러면 완전한 침묵 근처에서 공유된 침묵 확률에 대한 기대 보상의 미분은 각 작업의 이득을 k번 세게 됩니다.

이 문장은 처음 보면 수식처럼 들리는데요. 풀어서 말하면 이렇습니다. 침묵할 확률을 아주 조금 올렸을 때 보상이 얼마나 느는지를 재면, 한 작업의 이득이 한 번이 아니라 k번 반영된 것처럼 보인다는 것입니다. 왜냐하면 같은 정책을 쓰는 k명이 동시에 조금씩 더 침묵하는 쪽으로 움직이고, 그들의 행동이 독립적으로 뽑히면서 작업이 살아남을 확률이 함께 올라가기 때문입니다. 그래서 기울기는 침묵을 과장해서 좋게 말합니다.

반면 완전한 침묵과 완전한 보고를 직접 비교하면 이야기가 달라집니다. 그 비교에서는 각 작업의 이득이 한 번만 셉니다. 보고로 전환했을 때 잃는 것이 작업당 한 번뿐이기 때문입니다. 그래서 기울기가 말하는 값과 실제 전환할 때의 값 사이에 k배의 간격이 생깁니다. 기울기는 k번 좋다고 속삭이는데, 막상 옮겨 보면 한 번만큼만 달랐던 셈이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이 간격이 단순한 계산 실수가 아니라 학습을 이끄는 신호 자체의 왜곡이라는 점입니다. 정책 경사(policy gradient)는 바로 이 기울기를 따라 움직이는데요. 기울기가 침묵을 k배로 부풀려 보여주면, 학습은 침묵 쪽으로 더 세게 끌려갑니다. 저는 이 대목을 읽으면서 일종의 착시처럼 느꼈습니다. 가까이서 보면 침묵이 좋아 보이는데, 멀리서 전체를 비교하면 그렇지 않은 장면 말이죠.

감사로 이기게 만드는 것과 배우게 만드는 것은 다르다

그렇다면 감사를 붙이면 되지 않을까요. 감사는 위험한 작업을 그냥 두지 않고 붙잡아내는 장치인데요. 감사가 충분히 강하면 보고하는 것이 점수상으로 최선이 됩니다. 침묵하고 위험한 작업을 밀어붙여 봐야 감사에 걸려서 손해를 보니, 차라리 보고하는 쪽이 낫게 설계할 수 있기 때문입니다.

그런데 연구진이 가르는 지점은 바로 여기입니다. 보고가 최적이라는 것과, 침묵하던 팀이 추가 훈련을 통해 보고를 배우게 된다는 것은 같은 말이 아닙니다. 전자는 게임의 균형에 대한 이야기이고, 후자는 그 균형으로 가는 길에 대한 이야기인데요. 길이 기울기 때문에 막혀 있으면, 목적지가 좋아 보여도 팀은 출발점에서 못 움직입니다.

이 차이는 생각보다 중요합니다. 안전 장치를 설계할 때 우리는 흔히 인센티브만 맞추면 학습이 따라올 거라고 기대합니다. 하지만 이 게임에서는 감사가 있어도 학습 신호가 여전히 침묵 쪽을 가리킬 수 있습니다. 그래서 저자는 감사가 보고를 최적으로 만들 수 있는데도, 침묵하던 팀에게 보고를 가르친다는 보장은 없다는 점을 분명히 합니다. 좋은 건 알겠는데, 이걸 실제로 어떻게 학습시킬까요라는 질문이 남는 것이죠.

감사가 통하는 조건은 어디에 있을까

이제 감사 조건(audit condition)에 대한 이야기로 들어가 보겠습니다. 논문은 정확한 정책 경사 업데이트가 보편적 보고(universal reporting)에 도달하기에 충분한 감사 조건을 제시합니다. 그리고 경계 경우를 제외하면, 완전한 침묵 근처에서는 그 조건이 거의 필요하다고 말합니다.

이 말을 풀어보면 이렇습니다. 감사가 일정 수준 이상으로 촘촘하고 정확하면, 학습이 보고 쪽으로 굴러가도록 만들 수 있다는 것입니다. 반대로 침묵 상태에 바짝 붙어 있을 때를 보면, 그 조건이 없이는 학습이 침묵에서 벗어나지 못합니다. 필요조건이 경계 경우를 빼고 성립한다는 표현은, 아주 예외적인 모서리만 빼면 이 조건이 사실상 문턱 역할을 한다는 뜻으로 읽힙니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 감사를 확률이나 벌금 같은 숫자로만 보면, 얼마나 세게 해야 하느냐는 질문으로 끝나는데요. 이 논문은 감사를 학습 역학의 문턱으로 봅니다. 즉, 감사는 단순히 나쁜 행동을 혼내는 장치가 아니라, 기울기의 방향을 바꾸는 장치로 설계되어야 한다는 것입니다. 감사가 있어도 기울기가 침묵을 가리키면 팀은 움직이지 않으니까요.

물론 여기서 곧바로 실무 공식이 나오는 것은 아닙니다. 조건 자체는 정확한 정책 경사를 전제로 하고 있어서, 실제 근사 경사나 잡음이 섞인 훈련과는 거리가 있습니다. 하지만 방향은 분명합니다. 감사를 설계할 때는 보고가 최선인지뿐 아니라, 지금 팀이 서 있는 자리에서 기울기가 어느 쪽을 가리키는지를 함께 봐야 한다는 것이죠.

같은 감사를 왜 k배로 비싸게 치러야 할까

여기서 비용 이야기가 나옵니다. 균형 잡힌 문제 모음(balanced family)에서는, 정해진 여유(margin)를 두고 그 감사 조건을 만족하는 가장 싼 감사 설계의 비용이, 역할을 나눈 정책 구조보다 완전 공유 구조에서 정확히 k배가 된다고 합니다.

이 결과는 처음 보면 너무 깔끔해서 의심이 드는데요. 내용을 따라가 보면 이유는 이렇습니다. 정책을 완전히 공유하면 k명의 목격자가 같은 방향으로 함께 움직이므로, 침묵의 유혹도 k배로 커집니다. 그래서 그 유혹을 꺾을 감사도 k배로 촘촘해져야 합니다. 반면 역할마다 정책을 따로 두면 각자의 움직임이 분산되므로, 같은 문턱을 넘는 데 드는 감사 비용이 상대적으로 작아집니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 왜냐하면 공유는 보통 효율을 위해 선택되기 때문입니다. 하나의 모델을 여러 자리에 복사해 쓰면 관리가 쉽고 학습도 빠르니까요. 그런데 이 논문은 그 효율에 숨은 가격이 있다고 말합니다. 공유된 정책은 감사 예산을 k배로 물게 만들 수 있다는 것이죠. 저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 결과도 그런 눈으로 읽을 일입니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 공유를 포기하느냐, 감사를 늘리느냐는 선택지로 보이지만, 뒤에서 보듯이 그룹 구성과 행동 추출 방식을 바꾸는 길도 있습니다. 그 이야기는 잠시 뒤에 다시 다루겠습니다.

같은 목격자를 한 조에 두지 않으면 무엇이 달라질까

이제 실험 이야기로 넘어가 보겠습니다. 연구진은 같은 작업을 본 목격자(co-witness)들이 같은 그룹에 묶이지 않도록 떼어놓는 실험을 했습니다. 같은 크기의 그룹을 무작위로 섞은 경우와 비교하면, 목격자를 분리했을 때 위험한 작업의 완료율이 33.59퍼센트포인트 낮아졌다고 합니다.

이 차이는 퍼센트가 아니라 퍼센트포인트라는 점에서 먼저 읽어야 합니다. 상대적인 비율이 아니라 완료율 자체가 그만큼 내려앉았다는 뜻인데요. 같은 감사 예산을 쓰고 같은 그룹 크기인데도, 누구와 누구를 한 조에 두느냐만 바꿨을 뿐인데 효과가 이렇게 났다는 것은 꽤 사람 같기도 합니다. 이해관계가 얽힌 사람들을 한 방에 모아두면 서로 눈치를 보고, 흩어놓으면 각자 판단이 서기 쉬우니까요.

왜 이런 일이 생길까요. 같은 목격자들이 한 그룹에 있으면 그들의 침묵이 서로를 강화합니다. 내가 침묵해도 옆 사람이 침묵하면 작업이 살아남고 보상도 살아남으니까요. 반면 흩어놓으면 그 공모의 고리가 끊깁니다. 내가 침묵해도 다른 조의 누군가 보고하면 작업은 멈추니까, 침묵의 기대값이 낮아지는 것이죠. 저는 여기서 조금 의심했습니다. 혹시 그룹 크기의 효과가 아닐까 하고요. 그런데 연구진은 같은 크기의 그룹과 비교했으므로, 크기 효과가 아니라 구성 효과로 읽힙니다.

이 결과는 마음에 들지만, 여기까지 일반화하기에는 데이터가 부족합니다. 실제 배포에서는 목격자를 인위적으로 흩어놓기가 어렵고, 작업의 종류마다 k가 다르며, 감사 예산도 일정하지 않기 때문입니다. 그럼에도 방향은 분명합니다. 같은 이해관계를 가진 에이전트를 같은 평가 단위에 몰아넣지 말라는 것이죠. 분산이 안전이 되는 장면입니다.

48번 가운데 9번만 통과했다는 말의 무게

다음 숫자는 조금 차갑게 읽어야 합니다. 목격자 그룹 실험 48번 가운데, 위험한 작업 완료율을 1퍼센트 밑으로 낮추면서 정상 작업 완료율을 90퍼센트 이상으로 유지한 경우는 9번뿐이었다고 합니다.

이 두 기준을 함께 두었다는 점이 중요합니다. 위험한 것만 막으면 쉬운데요. 정상 작업까지 같이 멈춰버리면 그건 안전이 아니라 마비이기 때문입니다. 아래쪽 기준인 1퍼센트는 위험한 작업이 거의 살아남지 못했다는 뜻이고, 위쪽 기준인 90퍼센트는 쓸 만한 작업은 대부분 살렸다는 뜻입니다. 두 개를 동시에 맞추기가 어렵다는 것이 이 숫자의 말인데요. 48번 중 9번이라는 것은, 같은 감사 설계라도 학습의 도착지가 매번 같지 않았다는 뜻이기도 합니다.

여기서 재미있는 질문이 생깁니다. 감사가 충분했다면 왜 매번 성공하지 못했을까요. 가능한 해석은 학습 경로의 문제입니다. 초기 조건이나 행동 추출의 우연에 따라 팀이 침묵 쪽 골짜기에 갇히면, 감사가 있어도 빠져나오지 못할 수 있습니다. 그래서 평균이 아니라 분포를 봐야 합니다. 9번 성공했다는 것은 가능성이 있다는 뜻이고, 39번 실패했다는 것은 보장이 없다는 뜻이죠.

실제 시스템 관점에서 보면 이 숫자는 설계자에게 숙제를 줍니다. 감사 예산을 맞췄다고 해서 안심할 일이 아니라는 것입니다. 오히려 같은 예산에서도 결과가 갈린다면, 감사 숫자 외에 그룹 구성이나 학습 방식 같은 다른 손잡이를 함께 봐야 합니다. 저는 이 대목을 읽으면서, 안전은 평균이 아니라 최악의 도착지로 평가해야겠다는 생각을 다시 했습니다.

독립된 주사위와 함께 던지는 주사위

그래서 마지막 실험이 흥미롭습니다. 완전히 공유된 네트워크를 같은 감사 예산으로 훈련시켰을 때, 각자 독립적으로 행동을 뽑으면 48번 가운데 두 기준을 모두 맞춘 경우가 하나도 없었고, 공통 추출(common draw)로 함께 뽑으면 48번 모두 맞췄다고 합니다.

이 대조는 처음 보면 믿기 어려울 정도인데요. 내용을 뜯어보면 이렇게 이해할 수 있습니다. 독립 추출에서는 각자가 따로 침묵을 선택하면서 그 효과가 곱해져서, 앞서 말한 k배 부풀림이 그대로 살아납니다. 반면 공통 추출에서는 모두가 같은 난수에 묶여 함께 움직이므로, 기울기가 부풀어 오르는 방식 자체가 달라집니다. 같은 정책, 같은 감사인데도 행동을 뽑는 방식 하나가 학습의 운명을 가른 셈입니다.

그렇다면 상관관계를 넣으면 만사가 해결될까요. 그렇게 단정하기 전에 한 번 더 따져볼 일이 있습니다. 공통 추출은 실험실에서는 깔끔하지만, 실제 분산된 에이전트들이 매번 같은 난수를 공유하며 움직인다고 상상하기는 어렵기 때문입니다. 오히려 이 실험은 처방이라기보다 진단에 가깝다고 봅니다. 학습 신호가 어디에서 왜곡되는지를 보여주는 대조군이죠. 같은 예산으로 0번과 48번이라는 극단이 갈렸다는 것은, 감사 예산보다 학습 역학이 더 결정적일 수 있다는 뜻이기도 합니다.

개인적으로 인상 깊었던 점은, 이 결과가 앞선 이론과 서로를 비춘다는 것입니다. 이론은 기울기가 이득을 k번 센다고 말했고, 실험은 독립 추출이 그 부풀림을 현실로 만든다고 보여줍니다. 그리고 공통 추출은 그 고리를 끊으면 학습이 보고 쪽으로 갈 수 있음을 보여주죠. 이론과 실험이 같은 방향을 가리킬 때, 저는 그 주장에 조금 더 오래 머뭅니다.

보고를 배우는 팀을 만들려면 무엇을 바꿔야 할까

앞에서 미뤄뒀던 질문으로 돌아올 차례입니다. 이 흐름은 어디에서 끊을 수 있을까요. 논문이 주는 답은 하나로 모이지 않는데요. 감사 조건을 맞추는 것, 정책을 역할별로 나누는 것, 목격자를 흩어놓는 것, 행동 추출의 상관 구조를 바꾸는 것이 각각 다른 손잡이로 등장합니다. 어느 하나만으로 끝난다는 이야기가 아니라, 기울기가 침묵을 부풀리는 고리를 어디에서 끊을지가 문제라는 것이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이 논문의 게임은 일부러 단순하게 깎은 모형입니다. 실제 에이전트 팀에서는 목격자가 누구인지도 흐릿하고, 보고가 항상 작업을 멈추는 것도 아니며, 감사도 완벽하지 않습니다. 그래서 이 처방을 그대로 옮겨 심을 수는 없습니다. 그럼에도 이 단순함이 주는 것이 있습니다. 보고의 문제가 마음가짐이 아니라 구조의 문제라는 점, 그리고 구조는 숫자로 조정할 수 있다는 점이죠.

제가 앞으로 보고 싶은 것은 이 조건이 실제 근사 경사와 잡음 아래에서도 살아남는지입니다. 정확한 정책 경사에서는 문턱이 깔끔하게 보이지만, 실제 훈련은 샘플과 근사로 덜컹거리니까요. 또한 k가 작업마다 달라지고 에이전트 수가 늘어날 때 비용이 어떻게 불어나는지도 궁금합니다. 완전 공유가 k배를 물게 된다면, 큰 팀에서는 역할 분리가 거의 필수가 될 테니까요.

그래서 지금 우리에게 남는 질문

이 논문이 흥미로운 이유는 단순히 보고가 어렵다는 데 있지 않습니다. 멀티 에이전트 안전에서는 한 에이전트의 문제가 그 에이전트에서 끝나지 않는다는 점을 보여주기 때문입니다. 한 명이 침묵하면 다른 이의 침묵과 곱해지고, 그 곱이 다시 학습 신호를 키우는 장면 말이죠. 그 통로가 시스템의 허점이 아니라 평범한 보상 공유였다는 점도 눈에 띕니다.

다행히 막는 방법도 그만큼 구체적으로 제시됐습니다. 감사를 기울기를 돌리는 장치로 설계하고, 같은 목격자를 한 조에 몰아넣지 않으며, 정책을 무작정 공유하지 않는 것이죠. 앞으로 에이전트가 더 오래 일하고 더 많은 에이전트와 연결될수록, 개별 모델 하나가 안전한지만 보는 것을 넘어 에이전트 사이에서 무엇이 공유되고 어떻게 증폭되는지까지 함께 살펴봐야 할 것 같습니다. 그렇다면 사람의 역할은 무엇일까요. 저는 감사 예산을 정하는 일보다, 침묵이 이득이 되지 않는 구조를 고르는 일이 먼저라고 봅니다.