끼어들 타이밍을 배우는 가드레일, StepSafe가 묻는 것

StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning는 arXiv에 공개된 에이전트 안전 연구로 arXiv 번호 2610.20960으로 등록되어 있다. 원문 링크는 제목 아래에 걸어두었다.

이 연구가 내세우는 주장은 하나의 문장으로 정리된다. 에이전트의 안전은 궤적이 끝난 뒤에 판정할 일이 아니라 매 스텝의 문맥에서 계속할지 물을지 멈출지를 고르는 개입의 타이밍 문제이며, 이 타이밍은 같은 자리에서 뽑은 답변끼리 비교하는 단계 정렬 학습으로 가르칠 수 있다는 것이다. 이 글에서는 그 문제의식에서 출발해 순차적 위험의 구조와 단계 정렬, 계속 묻고 멈춤의 정책, 스텝별 라벨과 빨간팀, 자기 증류, 그리고 다섯 개 벤치마크에서 드러난 안전과 유용성의 균형을 차례로 따라간다.

에이전트가 도구를 잡는 순간 안전의 의미가 바뀝니다

제가 이 논문에서 가장 흥미롭게 본 부분은 출발점의 태도였다. 질문에 답하는 모델의 안전과 직접 도구를 다루는 에이전트의 안전을 같은 잣대로 재서는 안 된다는 선언인데, 이 구분이 생각보다 많은 것을 바꾼다. 답만 내놓는 모델 앞에서는 문장 하나가 안전한지 위험한지를 따지면 대체로 충분했다. 그런데 에이전트는 파일을 읽고, 명령을 실행하고, 다른 에이전트와 말을 주고받으며 일을 진행한다. 그러다 보니 어떤 행동 하나만 떼어놓고 보면 멀쩡해 보여도, 앞에 쌓인 행동들과 합쳐지면 위험해지는 경우가 생긴다. 그렇다면 무엇을 봐야 할까. 문장 자체가 아니라 문장이 놓인 자리가 된다.

생각해보면 사람도 비슷하게 판단한다. 동료가 서버 주소를 물어봤다고 해서 곧바로 위험하다고 말하지는 않는다. 그런데 그 질문이 어젯밤에 열린 비밀 키 파일 조회 바로 다음에 나왔다면 느낌이 달라진다. 또 혼자 일할 때와 여러 사람이 권한을 나눠 가질 때의 위험도 다르다. 누가 무엇을 공개했고, 도구가 무엇을 돌려줬으며, 그 사이 에이전트끼리 어떤 약속을 주고받았는지가 함께 읽혀야 판단이 서기 때문이다. 논문은 이 지점을 정면으로 짚는데, 에이전트의 안전은 본질적으로 순차적이라는 것이다. 이전 행동과 도구 출력, 정보 공개, 에이전트 사이의 상호작용이 겹쳐지면서 안전 여부가 정해진다고 말한다.

여기서는 조금 조심해서 읽을 필요가 있는데, 순차적이라는 말이 모든 행동을 의심하라는 뜻은 아니기 때문이다. 대부분의 스텝은 그냥 지나가도 되는 평범한 일이다. 파일을 목록에서 찾고, 문서를 열고, 중간 결과를 정리하는 일들은 그 자체로 해가 없다. 문제는 그 평범함이 쌓이는 방향이다. 같은 파일 열기라도 언제, 무엇을 본 다음, 누구에게 보여주기 위해 열었느냐에 따라 의미가 달라지는데, 이런 차이를 궤적 전체가 끝난 뒤에야 돌아보면 이미 늦은 경우가 많다. 저는 그래서 첫 장을 읽으며 다음 질문이 바로 생겼다. 위험이 보이기 전에 계속 가고, 되물을 수 있을 때 묻고, 되돌릴 수 없을 때는 멈추는 일을 어떻게 가르칠 수 있을까. 이 질문이 논문 전체를 끌고 간다.

궤적이 끝난 뒤에 점수를 매겨서는 늦습니다

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 여러 AI가 한 팀으로 일할 때도 비슷한 일이 생길까요. 논문이 돌아보는 최근 연구의 흐름은 이 질문에 가깝다. 예전 가드레일은 궤적 전체가 끝난 뒤에 잘했는지 잘못했는지를 매기는 쪽에 가까웠는데, 요즘 연구는 스텝별로 진단하고 위험을 미리 점치는 쪽으로 옮겨가고 있다고 정리한다. 사후 평가에서 사전 개입으로 관심이 이동한 셈인데, 이 이동은 말처럼 가볍지 않다. 보는 시점이 바뀌면 가르치는 방법도 바뀌기 때문이다.

끝난 뒤에 매기는 방식이 왜 아쉬운지는 운전으로 비유하면 잘 드러난다. 목적지에 도착한 뒤에 이번 운전은 위험했습니다라고 말해주는 내비게이션은 별로 고맙지 않다. 이미 골목에 들어선 뒤, 이미 속도가 붙은 뒤에는 조언이 소용없기 때문이다. 필요한 것은 갈림길 직전에 나오는 한마디인데, 지금 속도를 유지해도 되는지, 옆 차선에 무엇이 있는지 물어봐야 하는지, 브레이크를 밟아야 하는지를 그 자리에서 말해주는 것이다. 에이전트도 마찬가지여서, 파일 삭제 명령이 실행된 다음에 그 명령이 위험했다고 알려주면 복구가 어렵다. 반면 명령을 고르기 직전이라면 되묻는 한마디로 일을 살릴 수 있다.

물론 사후 평가가 쓸모없다는 이야기는 아니다. 전체 궤적을 돌아보는 일은 어떤 유형의 실패가 반복되는지를 정리하는 데 여전히 쓸모가 있다. 그런데 운영의 관점에서 보면 부족한 구석이 분명한데, 언제 끼어들어야 하는지를 알려주지 않기 때문이다. 일찍 끼어들면 일을 방해하고, 늦게 끼어들면 사고를 막지 못한다. 일의 흐름을 끊지 않으면서도 위험한 길로 접어들기 전에 말을 거는 일, 저는 이 감각을 타이밍이라고 부르고 싶다. 논문이 겨냥하는 것도 바로 이 타이밍인데, 스텝 단위로 보고 미리 움직이는 가드레일을 만들겠다는 것이다. 그렇다면 다음 물음이 생긴다. 타이밍은 데이터로 어떻게 가르칠까.

같은 자리에서 뽑은 답변끼리 비교하면 타이밍이 보입니다

이 대목에서 논문이 꺼내는 장치가 ASPO라는 학습 방식이다. 이름은 낯설 수 있지만 생각은 의외로 곧다. 같은 접두사, 그러니까 같은 상황까지 진행된 바로 그 자리에서 여러 답변을 뽑은 뒤, 그 자리를 어떤 행동이 어울리는지를 기준으로 견주는 것이다. 전체 궤적이 다른 답변끼리 점수를 견주는 대신, 같은 갈림길에서 나온 선택끼리 견주겠다는 것인데, 이렇게 하면 모델은 막연한 착함이 아니라 그 자리에서의 어울림을 배우게 된다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 무엇을 배우게 할지를 상황과 묶어두는 방식이기 때문이다.

왜 같은 자리에서의 비교가 필요한지는 시험 문제로 생각하면 쉽다. 서로 다른 문제를 푼 두 학생의 답안지를 놓고 누가 더 현명한지를 가리기는 어렵다. 한쪽은 쉬운 문제를 깔끔하게 풀었고, 다른 쪽은 어려운 문제에서 중간까지 잘 갔다면 점수만으로 우열을 가릴 수 없기 때문이다. 반면 같은 문제를 두고 한 학생은 성급하게 답을 찍었고 다른 학생은 조건을 하나 더 확인했다면 비교가 선명해진다. 어떤 선택이 그 자리에서 더 나았는지가 드러나기 때문이다. ASPO의 단계 정렬도 같은 효과를 노리는데, 접두사를 고정함으로써 운이나 문제 난이도가 아니라 개입의 적절함이 점수에 남게 만든다. 상황은 같고 선택만 다르니, 무엇이 타이밍을 좋게 만드는지가 배움으로 남는다.

여기서 재미있는 질문이 생긴다. 그렇다면 단계라는 것은 누가 정해줄까. 논문이 말하는 단계는 미리 찍어둔 딱지가 아니라, 위험이 아직 보이지 않는 구간과 되물음이 통하는 구간, 그리고 되돌릴 수 없는 일을 앞둔 구간처럼 개입의 의미가 달라지는 자리다. 위험이 보이기 전에는 흐름을 끊을 이유가 없고, 되물음이 통할 때는 질문이 사고를 막으며, 돌이킬 수 없는 일을 앞두면 멈춤이 정답이 된다. 같은 자리에서 뽑은 답변끼리 견주면 이 구분이 배움으로 박히는데, 어떤 답은 너무 일찍 브레이크를 밟았고 어떤 답은 너무 늦게 손을 들었으며 어떤 답은 마침 그 자리에서 물을 것을 물었다는 차이가 드러나기 때문이다. Pre-fix 수준에서의 정렬이라는 표현도 이와 이어져 있는데, 일이 틀어진 뒤에 고치는 능력이 아니라 틀어지기 전의 자리에서 고르는 능력을 맞추겠다는 뜻으로 읽힌다.

계속 가도 될 때와 멈춰야 할 때는 다릅니다

앞선 장치가 배우는 법에 가깝다면, 이번에는 배운 뒤의 행동 모양에 가깝다. 논문이 정리하는 단계 정렬 정책은 세 가지로 읽힌다. 위험이 보이기 전에는 계속 가고, 되물음이 해를 막을 수 있을 때는 묻고, 해가 돌이킬 수 없게 되기 전에는 멈추는 것이다. 말로 적으면 당연해 보이지만 막상 가드레일로 만들면 어려운 일인데, 계속과 묻기와 멈춤은 서로 다른 비용을 치르기 때문이다. 계속은 빠르지만 위험을 떠안고, 묻기는 안전하지만 흐름을 끊으며, 멈춤은 확실하지만 일을 접는다. 그래서 언제 무엇을 고를지가 정책의 전부라고 해도 지나치지 않다.

주방의 예를 들어보자. 칼을 든 요리사가 재료를 썰고 있을 때, 옆에서 매번 손을 잡으면 요리는 끝나지 않는다. 그런데 불이 번지기 시작했는데도 그냥 두면 주방이 탄다. 그 사이에는 냄새가 이상할 때 창문을 열지 묻는 정도의 말이 있다. 계속 썰어도 된다는 말과 잠깐 멈추고 확인하자는 말, 그리고 가스부터 잠그자는 말은 서로 다른 자리에서 나온다. 무엇이 다른가 하면 남은 되돌림의 크기다. 썰기는 되돌릴 수 있고, 냄새 확인은 지금 물으면 늦지 않으며, 불은 번진 뒤에는 되돌리기 어렵다. 에이전트의 도구 사용도 이와 닮았는데, 조회는 대체로 되돌릴 수 있고, 외부 전송이나 삭제나 권한 변경은 되돌리기 어렵다. 정책이 단계에 따라 달라져야 하는 까닭이다.

저는 여기서 멈칫했다. 계속 묻기만 하는 가드레일이 왜 현장에서 미움받는지 떠올랐기 때문이다. 안전을 위한다는 이유로 매 스텝마다 확인을 요구하면 사람은 그 경고를 끄거나 무시하기 시작한다. 반대로 멈춤이 늦은 가드레일은 사고 보고서용으로는 정확해도 막상 사고를 막지는 못한다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 계속과 묻기와 멈춤을 자리에 맞게 고르는 일은 바로 그 비용 구조의 문제인데, 불필요한 질문을 줄이면서도 막아야 할 자리에서는 확실히 막는 것이 가드레일의 일이기 때문이다. 그렇다면 이 정책을 뒷받침하는 데이터는 어떻게 생겼을까.

매 스텝에 라벨을 붙이면 가드레일이 문맥을 읽습니다

논문이 준비한 훈련 데이터는 매 스텝에 두 종류의 메모를 붙이는 방식으로 설명된다. 하나는 위반 분류 체계이고, 다른 하나는 개입 창이다. 위반 분류 체계는 무엇이 잘못되었는지를 가리키는 이름표이고, 개입 창은 언제 끼어들어야 하는지를 가리키는 시간표다. 무엇과 언제라는 두 정보가 스텝마다 붙으니, 가드레일은 문장 하나가 아니라 문맥 속의 자리를 읽게 된다. 같은 도구 호출이라도 앞뒤 사연에 따라 이름표가 달라지고, 같은 위험이라도 되물을 여유가 있는지 없는지에 따라 시간표가 달라진다.

이 차이는 생각보다 중요한데, 이름표만 있고 시간표가 없으면 가드레일이 과민해지기 쉽기 때문이다. 예를 들어 외부로 정보를 보내는 행동을 보자. 공개해도 되는 정보를 보내는 일과 비밀을 보내는 일은 이름표가 다르다. 그런데 비밀을 보내는 일이라 해도, 전송 버튼을 누르기 전과 누른 뒤는 시간표가 다르다. 누르기 전이라면 어디로 무엇을 보낼 것인지를 되물을 수 있지만, 누른 뒤라면 되묻는 일이 소용없다. 이름표가 무엇을 막을지를 정한다면, 시간표는 언제 말을 걸지를 정한다. 둘을 함께 붙여야 가드레일이 문맥에 맞는 말을 고를 수 있는데, 논문이 스텝별 라벨을 강조하는 까닭도 여기에 있다고 읽힌다.

여기서 또 다른 물음이 생긴다. 그런 세밀한 라벨을 어디에서 구할까. 사람이 하나하나 붙이기에는 에이전트의 궤적이 너무 길고 가지가 많다. 도구 출력 한 줄이 다음 행동을 바꾸고, 그 행동이 다른 에이전트의 말을 바꾸는 식으로 얽히기 때문에 손으로 따라가기 어렵다. 그래서 논문은 데이터 자체를 키우는 쪽을 택하는데, 뒤에 나올 스스로 진화하는 빨간팀과 스스로를 가르치는 증류가 그 답이다. 데이터를 많이 모으는 일이 아니라, 개입의 자리가 드러나는 데이터를 모으는 일이다. 저는 이 대목을 읽으며 운영 장면이 떠올랐다. 금요일 오후에 누군가 고객 파일을 외부로 보내려 할 때, 가드레일이 전송 전에 수신자와 범위를 되묻는다면 사고는 줄고 일은 산다. 그 한마디가 가능하려면 무엇이 위험한지와 함께 언제 말해야 하는지를 알아야 한다. 다음 장면은 그 데이터를 만드는 쪽의 이야기다.

빨간팀도 에이전트여야 새로운 위험이 나옵니다

안전 데이터를 모으는 일은 흔히 사람이 나쁜 질문을 모아두는 모습으로 그려지곤 한다. 그런데 에이전트의 위험은 한 마디 질문에 담기지 않는 경우가 많다. 여러 단계에 걸쳐 권한을 넓히고, 도구 출력을 조금씩 비틀며, 다른 에이전트의 말을 빌려 문을 여는 식으로 진행되기 때문이다. 논문이 꺼내는 답은 스스로 진화하는 다중 에이전트 빨간팀이다. 공격하는 쪽도 에이전트로 두고, 서로 다른 역할을 맡겨가며 새로운 위험 경로를 찾아내게 한다는 것인데, 한 번 쓰고 버리는 문제집이 아니라 자라나는 상대와 겨루는 구조다.

운동으로 비유하면 혼자 벽을 보고 공을 차는 연습과 실제 상대와 붙는 연습의 차이와 같다. 벽은 내가 찬 공을 그대로 돌려주지만, 상대는 내가 싫어하는 쪽으로 공을 보낸다. 내가 한쪽을 막으면 다른 쪽을 찌르고, 내가 익숙한 패턴을 보이면 그 뒤를 노린다. 다중 에이전트 빨간팀도 비슷하게 움직이는데, 어떤 에이전트는 정보를 캐내고, 어떤 에이전트는 도구를 속이며, 어떤 에이전트는 대화를 몰고 간다. 그러다 보면 사람이 미리 적어둔 목록에는 없던 경로가 나온다. 이전에는 막혔던 공격이 가드레일의 빈틈을 돌아서 들어오기도 하고, 서로 무해해 보이던 행동들이 합쳐져 위험해지기도 한다.

(참고로 저는 이 대목에서 예전에 본 모의 해킹 장면이 떠올랐는데요. 공격팀이 한 번에 뚫지 못하면 다음에는 경비 순환 시간과 택배 반입 시간을 엮어서 들어오곤 했습니다. 각 절차는 따로 보면 정상이었는데 합쳐지면 구멍이 되었죠.)

그런데 여기서 조심할 점도 있다. 빨간팀이 세질수록 데이터는 험해지는데, 그 험한 데이터만 보고 배우면 가드레일이 세상을 너무 험하게 볼 수 있기 때문이다. 공격이 드문 현실에서도 매번 비상벨을 울리면 일을 할 수 없다. 그래서 빨간팀으로 넓힌 데이터는 뒤에 나올 균형 장치와 함께 읽어야 한다. 어디까지가 실제로 막아야 할 위험이고, 어디부터는 그냥 지나가도 되는 일인지를 가려내는 일이 남는다. 그렇다면 넓힌 위험을 다시 현실의 감각으로 다듬는 일은 누가 맡을까.

자기 자신을 선생님으로 쓰면 오경보가 줄어듭니다

논문이 이 자리에 놓는 장치가 적응형 피드백 자기 증류다. 말이 길지만 뜻은 단순하다. 모델을 자기 자신의 선생님으로 쓰되, 스텝 주석과 오경보에서 캐낸 규칙을 함께 먹인다는 것이다. 스스로 답을 만들고, 스스로 어디에서 성급했고 어디에서 둔했는지를 돌아보며, 그 돌아봄을 규칙으로 굳힌다는 것인데, 일종의 오답 노트처럼요. 틀린 문제를 모아두는 데서 그치지 않고, 왜 틀렸는지를 문장으로 적어 다음에는 같은 자리에서 같은 실수를 반복하지 않게 하는 것이다.

제가 이 대목에서 가장 눈여겨본 것은 오경보에서 캐낸 규칙이라는 표현이다. 보통 안전 연구는 놓친 위험, 그러니까 못 막은 사고에 눈이 간다. 그런데 현장에서 가드레일을 죽이는 것은 놓침만큼이나 울려서는 안 될 자리에서 운 벨이다. 전송해도 되는 파일을 두고 매번 경고를 띄우거나, 조회 단계에서 매번 멈춤을 걸면 사람은 가드레일을 우회하기 시작한다. 오경보는 그래서 단순한 귀찮음이 아니라 안전을 갉아먹는 구멍이다. 모델이 자신의 오경보를 모아 어떤 자리에서 성급했는지를 규칙으로 적어두면, 다음에는 같은 자리에서 한 박자 늦게, 혹은 한 단계 가볍게 끼어들 수 있다. 묻어도 될 자리에서는 묻고, 그냥 가도 될 자리에서는 그냥 가는 법을 익히는 것이다.

생각해보면 사람도 비슷하게 배웁니다. 신입 시절에는 모든 결재를 상사에게 물어보지만, 일을 익히면 어떤 결재는 스스로 처리하고 어떤 결재는 꼭 상사에게 올린다. 그 구분은 누가 가르쳐주기보다, 성급했던 날과 놓쳤던 날이 쌓이며 생긴다. 자기 증류도 같은 길을 가는데, 스텝 주석이 그날의 기록이 되고 오경보 규칙이 앞으로의 요령이 된다. 다만 여기에도 한계는 있어서, 스스로를 선생님으로 삼으면 스스로의 blind spot을 그대로 물려받을 수 있다. 그래서 외부의 빨간팀과 바깥 벤치마크가 함께 있어야 한다. 스스로의 돌아봄이 깊어질수록 바깥의 시험도 어려워져야 배움이 멈추지 않기 때문이다. 그렇다면 바깥의 시험에서는 어떤 성적이 나왔을까.

안전과 유용성을 같이 보면 순위가 달라집니다

논문이 내놓는 성적표는 열린 가드레일 가운데 가장 앞섰다는 것이다. 다섯 개 에이전트 안전 벤치마크에서 안전과 유용성의 파레토 곡선 위에서 비교했을 때 앞자리에 섰다고 정리하는데, 이 문장은 숫자 하나보다 관계로 읽어야 한다. 안전만 보면 무조건 막는 쪽이 이기고, 유용성만 보면 무조건 통과시키는 쪽이 이긴다. 둘을 함께 놓고 보면 그림이 달라지는데, 막아야 할 것은 막으면서도 막지 않아야 할 것은 통과시키는 자리가 진짜 좋은 자리다. 파레토 곡선이라는 말도 그 뜻인데, 한쪽을 올리려면 다른 쪽을 내려야 하는 경계선 위에서 누가 더 안쪽이 아니라 바깥쪽에 서 있는지를 보는 것이다.

숫자도 함께 적혀 있는데, 4B 규모에서 Youden의 J가 53.0으로 이전의 46.2를 앞섰다는 것이다. 숫자를 prose 속에 풀어보면 이렇다. 이전의 좋은 가드레일이 46.2에 머물렀을 때 StepSafe 4B는 53.0까지 올라갔다. 차이는 6.8인데, 안전과 유용성의 균형을 재는 잣대에서 이 정도 차이는 그냥 오차가 아니라 행동이 달라졌다는 신호로 읽힌다. Youden의 J는 참과 거짓을 함께 보는 잣대여서, 무조건 막는 쪽으로 기울어도 점수가 오르지 않고 무조건 통과시키는 쪽으로 기울어도 점수가 오르지 않는다. 그래서 이 점수가 올랐다는 것은 놓침과 오경보를 함께 줄였다는 뜻에 가깝다. 막을 자리에서 막고 물을 자리에서 물었기에, 전체 균형이 바깥쪽으로 밀려난 것이다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 점수 자체보다 점수가 어디에서 왔는지가 궁금하기 때문이다. 같은 53.0이라도 매번 멈춤으로 점수를 샀다면 현장에서는 쓰기 어렵다. 반면 물을 자리에서 물어서 점수를 샀다면 현장에서 쓸 수 있다. 논문의 정책이 계속과 묻기와 멈춤을 나누고, 학습이 같은 자리에서의 비교로 이루어지며, 데이터가 개입 창을 품고 있다는 점을 함께 놓고 보면 후자에 가깝다고 읽힌다. 물론 다섯 개 벤치마크라는 말이 모든 현장을 뜻하지는 않는다. 벤치마크는 시험이고 현장은 날씨다. 그래도 시험에서 균형이 바깥쪽으로 밀렸다는 것은, 적어도 시험이 묻는 범위 안에서는 타이밍이 맞아떨어졌다는 뜻이다. 그렇다면 이 성적을 어디까지 믿어야 할까.

숫자보다 개입 타이밍의 구조를 봐야 합니다

여기서는 조금 조심해서 읽을 필요가 있습니다. 좋은 점수가 나왔다고 해서 모든 문제가 풀렸다고 읽으면 논문이 하는 말을 놓치기 때문이다. 논문이 보여주는 것은 특정 규모와 특정 시험 묶음 안에서의 균형인데, 현장의 위험은 시험보다 넓고 지저분하다. 도구가 바뀌고, 권한이 바뀌며, 상대 에이전트가 바뀌면 같은 정책도 다른 얼굴을 보일 수 있다. 그래서 저는 점수보다 구조를 봤다. 점수는 바뀔 수 있지만 구조는 다음 연구로 이어지기 때문이다.

구조로 보면 눈에 들어오는 것은 세 가지다. 먼저 비교의 자리를 고정했다는 점이다. 같은 접두사에서 뽑은 답변끼리 견주니, 무엇이 좋은 선택인지를 상황이 가르쳐준다. 다음으로 행동을 셋으로 나눴다는 점이다. 계속과 묻기와 멈춤을 다른 자리에서 쓰니, 안전이 일을 멈추는 일이 아니라 일을 살리는 일이 된다. 끝으로 라벨을 둘로 나눴다는 점이다. 무엇이 잘못인지와 언제 말해야 하는지를 함께 붙이니, 가드레일이 문맥을 읽는다. 이 셋은 따로 놀지 않고 맞물리는데, 자리를 고정한 비교가 셋의 행동을 가르치고, 둘의 라벨이 그 배움을 데이터로 먹인다. 겉으로 보면 학습 기법과 데이터 이야기가 따로 있는 것 같지만, 실제로는 타이밍이라는 하나의 문제를 서로 다른 쪽에서 감싼 모양이다.

반대쪽 증거도 함께 적어둘 필요가 있다. 아무리 타이밍이 좋아도 시험 밖의 위험은 남는다. 빨간팀이 찾아낸 경로는 빨간팀이 생각할 수 있는 범위 안에 있고, 스텝 주석은 주석을 붙일 수 있는 위험에 한정된다. 처음 보는 도구와 처음 만나는 상대 앞에서는 정책이 머뭇거릴 수 있다. 또 4B라는 규모에서 나온 균형이 다른 규모에서도 같은 모양으로 이어질지는 따로 확인해야 한다. 작은 몸에서 타이밍이 맞았다고 해서 큰 몸에서도 같은 리듬이 나온다는 보장은 없기 때문이다. 저는 그래서 이 결과를 점수의 승리보다 설계의 단서로 읽었다. 타이밍을 가르칠 수 있다는 감각, 그리고 그 감각이 균형 점수로 확인됐다는 사실이 남는다. 그렇다면 다음 연구는 어디를 봐야 할까.

제가 다음에 보고 싶은 것은 운영 속의 개입입니다

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 시험에서 맞았던 타이밍이 운영에서도 맞을까. 운영에는 시험에 없는 것이 많다. 밤사이 늦게 도착한 공시처럼 도구가 늦게 답을 주고, 아침에 특정 종목이 거래 정지에 걸리듯 권한이 갑자기 바뀌며, 여러 에이전트가 같은 파일을 동시에 만지는 일이 생긴다. 이런 날에도 가드레일은 같은 리듬으로 말을 걸 수 있을까. 묻는 말이 너무 잦으면 사람은 경고를 끄고, 멈춤이 너무 늦으면 사고가 난다. 시험 점수와 운영 감각 사이의 간격을 메우는 일이 남는다.

제가 앞으로 보고 싶은 것은 세 가지다. 먼저 규모와 자리를 넓힌 시험이다. 4B에서 확인된 균형이 다른 크기에서도 같은 모양으로 이어지는지, 다섯 개 묶음 바깥의 도구와 권한에서도 같은 리듬이 나오는지를 보고 싶다. 다음으로 묻기의 품질이다. 묻는다는 것이 단순한 경고창이 아니라, 무엇을 확인하면 일이 진행되는지를 알려주는 것인지가 궁금하다. 수신자와 범위를 되묻는 한마디는 일을 살리지만, 위험합니다라는 한마디는 일을 멈춘다. 같은 묻기라도 내용에 따라 유용성이 달라지기 때문이다. 끝으로 멈춤 뒤의 일이다. 멈춘 뒤에 어떻게 복구하고 누구에게 넘기며 어떤 기록을 남기는지가 있어야 가드레일이 운영의 일부가 된다. 막는 일만큼이나 막은 뒤의 일이 중요하기 때문이다.

질문도 바뀌었습니다. 예전에는 좋은 가드레일이 무엇인가를 물었다면, 이제는 좋은 개입이 언제인가를 묻게 되었습니다. 무엇을 막을지에서 언제 말을 걸지로 관심이 옮겨간 셈인데, 이 이동은 에이전트가 도구를 잡은 뒤에야 생긴 것이다. 답만 내놓던 시절에는 문장이 문제였지만, 일을 끝내는 시절에는 순서가 문제가 되기 때문이다. 그렇다면 사람의 역할은 무엇일까요. 저는 이 물음을 열어둔 채 글을 맺고 싶다. 타이밍을 배우는 가드레일이 일을 살리는 쪽으로 쓰일지, 일을 멈추는 쪽으로 쓰일지는 결국 어떤 개입을 좋은 개입으로 부를지를 정하는 사람의 손에 달려 있기 때문이다.