바뀌는 것은 모델이 아니라 하네스여야 한다

arXiv에 2610.10629번으로 공개된 논문 The Harness as the Only Mutable Surface: Compliance-Bounded Self-Evolution of LLM Agents in Credit Pipelines, with a Measured Admission Gate는 스스로 바뀌는 신용 심사 에이전트를 어떻게 감독 가능한 상태로 둘 것인지를 다룹니다. 이 글에서 말하는 주장은 한 문장으로 정리됩니다. 모델 가중치는 고정해 두고, 바뀌어도 되는 표면은 지시문과 도구 호출 로직과 원시 연산 조합으로 이루어진 런타임 하네스로 한정해야 진화가 검토 가능해진다는 것입니다. 원문 논문으로 이어지는 링크는 제목 아래에 붙어 있습니다.

제가 이 논문을 집어 든 이유

안녕하세요, 패트릭입니다. 저는 대출 심사처럼 규제가 얽힌 파이프라인에 에이전트를 넣는 이야기를 들을 때마다 마음 한구석이 불편했습니다. 에이전트가 똑똑해졌다는 소식보다, 그 에이전트가 어제와 오늘이 다르다는 사실이 더 걱정스러웠기 때문입니다. 심사 기준이 바뀌면 모델이 적응해야 한다는 말은 맞습니다. 그런데 그 적응이 어디까지 갔는지 감독자가 다시 읽을 수 없다면, 그 시스템은 운영이 아니라 모험에 가깝지 않을까요.

제가 이 논문에서 가장 흥미롭게 본 부분은 바로 그 불편을 정면으로 다룬다는 점입니다. 스스로 개선되는 에이전트는 바뀐 규칙에 맞출 수 있지만, 자기를 마음대로 고치는 에이전트는 감독자가 검토해야 할 산출물 자체를 없애 버립니다. 이 긴장을 어떻게 풀 것인가가 논문의 출발점입니다. 답은 에이전트를 덜 똑똑하게 만드는 쪽이 아니라, 똑똑해지는 통로를 하나로 좁히는 쪽에 있습니다.

여기서 재미있는 질문이 생깁니다. 에이전트가 스스로 진화한다는 말을 들으면 우리는 흔히 모델이 공부해서 달라진다고 상상합니다. 그렇다면 가중치를 건드리지 않고도 진화라고 부를 만한 변화가 가능할까요. 논문은 가능하다고 말합니다. 다만 그 변화는 모델 안이 아니라 모델 주변에서 일어나야 한다는 조건이 붙습니다.

모델이 아니라 주변을 고친다는 발상

신용 심사 파이프라인을 떠올려 보겠습니다. 아침에 출근한 심사역이 어제까지 쓰던 가이드와 다른 해석 지침을 받는 장면입니다. 예를 들어 특정 연체 기록을 예전보다 넓게 보라는 식의 감독 해석이 내려왔다고 해 보죠. 에이전트는 이 바뀐 해석에 맞춰 움직여야 합니다. 문제는 그다음입니다. 에이전트가 자기 가중치를 직접 고쳐 버리면, 감독자는 무엇을 보고 승인해야 할까요. 가중치 속 수억 개 숫자를 읽을 수는 없으니까요.

논문이 제안하는 구분은 그래서 단순하면서도 단호합니다. 고정되는 것은 모델 가중치이고, 바뀌어도 되는 것은 런타임 하네스뿐입니다. 하네스라는 말은 여기에서 세 가지를 묶어 가리킵니다. 에이전트에게 주는 지시문 텍스트, 도구를 언제 어떤 순서로 호출할지를 정한 로직, 그리고 심사에 쓰는 원시 연산들을 어떻게 조합할지에 대한 구성입니다. 이 바깥은 손대지 못하게 막고, 이 안에서만 에이전트가 스스로를 고치도록 허용하자는 것이죠.

생각해보면 사람 조직도 비슷하게 움직입니다. 심사역 개인의 머릿속을 직접 고칠 수는 없지만, 업무 매뉴얼과 결재 절차와 체크리스트는 고칠 수 있습니다. 그리고 감사는 그 바뀐 문서들을 봅니다. 논문은 이 상식을 에이전트 시스템으로 옮겨 온 셈입니다. 저는 이 구분이 단순한 용어 정리가 아니라고 봅니다. 무엇을 리뷰할 것인가를 정하는 일이라서 그렇습니다. 리뷰할 수 없는 것을 바꾸게 두면, 나중에 숫자가 아무리 좋아도 감독 대화를 이어가기 어렵습니다.

두 개의 고리가 맞물리는 방식

그렇다면 하네스 안에서 일어나는 진화는 실제로 어떤 모양일까요. 논문은 이중 고리 엔진을 그립니다. 하나의 고리는 후보를 만들어내는 쪽이고, 다른 하나의 고리는 그 후보를 받아들일지 말지를 가리는 쪽입니다. 두 고리가 맞물려 돌아가되, 배포로 가는 문은 하나뿐입니다.

제안 고리에서는 바뀐 감독 해석에 맞는 하네스 변경 후보가 계속 만들어집니다. 지시문을 다르게 쓰고, 도구 호출 순서를 바꾸고, 원시 연산을 새로 엮는 식입니다. 이 과정은 활발할수록 좋습니다. 많은 시도를 해봐야 그중에 맞는 것이 나오니까요. 반면 승인 쪽은 정반대 기질을 가져야 합니다. 들어오는 후보를 의심하고, 들고 있는 기록과 비교하고, 기준을 통과한 것만 내보내는 역할입니다.

저는 이 구조를 보고 예전 배포 파이프라인이 떠올랐습니다. 개발자는 자유롭게 브랜치를 파고 실험하지만, 메인으로 합치는 문은 하나이고 그 문 앞에는 테스트와 리뷰가 서 있습니다. 논문의 이중 고리도 같은 감각입니다. 진화의 자유와 배포의 엄격함을 같은 방에 두지 않고 층을 나눈 것이죠. 이 분리가 있어서, 에이전트가 스스로 변해도 감독자는 문 앞에서 선별된 것만 보면 됩니다.

통과 의례를 통과해야 배포된다

문 앞에서 서 있는 심사관이 바로 승인 게이트입니다. 논문에서 이 게이트는 단순한 점수 비교가 아니라 배포 전에 해시 연결 기록을 남기는 장치와 한 몸으로 움직입니다. 후보가 게이트를 통과하면, 그 변경 내용이 해시 체인에 엮여 기록되고 나서야 배포됩니다. 이전 기록과 다음 기록이 서로 연결되기 때문에 나중에 누군가 몰래 고치면 티가 납니다.

이 기록 방식이 주는 감각은 생각보다 중요합니다. 금융 감독에서 남는 질문은 대개 이것입니다. 그때 그 결정이 어떤 규칙으로 내려졌는가, 그 규칙은 누구의 승인을 거쳤는가, 중간에 바뀐 흔적은 없는가. 해시로 엮인 기록은 이 질문들에 답하는 뼈대가 됩니다. 숫자가 아니라 절차를 남기는 것이죠. 저는 이 대목을 읽으면서, 논문이 정확도를 올리는 논문이 아니라 감사 가능성을 설계하는 논문이라는 느낌을 받았습니다.

여기서 한 가지 짚고 넘어갈 점이 있습니다. 게이트가 있다는 사실 자체보다, 게이트가 무엇을 재는지가 훨씬 중요합니다. 뒤에서 보겠지만, 같은 후보를 두고도 무엇을 기준으로 삼느냐에 따라 해로운 변경이 그대로 통과하기도 합니다. 그래서 게이트의 설계는 장식이 아니라 논문 전체의 무게중심입니다. 문이 있다는 말이 아니라, 그 문이 어떤 시험을 치르는지가 관건이라는 것이죠.

시뮬레이션으로 검증했다는 말의 뜻

이제 실험 이야기로 넘어가 보겠습니다. 논문의 평가는 실제 대형 언어 모델을 돌린 것이 아니라 시뮬레이션으로 이루어졌습니다. 시뮬레이션된 에이전트와, 정해진 탐색 방식을 쓰는 제안자가 등장합니다. 이 말을 들으면 실망하는 분도 있을 것 같습니다. 실제 모델도 아닌데 무슨 의미가 있느냐는 반응이죠. 저는 여기서 조금 멈칫했습니다. 그런데 곰곰이 생각하면 이 선택에는 이유가 있습니다.

감독 해석이 바뀌는 상황을 실험하려면, 무엇이 정답인지를 아는 상태가 필요합니다. 실제 언어 모델을 쓰면 그 정답 자체가 흔들립니다. 모델이 말을 그럴듯하게 만들어서, 바뀐 규칙에 맞춘 것인지 원래 실력인지 구분하기 어려워지기 때문입니다. 반면 시뮬레이션에서는 바뀐 규칙의 정답, 즉 오라클을 미리 정해 둘 수 있습니다. 그래서 후보 변경이 정답 쪽으로 갔는지, 아니면 엉뚱한 방향으로 갔는지를 잴 수 있습니다.

실험의 짜임은 이렇습니다. 감독 해석의 재해석을 세 갈래로 나누고, 각 갈래마다 낮은 수준과 중간 수준과 높은 수준의 강도를 둡니다. 여기에 무작위 시작점 10개를 곱합니다. 모두 합치면 90개의 실험 칸이 생깁니다. 각 칸에서 제안자가 수많은 후보를 만들어내고, 게이트가 그중 일부를 받아들입니다. 전체 후보 수는 7,449개에 이릅니다. 이 규모는 게이트가 관대한지 엄격한지를 보기에 충분합니다. 많이 받아들이면서도 나쁜 것을 걸러내는지가 드러나니까요.

7,449개 중 144개만 살아남았다

결과부터 말하면 게이트는 꽤 까다로웠습니다. 7,449개 후보 중에서 배포까지 간 것은 144개뿐입니다. 2%도 안 되는 비율입니다. 그런데 이 엄격함이 위축만은 아니었습니다. 받아들여진 144개 중에는 보유했던 과거 기록에서 오류를 키운 사례가 하나도 없었기 때문입니다. 모험을 걸러내고, 안전한 개선만 남긴 셈입니다.

더 구체적으로 보면 낮은 수준과 중간 수준의 변화에서는 오탐률이 정답 수준으로 돌아왔습니다. 여기서 오탐이란, 사실은 괜찮은 신청을 위험하다고 찍는 경우를 말합니다. 감독 해석이 바뀌어 심사망이 헐거워진 뒤에는 이런 오탐이 줄었다고 논문은 설명합니다. 망을 느슨하게 풀었으니 당연한 방향입니다. 그런데 보통 망을 풀면 놓치는 사례가 늘어납니다. 정말 위험한 신청을 그냥 통과시키는 경우가 생기는 것이죠. 논문의 게이트는 그 놓침을 올리지 않은 채 오탐만 되돌렸습니다. 낮은 수준과 중간 수준의 모든 칸에서 그렇게 됐다는 점이 눈에 띕니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 많이 시도하고 적게 받아들이는 모양이, 감독 환경에서 원하는 진화의 모양과 같기 때문입니다. 에이전트가 스스로 수천 번 시도하는 것은 괜찮습니다. 그 시도가 모두 배포로 이어지지 않으면 되니까요. 144라는 숫자는 게이트가 일을 했다는 증거이고, 그 144개가 과거 기록을 해치지 않았다는 점은 게이트가 일을 제대로 했다는 증거입니다. 시도와 배포를 가른 층이 실제로 작동한 것이죠.

게이트를 헐겁게 바꾸면 무슨 일이 생길까

그렇다면 게이트를 좀 더 편하게 만들면 어떻게 될까요. 논문은 이 비교를 빼놓지 않았습니다. 원래 게이트 대신에 최근 흔적에서 오류가 줄었는지만 보는 검사를 썼을 때를 재현한 것입니다. 말하자면 요즘 성적이 좋아졌으면 통과시키는 방식입니다. 현장에서는 이런 유혹이 늘 있습니다. 복잡한 절차보다 최근 숫자가 설득력 있어 보이니까요.

결과는 꽤 차갑습니다. 이 헐거운 검사는 해로운 변경 309개를 그대로 받아들였습니다. 원래 게이트가 144개를 받아들이면서도 해로운 것을 하나도 들이지 않은 것과 정반대입니다. 놓치는 비율도 문제였습니다. 90개 실험 중 49개에서 놓침 비율이 10%를 넘긴 채로 남았습니다. 절반이 넘는 칸에서 위험한 신청을 놓치는 상태로 배포가 된 셈입니다.

왜 이런 차이가 생길까요. 최근 흔적만 보면 눈앞의 개선에 속기 쉽습니다. 심사망을 느슨하게 풀면 당장 오탐은 줄어드니까 성적이 좋아 보입니다. 하지만 그 이면에 놓침이 늘고 있다는 사실은 최근 숫자 몇 개만으로는 잘 안 보입니다. 원래 게이트는 보유한 과거 기록 전체를 들고 이 부분을 본다는 점에서 다릅니다. 저는 이 대목을 읽으면서 저희가 새로운 AI 구조를 볼 때의 태도를 떠올렸습니다. 저희가 새로운 AI 아키텍처를 볼 때도 수치 하나만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 게이트 논쟁도 같은 결입니다. 무엇을 재는지가 무엇을 허용할지를 정합니다.

과거 라벨 앞에서는 왜 매번 막힐까

여기까지 보면 게이트가 꽤 든든해 보입니다. 그런데 논문은 게이트가 무력해지는 장면도 숨기지 않습니다. 바뀐 해석을 과거 라벨에 그대로 적용해 보면, 게이트는 후보를 하나도 받아들이지 않았습니다. 감독 해석이 바뀌기 전의 라벨을 정답처럼 들고 있으면, 새로운 해석에 맞는 후보가 전부 오답처럼 보이는 것입니다.

이 상황은 실제 현장에서 자주 만나는 장면과 닮았습니다. 규칙이 바뀌었는데 평가는 옛날 답안지로 하는 경우입니다. 예를 들어 특정 연체 기록을 이제는 더 넓게 보라는 해석이 내려왔는데, 과거 데이터의 라벨은 좁게 볼 때의 기준으로 붙어 있다면 어떻게 될까요. 새 규칙에 맞는 변경은 과거 답안지 앞에서는 틀린 것처럼 보입니다. 게이트가 후보를 전부 막은 것은 게이트가 고장 나서가 아니라, 들고 있는 잣대가 옛날 것이기 때문입니다.

논문이 제시하는 처방은 그래서 명확합니다. 재해석은 규칙으로 적어서 과거 기록을 다시 라벨링하는 형태로 들어가야 합니다. 말로만 새 해석을 외치고 평가는 옛날 라벨로 하면 진화는 한 걸음도 못 나갑니다. 저는 이 지적이 실무적으로 가장 아픈 대목이라고 봅니다. 데이터는 과거의 규칙으로 잠겨 있고, 해석은 현재의 언어로 바뀌는 일이 반복되기 때문입니다. 그 간극을 규칙 코드로 메우지 않으면, 에이전트의 적응은 시작부터 막힙니다. 게이트가 엄격해서가 아니라, 게이트에게 쥐여 준 문제지가 오래돼서 그렇습니다.

가장 어려운 구조 변화에서 절반이 막힌 이유

비슷한 막힘이 가장 어려운 구조 변화에서도 나타납니다. 세 갈래 재해석 중에서 구조적인 갈래의 가장 높은 강도에서는, 게이트의 고정된 허용치가 올바른 원시 연산 교체를 절반의 시작점에서 막았습니다. 맞는 답을 들고 왔는데 문이 열리지 않은 셈입니다. 앞에서는 나쁜 것을 잘 막아서 좋았는데, 여기서는 좋은 것까지 막아서 아쉽습니다.

이유는 허용치가 고정돼 있기 때문입니다. 큰 구조 변화는 과거 기록과 견주면 일시적으로 어긋나 보일 수 있습니다. 원시 연산을 통째로 갈아끼우는 일은 작은 손질과 달리 과거 숫자들을 흔듭니다. 고정된 허용치는 그 흔들림을 위험으로 읽습니다. 절반의 시작점에서 올바른 교체가 막혔다는 말은, 게이트가 절반은 맞고 절반은 틀렸다는 뜻이기도 합니다. 안전을 샀지만 적응의 일부를 포기한 것이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이 실패를 두고 게이트가 쓸모없다고 말하면 성급합니다. 낮은 수준과 중간 수준에서는 게이트가 해로운 변경 없이 오탐을 되돌렸기 때문입니다. 반대로 이 성공만 보고 게이트가 완성됐다고 말하는 것도 성급합니다. 가장 어려운 구조 변화에서는 맞는 답까지 막았기 때문입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 허용치를 변화의 종류에 따라 다르게 둘 수는 없을까. 구조 교체처럼 크게 바뀌는 후보에는 다른 잣대를 쓰는 방식 말입니다. 논문은 이 숙제를 남겨 둡니다. 고정된 문턱이 안전을 지키는 동시에 발목을 잡는다는 사실을 숫자로 보여준 것만으로도 다음 설계의 출발점은 분명해졌습니다.

그래서 운영팀은 무엇을 들고 가야 할까

마지막으로 시야를 넓혀 보겠습니다. 논문의 바깥에는 2026년 4월 미국 모델 위험 관리 지침이 있습니다. 이 지침은 적용 범위에서 에이전트형 AI를 빼고 있다고 논문은 전합니다. 규제가 에이전트를 아직 품지 못한 사이에, 현장에서는 에이전트가 신용 파이프라인에 들어오고 있습니다. 공백이 있는 곳에서는 각 조직이 스스로 기준을 세울 수밖에 없습니다. 이 논문은 그 기준의 한 본보기가 됩니다. 가중치는 고정하고, 하네스만 바꾸고, 하나의 문으로만 내보내고, 그 문턱에서 해시로 엮인 기록을 남기라는 식입니다.

제가 앞으로 보고 싶은 것은 이 설계가 실제 언어 모델과 만났을 때의 모습입니다. 지금 평가는 시뮬레이션 위에 서 있습니다. 정답을 아는 세계에서는 게이트가 잘 작동했습니다. 그런데 실제 모델은 말을 지어내고, 지시문의 작은 차이에 크게 흔들리고, 도구 호출에서 예상 못한 경로를 탑니다. 그때도 하네스라는 경계가 같은 힘을 가질까요. 허용치를 고정에서 적응형으로 바꾸면 어려운 구조 변화에서 막힌 절반을 살릴 수 있을까요. 과거 라벨을 다시 쓰는 규칙을 누가 쓰고 누가 승인할까요. 이런 질문들이 다음 실험의 목록이 됩니다.

돌아보면 이 논문은 정확도를 자랑하지 않습니다. 144개의 안전한 변경과 309개의 해로운 통과라는 대비, 그리고 절반이 막힌 장면을 나란히 둡니다. 그래서 더 신뢰가 갑니다. 스스로 바뀌는 에이전트를 허락하되, 바뀌는 자리를 하네스로 묶고, 배포의 문을 하나로 두겠다는 제안은 운영의 언어로 읽힙니다. 밤사이 감독 해석이 바뀌어도 아침 심사는 멈추면 안 되기 때문입니다. 저는 그래서 이 하네스라는 경계를 점수 이상으로 평가했습니다. 감독과 대화할 수 있는 자리를 남겨주는 장치이기 때문입니다. 그렇다면 남는 질문은 하나입니다. 여러분의 파이프라인에서 지금 바뀌어도 되는 표면은 어디까지인가요.