턴 제한을 풀자 오픈 웨이트가 가장 비싼 모델과 어깨를 나란히 했다

이번 글에서 다루는 연구는 arXiv에 공개된 Unconstrained CTI-REALM with Open-Weights, 식별자 2610.14180입니다. 제목 아래에 걸린 원문 링크를 통해 전체 내용을 확인할 수 있습니다. 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 충분한 턴이 주어지면 오픈 웨이트 모델이 가장 강한 클로즈드 모델과 같은 수준의 보상을 10분의 1 이하의 비용으로 낼 수 있다는 것입니다. 이 글에서는 그 주장이 어떤 과제 위에서 나왔고, 어떤 측정 때문에 가능해졌으며, 현장에서는 어떻게 읽어야 하는지를 차례로 따라가겠습니다.

안녕하세요, 패트릭입니다. 보안 분야에서 일하는 분들과 이야기를 나누다 보면 같은 고민이 반복되는데, 유능한 에이전트를 쓰고는 싶은데 모델을 밖에 둘지 안에 둘지 정하기가 어렵다는 것입니다. 밖에 두면 편하고, 안에 두면 감사와 통제가 편하죠. 그런데 안에 둘 수 있는 모델이 정말로 앞선 공격 리포트를 실무에서 쓸 수 있는 탐지로 바꿔낼 수 있을까요. 저는 이 논문을 그런 질문에 대한 답을 구하듯 읽었습니다.

보고서 한 장이 탐지 룰이 되기까지

위협 인텔리전스 보고서는 원래 사람이 읽으라고 쓰는 글입니다. 공격자가 어떤 인프라를 썼고, 어떤 순서로 움직였으며, 어떤 흔적을 남겼는지가 문장으로 적혀 있죠. 그런데 보안팀이 진짜로 원하는 것은 문장 자체가 아니라 바로 돌릴 수 있는 탐지입니다. 이 간극이 생각보다 큽니다. 문장을 이해하는 것과, 실제 로그 더미에서 그 흔적을 찾아내는 쿼리를 짜는 일은 전혀 다른 근육을 쓰기 때문입니다.

CTI-REALM은 바로 그 간극을 겨냥합니다. 에이전트는 보고서 한 편을 받고, 살아 있는 텔레메트리 저장소에 쿼리를 날리면서 가설을 좁혀가야 합니다. 제가 이 설정을 마음에 들어 한 이유는, 객관식처럼 답을 고르는 시험이 아니라 일을 시키는 시험이기 때문입니다. 쿼리를 잘못 짜면 빈 결과가 돌아오고, 그러면 다시 조건을 고쳐야 하니까요. 이런 과정에서는 한 번의 영리함보다 끈질긴 수정이 결과를 좌우합니다.

그렇다면 여기서 잘한다는 것은 무엇을 뜻할까요. 단순히 보고서 내용을 요약하는 능력이 아니라, 저장소에 실제로 존재하는 필드와 시간 범위와 엔티티 관계를 알아내어 동작하는 탐지를 제출하는 능력입니다. 말하자면 리포트를 읽는 독해력에 탐사보도 같은 집요함이 더해진 셈인데요. 이 과제를 앞에 두면 모델 사이의 차이가 꽤 솔직하게 드러납니다.

스물여섯 개 모델을 같은 경기장에 세우면 생기는 일

이 연구는 26개 모델을 같은 하네스와 같은 스코어러, 같은 LLM 심사 패널 아래에 올렸습니다. 19개가 오픈 웨이트였고 7개가 클로즈드였는데요. 저는 이 숫자보다 그 뒤의 태도가 더 눈에 들어왔습니다. 모델마다 다른 도구를 주거나 다른 채점 잣대를 들이대면 비교 자체가 흐려지는데, 여기서는 그 여지를 먼저 줄였기 때문입니다.

같은 조건이라는 말은 쉽게 쓰이지만 실제로는 꽤 손이 많이 가는 약속입니다. 에이전트가 주고받는 메시지 형식도 맞춰야 하고, 제출물의 판정 기준도 하나로 고정해야 하며, 심사를 맡는 모델들의 편향도 의식해야 하니까요. 연구진은 이런 장치를 묶어서 공정하게 겨루는 판을 만들었고, 그 위에서 각 모델이 보고서를 탐지로 바꾸는 전 과정을 돌렸습니다. 그래서 뒤에 나오는 비용과 보상의 대비가 단순한 가격표 비교로 끝나지 않습니다.

여기서 잠깐 짚고 싶은 장면이 있습니다. 새벽에 인식할 수 없는 침해 지표가 하나 들어왔다고 해보죠. 담당자는 보고서 PDF를 에이전트에게 넘기고, 에이전트는 텔레메트리 저장소를 뒤지면서 아이피와 도메인과 프로세스 체인을 엮기 시작합니다. 이 연구가 재현한 것은 바로 그런 밤의 풍경인데요. 논문이 아니라 근무 일지처럼 읽히는 대목이 바로 여기입니다.

턴 제한이 점수를 삼키는 방식

이 논문에서 제가 가장 오래 머문 대목은 의외로 성능표가 아니라 제한에 대한 지적이었습니다. 기존 벤치마크가 정해둔 에이전트 메시지 수의 상한이 측정을 비틀었다기보다, 측정을 갉아먹는 변수였다는 것입니다. 상한에 걸려 과제가 중단되면 그 과제는 모든 체크포인트에서 0점을 받는데, 이미 통과했던 체크포인트까지 함께 0점이 되기 때문입니다.

이 차이는 생각보다 큽니다. 중간까지는 잘 찾아 놓고도 마지막 한 걸음에서 턴이 떨어지면 기록상으로는 아무것도 안 한 사람이 되죠. 마라톤에서 40km까지 선두로 달리고도 결승선 100m 앞에서 시간이 끊겼다고 해서 그때까지의 구간 기록까지 지워버리는 셈인데요. 저는 이 대목을 읽으면서 무릎을 쳤습니다. 우리가 모델을 평가한다고 믿었던 숫자가 사실은 지구력과 규칙의 합성물이었을 수 있기 때문입니다.

그렇다면 이 제한은 왜 문제가 될까요. 에이전트 일은 특성상 헤매는 구간을 포함하는데, 제한이 짧으면 헤매는 방식을 배우는 모델이 구조적으로 불리해지기 때문입니다. 빨리 답을 내는 모델이 유리해 보이는 것은 당연하지만, 그 빠름이 탐지의 정확성에서 온 것인지 아니면 일찍 포기하는 데서 온 것인지가 섞여 버립니다. 그래서 연구진은 이 상한을 그대로 두면 서열 자체가 기울 수 있다고 봅니다.

제한을 풀자 서열이 다시 짜였다

연구진이 이 상한을 완화하자 장면이 달라졌습니다. 공개된 제한 아래에서는 앞선 오픈 웨이트 모델과 클로즈드 모델을 서로 구분할 수 없었는데, 제한을 넉넉하게 풀자 가장 높은 보상은 오픈 웨이트 모델 쪽에 돌아갔기 때문입니다. 같은 선수들인데 경기 시간만 늘렸더니 결승선에 들어오는 순서가 바뀐 것입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 제한이 있을 때는 누가 더 빨리 푸는지가 승부를 갈랐지만, 제한이 풀리자 누가 더 끝까지 파고드는지가 승부를 갈랐습니다. 오픈 웨이트 가운데에는 천천히 가되 집요하게 쿼리를 고치는 유형이 있었고, 그 집요함이 시간을 얻자 보상으로 연결된 것입니다. 빨리 푸는 재주와 끝까지 푸는 재주는 서로 다른 재주인데, 기존 규칙은 그 둘을 한 줄로 세웠던 셈입니다.

여기서 재미있는 질문이 생깁니다. 우리가 평소에 모델을 고를 때 보는 리더보드 점수는 과연 어느 쪽 재주를 재고 있었을까요. 짧은 턴 안에 답을 내야 하는 설정이라면, 그 점수는 탐지 능력의 순수한 우열이라기보다 시간 안에 정리하는 능력의 우열에 가까울 수 있습니다. 이 논문은 그 질문을 숫자로 보여준 셈인데요. 제한을 변수로 다루자 순위가 움직였다는 사실 자체가 이미 많은 것을 말해줍니다.

돈을 많이 쓴다고 잘 막는 게 아니었다

앞선 모델들 사이에서는 가격이 능력을 잘 설명하지 못했습니다. 비슷한 보상을 받은 모델들 사이에도 비용 차이가 열 배를 훌쩍 넘었고, 어떤 오픈 웨이트 모델은 가장 강한 클로즈드 모델들과 같은 보상에 10분의 1 이하의 비용으로 도달했기 때문입니다. 청구서를 보면 등급이 달라 보이는데, 탐지 결과만 놓고 보면 같은 반에 앉아 있는 모양입니다.

저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문이 그런 습관과 잘 맞는 이유는, 보상을 비용과 함께 보여주기 때문입니다. 보안팀의 예산은 무한하지 않아서, 탐지 한 건당 얼마가 드는지는 정확도와 함께 중요한 스펙이 되니까요.

그렇다면 왜 이런 일이 생길까요. 이유는 여러 겹인데, 비싼 모델이 불필요하게 말을 많이 하거나, 싼 모델이 쿼리를 더 직접적으로 짜거나, 심사 기준이 특정 스타일에 덜 민감하거나 하는 것들이 얽혀 있습니다. 한 가지 분명한 것은, 가격표가 실력표가 아니라는 점인데요. 같은 보상을 내는 모델이 열 배 넘게 다르게 값을 매기고 있다면, 구매 결정은 모델 이름이 아니라 측정 조건을 보고 내려야 합니다.

단계별로 찢어보니 다른 얼굴이 나왔다

이 연구가 새로 들여온 단계별 지표도 눈여겨볼 대목입니다. 에이전트가 제출한 탐지 쿼리를 텔레메트리 저장소에서 실제로 돌려보고, 그 출력을 정답과 견주어 점수를 매기는 방식인데요. 최종 점수 하나로 뭉뚱그리지 않고, 탐지가 만들어지는 과정의 어느 구간에서 잘하고 못하는지를 가르마처럼 가른 것입니다.

이렇게 나누자 서로 다른 구간에서 서로 다른 모델이 앞서는 모습이 드러났습니다. 어떤 모델은 초반의 단서 찾기에서는 강했지만 마무리가 헐거웠고, 다른 모델은 초반에는 더뎠지만 마지막 탐지를 조립하는 데서는 단단했죠. 저는 여기서 조금 멈칫했습니다. 그동안 하나의 점수로만 모델을 줄 세웠는데, 그 점수가 사실은 서로 다른 장기를 가진 선수들의 평균이었을 수 있기 때문입니다.

생각해보면 사람도 비슷하게 일합니다. 위협 보고서를 처음 읽고 어디를 찔러볼지 감을 잡는 사람과, 그 감을 실제 쿼리로 옮겨 끝까지 검증하는 사람은 서로 다른 재능이거든요. 단계별 지표는 그 차이를 기계적으로 드러내 주는데, 팀을 꾸리는 입장에서는 꽤 쓸모가 있습니다. 한 모델의 약점을 다른 모델이나 사람의 검토로 메우는 설계가 가능해지기 때문입니다.

오래 생각한다고 잘 찾는 것도 아니었다

출력에서 생각에 쓴 토큰의 비중은 보상과 함께 움직이지 않았습니다. 길게 곱씹는다고 해서 탐지가 좋아지는 것은 아니었다는 것이죠. 이 대목은 읽으면서 고개를 끄덕이게 되는데, 보안 실무에서도 고민의 길이가 정답과 비례하지 않는 경우가 많기 때문입니다.

왜 그럴까요. 탐지 일에서는 머릿속으로 오래 궁리하는 것보다 저장소에 빨리 물어보고 답을 보는 것이 훨씬 값집니다. 필드 이름 하나만 틀려도 쿼리는 빈손으로 돌아오는데, 그 빈손을 빨리 확인하고 고치는 쪽이 결국 시간을 버는 구조니까요. 길게 생각하는 동안에는 쿼리가 나가지 않으니, 저장소라는 선생님에게 배울 기회도 함께 미뤄집니다. 그래서 생각의 양보다 질문의 방향과 수정 속도가 보상을 갈랐다고 봅니다.

물론 이 결과를 너무 넓게 읽으면 안 됩니다. 생각이 필요 없는 일이 되었다는 뜻이 아니라, 이 과제에서는 생각의 비중 자체가 성적을 가르는 잣대가 아니었다는 뜻이니까요. 어떤 과제에서는 깊은 추론이 결정적일 수 있지만, 적어도 보고서에서 탐지로 가는 이 길목에서는 발로 뛰는 탐색이 더 묵직했습니다. 저는 그래서 이 지표를 연구실 점수 이상으로 평가했습니다. 운영의 밤을 지켜주는 것은 사색이 아니라 수정이기 때문입니다.

오픈 웨이트가 현장에서 다르게 느껴지는 이유

이 논문의 문장 하나가 오래 남았는데, 직접 돌리고 감사할 수 있는 모델을 고르고 싶어 하는 조직이 있다는 대목입니다. 보안은 특성상 로그를 밖에 내놓기 어렵고, 탐지 로직이 어떻게 만들어졌는지를 설명해야 할 때가 많으니까요. 그래서 같은 성능이라면 안에서 돌릴 수 있다는 사실 자체가 값어치가 됩니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 10분의 1의 비용으로 같은 보상을 낸다면, 그 차이를 어디에 쓸 수 있을까요. 더 많은 보고서를 돌리거나, 같은 보고서를 더 자주 다시 돌리거나, 사람이 검토하는 시간을 사는 데 쓸 수 있죠. 탐지는 한 번 만들고 끝나는 물건이 아니라 로그가 바뀌고 공격이 바뀌면 함께 바꿔야 하는 생물 같은 것이라서, 자주 돌릴 수 있다는 것은 곧 신선도를 유지할 수 있다는 뜻입니다.

개인적으로 인상 깊었던 점은, 이 이점이 단순히 싸서가 아니라 길게 일할 수 있을 때 열린다는 것입니다. 턴을 넉넉히 주자 오픈 웨이트의 집요함이 비로소 보상으로 바뀌었는데, 현장에서는 그 넉넉함이 곧 컴퓨팅 예산과 직결되거든요. 단가가 낮으니 같은 예산으로 더 오래 시킬 수 있고, 더 오래 시키니 어려운 보고서도 끝까지 풀 수 있는 선순환이 생깁니다. 물론 모든 보고서가 그렇게 풀리는 것은 아니지만, 적어도 선택지의 폭은 넓어집니다.

이 결과를 읽을 때 조심해야 할 지점

여기서는 조금 조심해서 읽을 필요가 있습니다. 26개 모델을 같은 하네스에 올렸다는 것은 공정을 향한 큰 걸음이지만, 완전한 중립을 뜻하지는 않기 때문입니다. LLM 심사 패널을 쓴다는 것은 심사하는 모델들의 취향이 결과에 스며들 여지가 있다는 뜻이고, 단계별 지표 역시 정답과의 견주기를 어떻게 설계했느냐에 따라 얼굴이 달라질 수 있습니다.

또 하나 짚어야 할 것은 턴을 풀면 모두가 좋아진다는 식으로 읽으면 안 된다는 점입니다. 제한을 풀자 가장 높은 보상은 오픈 웨이트에 돌아갔지만, 그렇다고 해서 모든 오픈 웨이트가 좋아진 것은 아닙니다. 집요하게 파고드는 일부가 올라갔을 뿐, 헤매기만 하는 유형은 여전히 제자리였죠. 시간을 더 준다고 해서 방향 감각까지 덤으로 오는 것은 아니니까요.

그래서 저는 이 논문을 등급표가 아니라 조건표로 읽었습니다. 어떤 제한 아래에서는 누가 빠르고, 어떤 넉넉함 아래에서는 누가 끝까지 가며, 어떤 구간에서는 누가 강한지가 적힌 표 말이죠. 이렇게 읽으면 과장도 막을 수 있고, 현장에 바로 붙일 수 있는 교훈도 남습니다. 숫자는 그대로 두되, 그 숫자가 성립하는 조건까지 함께 기억하는 것이 이 논문을 대하는 예의라고 봅니다.

그래서 다음에 보고 싶은 장면은

그렇다면 다음 연구에서는 무엇을 보면 좋을까요. 제가 앞으로 보고 싶은 것은 턴과 비용과 단계별 성공을 한 장에 보여주는 그림입니다. 제한을 풀면 보상이 오르지만 비용도 함께 오르는데, 그 교환비가 모델마다 다를 것이기 때문입니다. 어디까지가 값싼 집요함이고, 어디부터가 비싼 헤맴인지를 가르는 선이 궁금합니다.

또 하나 보고 싶은 것은 실패의 모양입니다. 쿼리가 빈 결과를 내놓았을 때 어떤 모델은 조건을 넓히고, 어떤 모델은 기간을 늘리고, 어떤 모델은 엔티티를 바꾸는데, 그 선택의 차이가 보상을 가를 가능성이 큽니다. 단계별 지표가 이미 그 실마리를 보여줬으니, 다음에는 그 선택을 직접 기록하고 가르쳐주는 연구가 이어지면 좋겠습니다.

마지막으로 남는 질문은 사람의 자리입니다. 보고서에서 탐지로 가는 길을 에이전트가 끝까지 간다면, 사람은 어디에 서 있어야 할까요. 저는 답이 탐지의 승인권에 있다고 봅니다. 에이전트가 집요하게 후보를 가져오고, 사람이 마지막으로 도장을 찍는 구조 말이죠. 이 논문이 보여준 10분의 1이라는 숫자는 그 분업을 더 싸게 더 자주 돌릴 수 있다는 뜻인데요. 그렇다면 우리 팀의 다음 실험은 무엇을 에이전트에게 맡기고 무엇을 사람 손에 남길지를 정하는 일부터 시작해야 하지 않을까요.