맞히는 모델이 아니라 보태는 모델을 고르는 법

Competence-Gated Pooling of Language Models and Priors for Event Forecasting는 arXiv에 번호 2609.12101로 공개된 사건 예측 연구입니다. 제목 아래에 걸린 링크에서 원문을 볼 수 있습니다. 이 연구는 언어 모델을 혼자 얼마나 맞히는지로 보지 않고 외부 예측에 얼마나 보태는지로 판단하면서, 분야마다 문을 여닫는 가중치로 섞는 방식을 제안합니다.

안녕하세요, 패트릭입니다.

여러 사람이 모여서 다음 달 환율을 맞혀보자고 하면, 대화는 금방 두 갈래로 갈립니다. 누군가는 자기 예측 숫자를 내놓고, 다른 누군가는 그 숫자를 어떻게 섞을지를 고민하죠. 저는 두 번째 고민이 더 오래 남습니다. 숫자를 하나 더 모으는 일보다, 누구 말을 얼마나 믿을지 정하는 일이 결과를 바꾸는 경우가 많기 때문입니다. 그렇다면 모델 여러 개와 바깥 예측이 함께 있을 때, 우리는 매번 같은 비율로 섞어야 할까요.

제가 이 논문을 붙잡고 있었던 이유는 그 질문과 닿아 있습니다. 사건 예측에서는 언어 모델 혼자만의 점수가 아니라, 이미 있는 예측 바깥에서 모델이 덧붙이는 몫이 궁금해지거든요. 이 글에서는 그 몫을 가리키는 상대적 적격성이라는 생각을 따라가면서, 분야별 가중치와 수축, 재보정, 그리고 시장 앞에서의 정직한 실패까지 함께 살펴보겠습니다.

혼자 맞히는 점수로는 답이 안 나올 때

예측을 실제로 돌려보신 분들은 바로 감이 오실 겁니다. 현장에는 이미 돌아가는 예측이 있습니다. 과거 데이터로 만든 시계열 모형이 있을 수도 있고, 여러 사람이 돈을 걸어 만든 시장 가격이 있을 수도 있죠. 언어 모델은 그 옆에 새로 들어온 보조자입니다. 그런데 보조자를 평가할 때 혼자 몇 점을 맞혔는지만 보면, 정작 알고 싶은 것을 놓칩니다. 이미 있는 답과 얼마나 겹치는지, 겹치지 않는 부분에서 얼마나 보태는지가 빠지기 때문입니다.

이 논문은 그 지점을 정면으로 붙잡습니다. 모델이 단독으로 정확한지가 아니라, 외부 예측이 주어진 상태에서 모델이 한계적으로 덧붙이는 가치가 얼마인지를 묻습니다. 생각해보면 사람 조직도 비슷하게 돌아갑니다. 신입 애널리스트가 혼자 보고서를 잘 쓰는지와, 팀에 들어와서 기존 전망과 다른 시각을 보태는지는 다른 질문이니까요. 후자가 진짜 쓰임새를 가릅니다.

여기서 재미있는 질문이 생깁니다. 모델과 바깥 예측이 서로 다를 때, 그 다름은 언제 이득이 될까요. 다르면 무조건 좋은 것도, 무조건 나쁜 것도 아닙니다. 엇갈리는 방향이 실제 결과를 향해 열려 있을 때만 섞을 이유가 생깁니다. 저는 이 대목을 읽으면서 고개를 끄덕였습니다. 다름을 무조건 다양성이라고 부르지 않고, Brier loss 아래에서 다름이 언제 바깥 예측을 고치는지를 따지는 태도가 마음에 들었거든요.

그래서 물어야 할 것은 보태는 몫입니다

연구가 쓰는 상대적 적격성이라는 말은 거창하게 들리지만, 뜻은 담백합니다. 이미 있는 외부 예측이 있고, 그 위에 언어 모델 예측을 얹는다고 해보죠. 이때 섞은 뒤의 오차가 바깥 예측만 썼을 때보다 얼마나 줄어드는지가 적격성입니다. 모델이 혼자 70점을 맞혀도, 바깥 예측이 이미 72점짜리 답을 들고 있으면 모델 몫은 마이너스가 될 수 있습니다. 반대로 모델이 혼자 60점짜리여도, 바깥 예측이 놓친 틈을 찌르면 몫은 플러스가 됩니다.

왜 이런 정의를 써야 할까요. 사건 예측에서는 빈손에서 시작하는 경우가 드물기 때문입니다. 기준선이 있습니다. 그 기준선을 못 이기면, 아무리 그럴듯한 문장을 뽑아내도 현장에서는 짐이 됩니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 예측도 마찬가지입니다. 모델 하나를 더 돌리는 비용과 복잡성을 감당하려면, 기준선을 넘는 몫이 있어야 하죠.

이 정의가 좋은 또 다른 이유는 질문의 방향을 바꾸기 때문입니다. 흔한 질문은 "어떤 모델이 제일 똑똑한가"입니다. 그런데 현장의 질문은 "지금 있는 예측 옆에 누구를 얼마나 세울까"입니다. 전자는 시험 점수 고르기이고, 후자는 팀 짜기입니다. 논문은 후자를 택합니다. 그리고 팀 짜기 문제로 바꾸는 순간, 가중치를 분야마다 다르게 줄 수 있다는 생각이 자연스럽게 따라옵니다.

이건 모델 줄 세우기 이야기가 아닙니다

오해하기 쉬운 대목을 먼저 짚고 넘어가겠습니다. 이 연구는 다섯 모델 가운데 우등생을 뽑는 상에 관한 글이 아닙니다. 2,357개의 해소된 이진 질문과 다섯 개의 언어 모델이 등장하지만, 숫자의 주인공은 모델 순위가 아니라 섞는 규칙입니다. 어떤 모델이 평균적으로 낫다가 아니라, 어떤 분야에서 누구 말을 얼마나 들을지가 중심에 있습니다.

또 하나 바로잡을 점은, 이 게이트가 모델의 말투나 자신감을 믿는 장치가 아니라는 것입니다. 뒤에서 다시 다루겠지만, 네 종류의 Qwen 모델에서 말로 표현된 자신감은 모델이 바깥 예측을 앞서는 순간을 가려내지 못했습니다. "자신 있습니다"라는 말이 실제로 보태는 몫과 따로 논다는 뜻이죠. 그래서 연구는 말의 온도가 아니라 해소된 결과로 잰 이력으로 문을 여닫습니다. 말보다 기록을 믿는 셈입니다.

저는 여기서 조금 멈칫했습니다. 평소에 모델의 verbal confidence를 실무에서 참고 신호로 쓰는 경우가 적지 않기 때문입니다. 그런데 이 결과는 그 신호가 선택의 근거로는 약하다고 말합니다. 그렇다면 무엇을 근거로 써야 할까요. 논문의 답은 분명합니다. 말은 듣되, 배치는 기록으로 정하라는 것이죠.

분야마다 문을 다르게 여는 이유

이제 섞는 장치로 들어가 보겠습니다. 제안된 competence gate는 분야 수준에서 가중치를 잽니다. 모든 질문에 같은 비율을 쓰는 전역 가중치와 달리, 분야별로 모델과 바깥 예측의 몫을 따로 봅니다. 어떤 분야에서는 모델이 바깥 예측을 자주 고치고, 다른 분야에서는 거의 못 고친다면, 두 분야에 같은 문을 줄 이유가 없으니까요.

이 차이는 생각보다 큽니다. 전역 가중치는 평균의 함정에 빠지기 쉽습니다. 잘하는 분야와 못하는 분야를 한데 묶으면, 잘하는 쪽에서는 문을 너무 좁히고 못하는 쪽에서는 문을 너무 넓힙니다. 분야별 가중치는 그 묶음을 풉니다. 대신 새로운 걱정이 생깁니다. 분야를 잘게 나누면 각 칸에 들어가는 해소된 질문이 적어져서, 잰 가중치가 덜컹거리지 않을까요.

연구의 답은 수축에 있습니다. 분야별 추정치가 흔들릴 때는 전역 가중치 쪽으로 당겨둡니다. 데이터가 쌓여서 확신이 생긴 분야는 자기 목소리를 내고, 아직 표본이 적어 덜컹거리는 분야는 전체 평균 근처에 머무는 것이죠. 이어서 섞은 예측을 다시 보정합니다. 섞었다고 끝이 아니라, 섞은 숫자가 실제 빈도와 어긋나지 않게 다듬는 단계까지 둡니다.

흔들리는 추정치는 평균으로 당겨둡니다

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 수축을 얼마나 세게 걸어야 할까요. 너무 세게 당기면 분야별 문을 둔 보람이 없고, 너무 약하게 당기면 표본이 적은 분야에서 소음까지 문을 열어버립니다. 논문은 해소된 결과에서 잰 가중치를 쓰되, 불확실한 추정치는 전역 가중치 쪽으로 눕힌다고 설명합니다. 말하자면 잘 모를 때는 욕심내지 않는 규칙이죠.

저는 이 대목이 운영의 문법과 닮았다고 봅니다. 밤사이 공시가 늦게 도착하거나 아침에 특정 종목이 거래 정지에 걸려도 예측 라인은 멈추면 안 됩니다. 그런 날일수록 근거가 얇은 칸에서는 문을 좁히고, 근거가 두꺼운 칸에서만 문을 여는 편이 속이 편하죠. 수축은 그 직관을 숫자로 옮긴 장치입니다. 모르면 평균으로 돌아가고, 알면 그만큼만 나아가는 것이죠.

재보정도 같은 맥락에서 읽힙니다. 섞은 예측은 종종 한쪽으로 치우칩니다. 모델이 반복해서 높게 부르거나 바깥 예측이 낮게 깔리면, 섞은 숫자도 덩달아 기울죠. 그래서 마지막에 실제 해소 빈도에 맞게 눈금을 다시 맞춥니다. 읽을 것은 읽고, 모르는 것은 모른다고 말하는 과정이라고 할 수 있습니다. 확률 숫자에서 이 정직함은 생각보다 큰 차이를 만듭니다. 0.7이라고 말했으면 일곱 번 중 일곱 번이 아니라 열 번 중 일곱 번에 가깝게 맞아야 하니까요.

0.0771에서 0.0732까지, 숫자를 어떻게 읽을까요

숫자를 볼 차례입니다. 주요 바깥 기준선에서 시작해 게이트를 얹으면 Brier 점수가 0.0771에서 0.0732로 내려갑니다. Brier 점수는 낮을수록 좋은 오차 점수라서, 내려갔다는 말은 섞은 뒤가 더 정직해졌다는 뜻입니다. 표면적으로 보면 소수점 셋째 자리 싸움 같지만, 실제로는 그렇지 않습니다. 사건 예측에서 기준선이 이미 단단할 때, 그 위를 더 파고드는 일은 체감보다 어렵기 때문입니다.

이 차이는 전역으로 섞는 방식과 견주어도 남습니다. 전역 결합보다 게이트가 유의하게 낫다는 보고가 따라붙습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 분야별로 문을 다르게 열고, 흔들리는 칸은 평균으로 당기고, 마지막에 다시 보정하는 흐름이 숫자를 만든 순서이기 때문입니다. 숫자만 떼어 들고 "0.0039 좋아졌다"고 외우면 남는 게 없습니다. 어떤 문이 그 차이를 만들었는지가 남아야 다음 현장에서 써먹을 수 있죠.

물론 여기서는 조금 조심해서 읽을 필요가 있습니다. 2,357개라는 표본과 다섯 모델이라는 조건 위에서 잰 차이입니다. 조건이 바뀌면 문 여는 위치도 바뀌어야 합니다. 그럼에도 이 구간에서 게이트가 기준선을 밀어내렸다는 사실은 가볍지 않습니다. 이미 있는 예측을 깎아내리지 않고, 덧붙여서 이득을 봤다는 뜻이니까요.

누설을 의심하고 다시 세어봤습니다

예측 연구에서 늘 따라다니는 의심이 있습니다. 모델이 미래를 맞힌 게 아니라, 어딘가에서 답을 슬쩍 본 게 아니냐는 것이죠. 학습 데이터에 해소된 사건의 흔적이 섞여 있으면, 점수는 좋아 보여도 현장에서는 재현되지 않습니다. 그래서 누설 통제는 장식이 아니라 본론입니다.

이 논문은 누설 통제 아래에서도 게이트의 이득이 남는다고 보고합니다. 누설이 섞였을 수 있는 구간을 따로 떼어내거나, 시간 흐름을 거스르지 않는 시계열 prior와 견줘도 유의한 차이가 유지된다는 것이죠. 시간 순서를 지키는 prior와 견준 대목은 특히 눈에 밟힙니다. 과거만으로 만든 기준선 앞에서도 게이트가 자기 몫을 지켰다는 뜻이기 때문입니다.

저는 이런 확인을 볼 때마다 안심이 됩니다. 예측 이야기는 숫자가 좋을수록 오히려 출처를 묻게 되는데, 흔들릴 수 있는 부분을 미리 흔들어보고도 남는다고 말해주니 믿음이 갑니다. 다만 질문은 남습니다. 누설을 완전히 지웠다고 말하기는 어렵고, 통제 방식에 따라 문 크기가 달라질 수 있으니까요. 그럼에도 방향은 분명합니다. 게이트의 이득이 누설 한 방에 기대선 요행이 아니라는 점은 확인된 셈입니다.

시장 앞에서는 한발 물러섭니다

앞에서 미뤄둔 정직한 실패로 돌아올 차례입니다. 공식 ForecastBench 시장 하위집합에서는 게이트가 유의한 이득을 내지 못했고, 대체로 시장을 따랐다고 합니다. 겉으로 보면 아쉬운 대목이지만, 저는 오히려 이 대목에서 글이 신뢰를 얻는다고 봅니다. 잘되는 표만 골라 보여주지 않고, 안 되는 판에서는 문을 닫았다고 말하기 때문입니다.

왜 시장 앞에서는 문이 닫힐까요. 시장은 이미 많은 눈과 돈이 모인 예측이라서, 빈틈이 좁기 때문입니다. 모델이 덧붙일 여분이 적으면, 게이트는 모델 쪽 문을 좁히고 시장 쪽으로 기대는 선택을 합니다. 크게 틀리지 않으려는 몸사림이죠. 생각해보면 사람도 비슷하게 행동합니다. 전문가 여러 명이 돈을 걸고 모인 자리에서는, 혼자 목소리를 높이기보다 고개를 끄덕이는 쪽을 택할 때가 많으니까요.

그렇다면 이 흐름은 어디에서 다시 열릴 수 있을까요. 시장이 얇거나 늦게 반응하는 구석, 혹은 모델이 바깥 예측과 다르게 읽는 재료가 있는 분야에서는 문이 다시 열릴 여지가 있습니다. 논문이 모든 판에서 이긴다고 말하지 않은 덕분에, 다음 질문이 또렷해집니다. 시장이 센 판과 약한 판을 미리 가르는 눈을 어떻게 만들 것인가. 그 이야기는 마지막에 다시 다루겠습니다.

말의 자신감과 잰 이력은 다른 신호입니다

이제 자신감 이야기로 넘어가겠습니다. 네 종류의 Qwen 모델에서 말로 표현된 자신감은 모델이 바깥 예측을 앞서는 순간을 가려내지 못했다고 합니다. "확실합니다"라는 말이 실제로 앞서는 경우와 겹치지 않았다는 뜻이죠. 일상에서도 낯익은 장면입니다. 목소리가 큰 사람이 꼭 맞는 말을 하는 건 아니니까요.

반면 해소된 결과에서 잰 적격성은 기권을 가르는 데 더 쓸모가 있었습니다. 쓸지 말지를 정하는 선택적 사용에서, 말의 온도보다 기록의 이력이 더 나은 기준이 됐다는 것이죠. 저는 이 대비가 실무자에게 직접 와닿는다고 봅니다. 모델을 쓸까 말까를 매번 말투로 정하면, 잘될 때는 기분 좋고 안 될 때는 이유를 모릅니다. 기록으로 정하면, 틀려도 복기가 됩니다. 어디서 문을 잘못 열었는지가 남으니까요.

여기서 한 가지 오해를 풀어두겠습니다. 자신감이 쓸모없다는 말이 아닙니다. 대화의 흐름을 다듬거나, 사람에게 설명의 결을 전달하는 데는 말의 온도가 필요합니다. 다만 배치의 근거로는 약하다는 것이죠. 스위치를 올릴지 말지는 온도가 아니라 이력으로 정하라는 구분이 이 대목의 요지입니다. (참고로 저는 평소에 모델의 자신감 숫자를 로깅해두는 편인데요. 이번 결과를 보고 그 숫자의 쓰임새를 설명용과 결정용으로 나눠 적어두었습니다.)

쓸지 말지를 정하는 용기가 남습니다

기권은 소극적인 선택처럼 보이지만, 예측에서는 적극적인 기술입니다. 모르는 판에서 손을 들지 않는 일이 전체 오차를 끌어내리기 때문입니다. 논문은 결과에서 잰 적격성이 말의 자신감보다 더 나은 기권 기준이 된다고 말합니다. 언제 모델을 쓰고 언제 바깥 예측에 맡길지를, 느낌이 아니라 기록으로 고를 수 있다는 뜻이죠.

운영 측면에서 보면 이 차이는 체감됩니다. 아침마다 모든 분야에 모델을 일괄 투입하면, 잘하는 분야의 이득이 못하는 분야의 손실에 갉아먹힙니다. 분야별로 문을 따로 두고, 이력이 얇은 칸에서는 바깥 예측에 맡기면, 전체 라인이 덜 흔들립니다. 전처리의 변덕에 덜 흔들리는 모형이 아침을 지켜주듯, 기권을 아는 게이트가 라인을 지켜주는 셈입니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 돌릴까요. 해소된 질문이 쌓이는 속도와 분야를 나누는 기준이 관건이 됩니다. 너무 잘게 나누면 각 칸의 기록이 얇아져서 문을 자주 여닫아야 하고, 너무 크게 묶으면 엇갈리는 몫이 묻힙니다. 수축이 그 사이를 메우지만, 칸 나누기 자체는 현장의 손에 남습니다. 저는 그래서 이 기권 규칙을 점수표보다 운영표에 가깝게 봅니다. 언제 쉬는지를 정하는 표니까요.

앞으로 어떤 판에서 문이 열릴까요

질문도 바뀌었습니다. "모델이 똑똑한가"에서 "어디서 보태는가"로 말이죠. 이 논문은 그 바뀐 질문에 답하는 뼈대를 줍니다. 상대적 적격성을 정의하고, Brier loss 아래에서 다름이 언제 이득이 되는지 따지고, 분야별 가중치와 수축과 재보정으로 문을 여닫는 법까지 보여줍니다. 2,357개의 해소된 질문 위에서 기준선을 0.0771에서 0.0732로 밀어낸 기록도 남겼습니다.

그럼에도 남는 질문이 있습니다. 시장이 두터운 판에서는 문이 닫혔는데, 그 판을 미리 알아볼 수 있을까요. 분야를 나누는 기준을 시간 흐름이나 정보 구조에 따라 바꾸면 문이 더 잘 열릴까요. 해소된 기록이 적은 새 분야에서는 얼마나 빨리 평균에서 벗어나야 할까요. 저는 앞으로 보고 싶은 것이 그 다음 장면입니다. 게이트가 판의 성격을 읽고 스스로 문 크기를 바꾸는 모습이죠.

같은 모델에 같은 질문을 던져도 결과가 크게 달라질 수 있다는 것을 경험으로 알고 있죠. 그래서 섞는 일은 한 번 정하고 끝나는 일이 아니라, 기록이 쌓일 때마다 다시 묻는 일입니다. 이번에는 모델 차례인가, 바깥 예측 차례인가. 그 물음을 숫자로 묻는 법을 배웠다는 점에서, 이 연구는 오래 곁에 두고 꺼내볼 만합니다. 그렇다면 사람의 역할은 무엇일까요. 문을 설계하고, 닫힌 문을 의심하고, 다시 열 때를 정하는 일은 여전히 사람의 몫으로 남습니다.