인공물의 첫 시험, 초지능을 재는 LLM 참조 C-test

arXiv에 공개된 논문 Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence(식별자 2610.14005)는 사람이나 최신 모델에 난이도를 맞추는 벤치마크가 머지않아 제자리를 맴돌게 된다는 진단에서 출발해, 시험 자체를 미리 어려운 구간까지 인증해 두자는 제안을 내놓습니다. 원문 링크는 제목 아래에 걸어두었습니다.

이 글에서는 그 제안이 왜 나왔는지, 난이도를 비트 단위 비율 척도로 매긴다는 발상이 어떻게 돌아가는지, 그리고 열두 개 모델을 앞에 세웠을 때 곡선이 실제로 어떻게 기울었는지를 순서대로 따라가 보겠습니다.

이 시험 이야기가 왜 눈에 밟혔을까

안녕하세요, 패트릭입니다. 저는 이 논문을 처음 봤을 때 제목보다 부제에서 멈칫했습니다. 인공물의 첫 시험이라니요. 시험이란 원래 사람이 기계를 재는 도구였는데, 여기서는 기계가 기계를 재는 기준점이 되고, 그 시험이 사람을 훌쩍 넘어선 구간까지 미리 인증되었다고 말하고 있으니까요.

저는 평소에 새로운 벤치마크 논문을 보면 점수표부터 찾기보다 출제 과정을 먼저 상상하는 편입니다. 누가 문제를 내고, 그 문제는 누구의 실력에 맞춰져 있으며, 그 실력이 바뀌면 문제는 어떻게 되는지를 묻는 것이죠. 이 논문은 바로 그 질문을 정면으로 붙잡습니다. 시험 출제자가 응시자보다 약해지면 무슨 일이 생길까라는 질문 말입니다.

생각해보면 사람 시험도 비슷합니다. 선생님이 낼 수 있는 가장 어려운 문제가 학생들의 실력 상한이 되면, 그 반에서는 만점자가 속출하고 변별력이 사라집니다. 그런데 AI에서는 이 과정이 몇 달 단위로 벌어지고 있습니다. 그래서 저는 이 논문을 단순한 벤치마크 추가가 아니라 출제권의 위치를 옮기려는 시도로 읽었습니다. 그렇다면 출제권을 어디로 옮긴다는 걸까요? 그 답을 찾기 위해 먼저 벤치마크가 왜 스스로를 갉아먹는지부터 살펴보겠습니다.

벤치마크가 스스로를 갉아먹는 순간이 온다

벤치마크는 원래 실력을 재는 자였습니다. 그런데 자를 만드는 사람이 재려는 대상보다 작아지면 자 자체가 휘어집니다. 논문이 짚는 출발점이 바로 여기입니다. 사람이나 현재 모델의 정답률에 맞춰 난이도를 조정한 시험은 AI 발전 속도가 빨라지면 머지않아 순환에 빠지거나 포화 상태에 이른다는 것이죠.

순환이라는 표현이 조금 추상적으로 들릴 수 있는데, 실제로 벌어지는 일은 꽤 구체적입니다. 문제를 사람에게 맞춰 내면 사람은 풀 수 있지만 기계의 상한을 가늠하지 못하고, 문제를 현재 최고 모델에 맞춰 내면 그 모델이 바뀌는 순간 기준이 함께 흔들립니다. 마치 달리는 선수의 기록에 맞춰 트랙 길이를 자꾸 고치는 셈인데, 그렇게 하면 다음 시즌에는 기록의 비교 자체가 어려워집니다.

더 아픈 지점은 포화입니다. 시험 만점이 나와버리면 그 시험은 더 이상 어렵다는 말을 할 수 없습니다. 그런데 요즘은 포화까지 걸리는 시간이 점점 짧아지고 있습니다. 공개된 지 몇 달 만에 최고 모델들이 상한을 치고 올라가면, 연구자들은 다시 새 시험을 만들고, 새 시험은 또 몇 달 만에 낡습니다. 이런 쳇바퀴를 반복하면 평가 비용은 늘어나는데 정작 미래 세대의 실력을 가늠할 눈금은 남지 않습니다. 그렇다면 자를 사람도 아니고 현재 모델도 아닌 다른 곳에 고정할 수는 없을까요? 여기서 논문은 난이도 자체를 수학적으로 붙잡는 오래된 아이디어로 돌아갑니다.

그렇다면 어려움 자체를 어디에 고정할 수 있을까

논문이 가져오는 대안은 역문제와 귀납 추론입니다. 관측된 결과가 있을 때 그 뒤에 숨어 있는 매커니즘을 찾아내는 일이 바로 역문제인데, 논문은 시험의 어려움이란 결국 이 역문제를 푸는 데 드는 복잡도에 달려 있다고 봅니다. 이미 알고 있는 배경지식이 주어졌을 때, 관측을 설명하는 매커니즘을 찾아내는 일이 얼마나 까다로운지가 난이도라는 것이죠.

이 발상을 일상적인 장면으로 옮겨보면 이해가 쉬워집니다. 연속된 숫자 몇 개가 칠판에 적혀 있다고 해보죠. 2, 4, 8, 16 다음에 올 숫자를 맞히는 일은 쉬워 보입니다. 그런데 그 수열을 만들어낸 규칙이 단순한 곱셈이 아니라曜日과 날씨와 결석 인원을 함께 엮은 규칙이라면 어떨까요? 관측은 같아 보여도 그 뒤의 매커니즘을 찾는 일의 무게는 완전히 달라집니다. 논문이 말하는 난이도란 바로 이 두 번째 무게입니다.

여기서 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 정답률이 아니라 정답에 이르는 설명의 길이를 재겠다는 선언이기 때문입니다. 사람 몇 명이 풀었는지, 어떤 모델이 몇 점을 받았는지 같은 외부 기준을 버리고, 문제 자체가 품고 있는 복잡도로 눈금을 삼겠다는 것이죠. 그런데 복잡도라는 말은 멋있지만 실제로 재기는 어렵습니다. 무엇이 짧은 설명이고 무엇이 긴 설명인지 컴퓨터가 판단하게 하려면 계산 가능한 정의가 필요합니다. 그래서 다음 장면에서는 Levin의 Kt라는 도구가 등장합니다.

짧게 쓰고 빨리 푸는 설명이 이긴다는 발상

Levin의 Kt는 Kolmogorov 복잡도를 계산 가능하게 다듬은 변형으로, 논문에서는 시험 난이도의 이론적 상한을 잡아주는 장치로 쓰입니다. 아이디어를 풀어 쓰면 이렇습니다. 어떤 관측을 설명하는 매커니즘이 있다면, 그 매커니즘을 가장 짧게 적었을 때의 길이에 그 매커니즘을 실제로 돌리는 데 걸리는 시간 단계의 로그값을 더한 양으로 어려움을 어림잡는다는 것입니다.

문장이 길어졌으니 쪼개 보겠습니다. 짧게 적을 수 있다는 것은 규칙이 간결하다는 뜻이고, 빨리 돌릴 수 있다는 것은 그 규칙을 실행하는 데 품이 적게 든다는 뜻입니다. 두 가지를 함께 보는 이유는 간결하지만 실행이 터무니없이 오래 걸리는 규칙과, 실행은 빠르지만 설명이 끝없이 긴 규칙을 같은 저울에 올리기 위해서입니다. 결국 Kt가 작다는 말은 짧게 쓰고 빨리 확인할 수 있는 설명이 존재한다는 뜻이고, Kt가 크다는 말은 그런 설명을 찾기 어렵다는 뜻에 가깝습니다.

저는 이 대목을 읽으면서 오답 노트를 떠올렸습니다. 시험에서 틀린 문제를 복기할 때 좋은 해설은 짧고, 그 해설을 따라가면 답이 바로 나오죠. 반면 해설이 길고 경우의 수가 끝없이 갈라지면 그 문제는 어렵다고 느낍니다. Kt는 바로 그 감각을 비트라는 단위로 옮기려는 시도입니다. 비트 단위 비율 척도라는 말이 그래서 나옵니다. 순서만 매기는 서열 척도가 아니라 두 배 어렵다는 말을 수치로 할 수 있는 눈금을 겨냥한 것이죠. 문제는 이 눈금을 실제 시험 문제에 새기는 일이 만만치 않다는 점입니다. 이전 시도들이 왜 작게 머물렀는지를 보면 그 이유가 드러납니다.

예전 C-test는 왜 작은 기계에 머물렀을까

Kt에서 출발한 C-test라는 흐름은 사실 이번이 처음이 아닙니다. 논문도 그 전사를 정직하게 밝히고 있는데, 이전 C-test들은 아주 작은 만능 튜링 기계 위에 세워졌고, 표현 방식이 빈약했으며, 배경지식이라는 개념이 사실상 없었다고 정리합니다.

작은 기계라는 말이 무슨 뜻일까요? 튜링 기계는 이론적으로는 무엇이든 계산할 수 있지만, 실제로 논문 실험에서 쓰인 기계들은 기호 몇 개와 상태 몇 개로 움직이는 장난감 수준에 가까웠습니다. 그런 기계가 이해하는 프로그램이란 0과 1의 짧은 나열에 불과했고, 그 안에서 낼 수 있는 문제의 결도 단순할 수밖에 없었습니다. 마치 건반이 몇 개 없는 장난감 피아노로는 칠 수 있는 곡이 정해져 있는 것과 비슷합니다.

더 결정적인 한계는 배경지식이 없었다는 점입니다. 사람이 시험 문제를 풀 때는 학교에서 배운 수학, 일상에서 본 패턴, 언어로 축적된 상식이 함께 작동합니다. 그런데 이전 C-test의 기계는 그런 공유된 배경 없이 빈바닥에서 시작했기 때문에, 인간의 지능을 재는 시험이라기보다 추상적인 계산 퍼즐에 가까웠습니다. 그래서 난이도를 올려도 현실 지능과의 연결이 끊어지기 쉬웠죠. 그렇다면 배경지식을 품은 채로 프로그램을 이해하는 기계를 참조점으로 삼으면 어떨까요? 논문은 여기서 시선을 추론 LLM 쪽으로 돌립니다.

추론 LLM을 만능 기계로 다시 보면 무슨 일이 생길까

논문에서 제가 가장 흥미롭게 본 부분은 추론 LLM을 만능 튜링 기계로 다시 쓰는 대목입니다. 인간 문화의 축적물을 배경지식으로 품고 있고, 자연어 프롬프트를 프로그램처럼 받아들이는 기계라는 재해석이죠. 이 문장을 처음 보면 비유처럼 들리지만, 논문의 논리 안에서는 꽤 엄밀한 위치 바꾸기입니다.

기존 관점에서는 LLM이 시험을 치르는 응시자였습니다. 그런데 여기서는 LLM이 시험의 난이도를 매기는 자, 즉 참조 기계가 됩니다. 프롬프트는 그 기계에 들어가는 프로그램이고, 인간 문화 전반은 그 기계가 이미 품고 있는 라이브러리인 셈입니다. 이렇게 두면 문제 출제자는 빈 기계에 0과 1을 새기는 대신, 이미 많은 것을 아는 기계에게 자연어로 규칙을 설명하고 그 규칙에서 관측을 뽑아내는 방식으로 문제를 만들 수 있습니다.

이 전환이 중요한 이유는 표현력이 폭발적으로 커지기 때문입니다. 작은 튜링 기계로는 수열 몇 개와 도형 패턴 정도만 낼 수 있었지만, 자연어를 프로그램으로 쓰는 기계에서는 이야기 속에 숨은 규칙, 절차 속에 섞인 예외, 관측 속에 감춰진 생성 과정까지 문제로 만들 수 있습니다. 동시에 배경지식이라는 변수가 자연스럽게 들어옵니다. 참조 기계가 이미 알고 있는 것은 설명에서 생략해도 되고, 모르는 것만 새로 적으면 되니까요. 다만 여기서 바로 다음 질문이 생깁니다. 그렇게 만든 문제의 난이도를 어떻게 믿을 수 있을까요? 말로만 어렵다고 하면 도로 순환으로 돌아가니까요. 그래서 논문은 가벼운 생성과 인증 파이프라인을 함께 내놓습니다.

문제를 찍어내고 보증하는 파이프라인은 어떻게 돌아갈까

논문이 내세우는 또 하나의 contribution은 가벼운 생성 및 인증 파이프라인입니다. 새로운 시험 문항을 높은 난이도까지 계속 찍어낼 수 있으면서도, 각 문항의 난이도를 비트 단위로 어림잡고 인증하는 절차를 함께 갖췄다는 것이죠.

과정을 제가 이해한 순서대로 풀어보겠습니다. 먼저 참조 기계인 LLM 안에 자연어로 기술된 생성 규칙, 즉 매커니즘이 하나 들어갑니다. 이 규칙을 짧게 적는 데 드는 길이를 재고, 그 규칙을 돌려 관측을 뽑아내는 데 걸리는 시간을 함께 잽니다. 두 값을 Kt 방식으로 합치면 그 문항의 난이도 어림값이 나옵니다. 그리고 이 어림값이 일정한 검증 절차를 통과하면 인증된 문항으로 도장을 받는 구조입니다.

여기서 가볍다는 표현이 눈에 띕니다. 보통 엄밀한 복잡도 측정은 계산량이 커서 현실 시험에 붙이기 어렵다는 인상을 주는데, 논문은 그 절차를 시험 출제에 쓸 수 있을 만큼 실용적인 무게로 낮췄다고 말합니다. 실제로 운영 관점에서 보면 이 대목이 꽤 중요합니다. 출제 파이프라인이 무거우면 문항을 몇 개 만들다 지치고, 결국 또 외부 기준에 기대게 되니까요. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 파이프라인도 같은 눈으로 봐야 합니다. 문항을 새로 찍어내는 속도와 인증에 드는 비용이 감당 가능한 수준인지가 이 제안의 생사를 가를 테니까요.

그런데 파이프라인이 가볍다고 해서 의문이 사라지는 것은 아닙니다. 참조 기계의 힘에 따라 같은 규칙도 길게 느껴질 수도 있고 짧게 느껴질 수도 있지 않을까요? 그리고 문제를 내는 쪽과 푸는 쪽의 능력이 다르면 점수를 어떻게 읽어야 할까요? 다음 두 대목은 바로 그 의심을 다룹니다.

시험관보다 응시자가 약하면 점수를 믿을 수 있을까

여기서는 조금 조심해서 읽을 필요가 있습니다. 논문은 참조 기계의 힘과 시험관-응시자 격차에 대한 분석을 따로 마련하고 있습니다. 쉽게 말해 시험을 내는 기계와 시험을 치르는 모델이 다를 때 생기는 어긋남을 어떻게 다룰지에 대한 논의입니다.

이 문제를 학교 시험에 비유하면 바로 감이 옵니다. 출제자인 선생님이 고등 수학까지 알면 중학 수학 문제는 쉽게 배합할 수 있지만, 반대로 중학 수학만 아는 출제자는 고등 수학 문제를 제대로 검증하지 못합니다. 기계 시험도 마찬가지입니다. 참조 기계가 약하면 어려운 문제를 기획해도 그 어려움이 진짜인지 가짜인지 가려내기 어렵고, 참조 기계가 지나치게 강하면 응시자 입장에서는 문제가 왜 어려운지조차 파악하기 어려울 수 있습니다.

논문의 분석은 이 간극을 숨기지 않고 드러내는 쪽을 택합니다. 참조 기계가 무엇을 알고 무엇을 모르는지를 분명히 하고, 그 위에서 측정한 난이도가 응시자의 점수와 어떻게 어긋날 수 있는지를 함께 보여주는 것이죠. 저는 이 태도가 마음에 들었습니다. 난이도 숫자를 절대 진리처럼 내놓는 대신, 자의 길이를 먼저 밝히고 그 자로 잰 결과를 읽어달라고 말하고 있으니까요. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 이 자로 잰 첫 번째 성적표는 어떻게 나왔을까요? 논문은 열두 개 모델을 앞에 세운 결과를 공개합니다.

열두 개 모델을 앞에 세우면 곡선은 어디로 기울까

논문은 인증된 문항 묶음을 열두 개 LLM 앞에 내놓고 에이전트 특성 곡선을 그립니다. 난이도가 올라갈수록 정답률이 어떻게 떨어지는지를 보여주는 곡선인데, 결과가 말하는 바는 꽤 선명합니다. 곡선은 난이도가 높아질수록 아래로 기울고, 그 기울기는 최신 세대의 실력을 넘어선 미지의 높은 난이도 구간, 즉 초지능 구간까지 이어진다는 것이죠.

이 대목에서 숫자를 어떻게 읽어야 할지가 중요합니다. 흔히 벤치마크 글은 몇 퍼센트라는 숫자 자체에 시선을 모으는데, 여기서 봐야 할 것은 특정 점수가 아니라 곡선의 모양과 그 곡선이 닿는 범위입니다. 쉬운 구간에서는 여러 모델이 비슷한 성적을 내다가 어려운 구간으로 갈수록 갈라지고, 결국 인증은 되었지만 아직 푸는 주체가 없는 구간까지 눈금이 뻗어 있다는 점이 이 시험의 존재 이유니까요.

개인적으로 인상 깊었던 점은, 이 곡선이 포화와 정반대 방향을 가리킨다는 것입니다. 기존 시험이 천장에 머리를 부딪히며 납작해졌다면, 이 시험은 천장 위에 미리 다락을 지어두고 그 다락까지 계단을 놓은 셈입니다. 물론 여기서 반론도 가능합니다. 인증되었다는 말과 실제로 의미 있다는 말은 같은 말이 아니지 않느냐는 것이죠. 높은 난이도로 인증된 문항이 현실 지능과 동떨어진 말장난일 가능성도 따져봐야 합니다. 논문이 역문제와 배경지식을 전면에 내세운 이유가 바로 이 반론을 피하기 위해서라고 저는 읽었습니다. 규칙이 자연어 프로그램으로 적히고 인간 문화라는 배경 위에 놓이기에, 적어도 이전의 추상 퍼즐보다는 현실 추론에 가깝다는 주장인 셈입니다. 그렇다면 이 시험은 앞으로 무엇을 바꿀 수 있을까요?

초지능 앞에서도 시험은 남을 수 있을까

여기까지 오면 처음 질문으로 돌아오게 됩니다. 사람을 넘어설지도 모르는 기계를, 아직 그 기계가 오기 전에 어떻게 평가할 수 있을까라는 질문 말입니다. 논문의 답은 난이도의 근거를 외부 실력에서 떼어내 문제 자체의 복잡도로 옮기고, 그 복잡도를 잴 참조 기계로 LLM을 쓰며, 문항 생성과 인증을 함께 돌리는 파이프라인으로 눈금을 미리 찍어두자는 것입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 시험을 한 번 내고 끝내는 게 아니라 계속 찍어낼 수 있다는 점, 난이도가 비율 척도로 매겨져 두 배 어렵다는 말을 할 수 있다는 점, 그리고 시험관의 능력과 응시자의 능력을 분리해서 읽는 분석이 함께 딸려 있다는 점이 이 제안의 뼈대이기 때문입니다. 이런 구조가 있으면 평가자는 새 모델이 나올 때마다 허겁지겁 새 시험을 만들지 않아도 되고, 대신 이미 인증된 어려운 문항 묶음에서 모델의 위치를 읽으면 됩니다.

물론 여기서 과대해석은 경계해야 합니다. 열두 개 모델에서 그려진 하향 곡선이 곧 초지능의 지도를 손에 넣었다는 뜻은 아닙니다. 인증 파이프라인의 엄밀함, 참조 기계 선택에 따른 편향, 자연어로 적힌 규칙의 모호함 같은 조건들이 여전히 붙어 있습니다. 게다가 실제 거버넌스 장면에서는 시험 점수보다 그 점수를 어떤 결정에 연결할지가 더 어려운 문제입니다. 저는 그래서 이 논문을 합격증을 주는 시험이 아니라 아직 오지 않은 응시자를 위해 빈 답안지를 미리 매만져 둔 작업으로 이해했습니다.

그래서 평가자는 앞으로 무엇을 준비해야 할까

마지막으로 운영의 언어로 바꿔보겠습니다. 만약 여러분 팀이 모델 평가를 맡고 있다고 해보죠. 새 모델이 나올 때마다 벤치마크를 갈아엎고, 포화된 점수표를 들고 와서 이번에는 정말 올랐다고 설명하는 일이 반복된다면, 어느 순간 평가 자체가 병목이 됩니다. 이 논문이 던지는 실무적 힌트는 그 병목을 출제 자동화와 난이도 인증으로 풀어보자는 것입니다.

실제로 적용한다면 저는 세 가지를 먼저 따져보겠습니다. 첫째로 참조 기계로 쓰는 LLM을 무엇으로 고정할지, 그리고 그 선택이 난이도 숫자를 어떻게 흔드는지입니다. 둘째로 인증 절차의 비용과 속도가 우리 팀의 릴리스 주기를 따라오는지입니다. 셋째로 특성 곡선을 어떤 임계값과 연결해 배포나 추가 학습 결정을 내릴지입니다. 숫자 자체보다 이 연결이 거버넌스의 몸통이기 때문입니다.

그렇다면 사람의 역할은 무엇일까요. 시험을 기계가 내고 기계가 채점하는 시대에도, 어떤 능력을 재야 하는지, 어디까지 어려워져야 의미가 있는지, 그리고 그 결과를 어떤 결정에 쓸지를 정하는 일은 여전히 사람의 몫으로 남습니다. 이 논문이 첫 시험이라는 이름을 붙인 이유도 거기에 있다고 봅니다. 답을 맞히는 쪽이 아니라 문제를 정의하는 쪽에 인간의 다음 일이 있다는 선언 말입니다. 제가 앞으로 보고 싶은 것은 이 시험지가 다음 세대의 모델들 앞에서 어떤 곡선을 그릴지, 그리고 그 곡선이 우리의 결정 방식을 어떻게 바꿀지입니다.