상식을 재는 자를 재다, CogGym이 던진 질문

이번에 다룰 작업은 CogGym이라는 비교 평가 프레임워크로, arXiv 식별자 2609.21259로 공개된 CogGym: Towards Large-Scale Comparative Evaluation of Human and Machine Cognition이 원문입니다. 이 작업이 내놓은 제안은 단순합니다. 사람과 기계의 인지를 같은 실험 trial 위에서 직접 맞붙이자는 것이니까요. 원문으로 가는 연결은 제목 아래에 붙여 두었습니다.

안녕하세요, 패트릭입니다.

사람이 당연하게 여기는 판단 앞에서 모델이 어긋나는 장면을 본 적이 있으실 겁니다. 수학 문제는 척척 풀던 모델이 컵이 쓰러지는 방향이나 두 사람이 나누는 짧은 눈치 같은 데서는 엉뚱한 답을 내놓습니다. 그렇다면 이런 어긋남을 어떻게 재야 할까요. 정확도 숫자 하나로 충분할까요, 아니면 사람이 실제로 겪는 그 trial 그대로를 모델에게도 건네야 할까요. 제가 이 논문에서 가장 눈길이 간 부분은 바로 이 질문을 평가 설계로 밀고 들어간 대목이었습니다.

수학은 올라가는데 상식은 왜 제자리일까

같은 모델을 두고 이야기하는데, 벤치마크에 따라 표정이 완전히 달라집니다. 형식 추론 쪽에서는 세대가 바뀔 때마다 점수가 눈에 띄게 뛰지만, 상식 추론에서는 그 상승 곡선이 훨씬 완만하다고 논문은 짚습니다. 그래서 저는 이 대목을 읽으면서 먼저 방향을 확인했습니다. 모델이 멍청해졌다는 이야기가 아니라, 우리가 재는 자 자체가 서로 다른 능력을 재고 있었다는 이야기니까요.

수학이나 코딩에는 정답을 판정하는 규칙이 비교적 또렷해서, 증명이 맞는지 테스트를 통과하는지만 보면 됩니다. 반면 상식은 답이 하나라기보다 사람들이 어떻게 판단하는지의 분포에 가깝습니다. 컵이 흔들릴 때 손이 먼저 나가는 쪽, 농담을 듣고 웃음이 터지는 타이밍, 화면 속 물체가 가려졌다가 다시 나타날 때 시선이 머무는 곳 같은 것들이 그 예입니다. 이런 판단은 규칙으로 채점하기보다 사람 응답과의 닮음으로 재야 합니다.

문제는 그다음입니다. 기존 리더보드 상당수는 사람이 풀던 실험과 모델이 풀던 문제가 서로 달랐기 때문입니다. 지문이 바뀌고 보기가 바뀌고 시행 조건까지 바뀌면, 숫자를 나란히 놓고 비교하기 어렵습니다. 겉으로는 둘 다 상식을 잰다고 말하지만 실제로는 다른 시험지를 본 셈이니까요. 그렇다면 같은 시험지를 나눠주는 일부터 다시 해야 하지 않을까요.

258개 실험을 같은 시험지로 만든다는 말의 뜻

CogGym의 출발점은 꽤 직관적입니다. 인지과학 논문 100편에 흩어져 있던 258개 실험을 꺼내서 사람과 모델이 똑같이 풀 수 있는 형태로 표준화하겠다는 것이죠. 주제는 인간의 상식 추론으로 묶여 있으며, 물리적 직관과 사회적 판단, 인과 추론처럼 일상에서 끊임없이 쓰는 판단들이 여기에 들어갑니다.

그런데 실험실마다 실험 방식이 제각각이라는 데서 일이 까다로워집니다. 어떤 연구는 버튼 누르는 반응 시간을 재고, 어떤 연구는 그림 두 장 중 하나를 고르게 하며, 또 어떤 연구는 짧은 영상을 보여준 뒤 예상을 묻습니다. 지시문도 다르고 시행 순서도 다르며 응답 방식까지 다르니까요. 이걸 그대로 모델에게 던지면, 무엇이 달라서 달라졌는지 알 수 없습니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 이 다양성을 없애버리지 않고 통과시키는 방식을 택했다는 점입니다. 실험의 겉모습을 하나로 뭉개는 대신, 실험을 기술하는 중간 언어를 하나 두었기 때문입니다. 이름은 Experiment Markup Language, 줄여서 EML입니다. 패러다임이 달라도 자극이 무엇이고 시행이 어떤 순서로 진행되며 응답을 어떤 형식으로 받는지를 같은 문법으로 적어두면, 사람용 실험과 모델용 실험을 같은 설계도에서 찍어낼 수 있습니다. 일종의 번역기가 아니라 도면 통일이라고 보는 편이 가깝습니다.

사람이 하던 그대로 모델에게도 건네는 법

EML이 도면이라면, 그 도면을 그리는 손은 반자동 파이프라인입니다. 사람이 고리로 들어가는 human-in-the-loop 구조인데요. 기계가 논문에서 실험 절차를 뽑아내 EML 초안을 만들면, 사람이 그 초안을 고치고 검증하는 흐름입니다. 왜 이렇게 했을까요. 완전히 자동으로 돌리면 빠르겠지만, 실험마다 숨어 있는 조건을 놓치기 쉽기 때문입니다.

인지실험의 조건은 사소해 보여서 실제로는 결과를 가릅니다. 자극을 몇 초 보여주는지, 보기를 어떤 순서로 내는지, 연습 시행을 주는지, 피드백을 주는지가 모두 여기에 해당합니다. 이런 디테일이 어긋나면 사람과 모델이 서로 다른 문제를 푼 셈이 됩니다. 그래서 자동 추출 뒤에 사람의 눈을 둔 선택은 속도를 조금 포기하는 대신 비교의 자격을 지키는 쪽에 가깝습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 비교 가능성을 파이프라인 안에 박아 넣었기 때문입니다.

그렇게 표준화된 trial 위에서 논문은 사람 응답과 모델 50종의 응답을 맞붙입니다. 텍스트 실험과 이미지 실험, 비디오 실험을 가리지 않고 같은 시행을 건넨다는 점이 눈에 띄는데요. 텍스트만 잘하는 모델인지, 그림이 들어가면 흔들리는지, 움직임과 시간이 개입하면 더 멀어지는지를 한 틀 안에서 볼 수 있게 됩니다. 저희가 새로운 평가를 볼 때도 물어보는 것이 이것입니다. 점수가 올랐는지보다, 무엇과 무엇을 같은 조건에서 견주었는지를 먼저 봅니다.

사람 반쪽과 모델 전체를 견주는 잣대

여기서 재미있는 질문이 생깁니다. 사람과 얼마나 닮았는지를 무엇으로 잰다는 걸까요. 논문이 고른 잣대는 사람 응답 패턴을 모델이 얼마나 잘 재현하는지이며, 이 정도는 R 제곱이라는 값으로 보고됩니다. 특정 trial에서 사람들이 이렇게 답하는 경향이 있다면, 모델도 그 경향을 따라가는지를 보는 것입니다. 정답 맞히기 대결이 아니라 분포 닮기 대결인 셈이죠.

그리고 그 옆에 사람 split-half 신뢰도가 놓입니다. 사람을 두 그룹으로 갈라 한쪽의 응답으로 다른 쪽을 맞히는 정도를 재면, 텍스트 0.93, 이미지 0.95, 비디오 0.92라는 값이 나옵니다. 사람들이 서로를 꽤 잘 맞힌다는 뜻입니다. 반면 가장 잘 따라간 모델의 값은 텍스트 0.59, 이미지 0.58, 비디오 0.43에 머뭅니다. 같은 시험지에서 사람끼리는 거의 같은 그림을 그리는데, 모델은 아직 그 그림에서 멀리 떨어져 있는 셈입니다.

이 간격을 어떻게 읽어야 할까요. 저는 여기서 조금 멈칫했습니다. 0.59라는 숫자를 낮다고만 말하면 이야기가 끝나버리기 때문입니다. 오히려 물어볼 것은 이것입니다. 왜 사람끼리는 저렇게까지 일치하는데 모델은 따라오지 못하는지, 그리고 그 못 따라감이 어디에서 집중적으로 생기는지 말이죠. 점수는 출발점이고, 그 뒤의 구조를 뜯는 일이 남습니다.

커질수록 사람다워진다는 말은 어디까지 믿을까

논문이 보고하는 흐름 중 하나는 스케일링 경향입니다. 크고 최신 모델일수록 사람의 판단을 더 잘 재현한다는 것인데요. 이 말을 들으면 으레 떠오르는 반문이 있습니다. 그럼 크기만 키우면 상식이 해결되는 것 아니냐는 것입니다. 여기서는 조금 조심해서 읽을 필요가 있습니다.

크기가 가져오는 이득은 분명해 보입니다. 더 많은 패턴을 보고 더 긴 문맥을 엮으며 더 세밀한 차이를 구분하게 되니까요. 텍스트에서 0.59까지 올라온 흐름 자체가 그 이득을 보여줍니다. 그런데 상승 속도가 형식 추론 쪽보다 느리다는 대목이 함께 옵니다. 수학 점수가 계단을 뛰어오를 때, 상식 점수는 완만한 오르막을 걷는다는 것이죠. 같은 크기 증가인데 보폭이 다르다면, 부족한 것이 단순한 용량이 아닐 가능성이 큽니다.

생각해보면 사람도 비슷하게 배웁니다. 공식을 외운다고 눈치가 늘지 않기 때문입니다. 눈치는 몸으로 부딪히고 장면을 보고 타이밍을 놓쳐보면서 생깁니다. 모델에게 텍스트를 더 먹이는 일이 공식 암기량을 늘리는 데 가깝다면, 상식에 필요한 것은 다른 종류의 경험일 수 있습니다. 그래서 저는 스케일링 곡선을 낙관의 근거라기보다 질문의 근거로 읽었습니다. 무엇이 더해져야 기울기가 바뀌는지를 묻게 만드는 곡선이기 때문입니다.

텍스트 0.59와 비디오 0.43 사이를 메우는 것들

모달리티별 숫자를 나란히 놓으면 장면이 더 또렷해집니다. 텍스트 0.59, 이미지 0.58, 비디오 0.43입니다. 텍스트와 이미지는 엇비슷한데, 비디오에서만 뚝 떨어집니다. 우연일까요. 아니면 비디오에만 있는 어떤 부담이 모델을 짓누르는 걸까요.

비디오는 정지된 그림이 아닙니다. 시간이 흐르고 물체가 가려졌다 나타나며, 사람의 손짓과 표정이 연속으로 바뀝니다. 따라서 모델은 한 장면을 잘 보는 것을 넘어 장면 사이의 이어짐을 붙잡아야 합니다. 어디에서 무엇을 놓쳤는지, 무엇이 원인이고 무엇이 결과인지, 다음에 무엇이 일어날 것 같은지를 엮어야 하니까요. 사람에게는 숨 쉬듯 자연스러운 일이지만, 프레임 몇 장을 뽑아 보는 식의 처리에는 계속 틈이 생깁니다.

여기서 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 모델이 비디오 trial을 받을 때 정말 비디오를 본 것일까요, 아니면 몇 장의 스틸컷을 보고 사이를 메운 것일까요. 입력 샘플링과 시간 해상도, 메모리 길이 같은 선택이 결과를 가를 수 있기 때문입니다. 논문이 같은 trial을 건넸다고 해도, 그 trial을 모델에게 먹이는 방식에 따라 체감 난도가 달라질 여지가 있습니다. 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 비디오 점수가 낮다는 사실보다, 그 낮음이 어디에서 오는지를 가르는 일이 더 남았다고 봅니다.

그림이 들어가면 무엇이 달라질까

이미지 점수가 텍스트와 비슷하다는 대목도 그냥 넘길 일이 아닙니다. 얼핏 보면 멀티모달이 상식을 해결한 것처럼 보이기 때문입니다. 그런데 이미지 trial의 성격을 뜯어보면 이야기가 달라집니다. 그림이 정보를 더 주는 경우도 있지만, 그림이 함정이 되는 경우도 있거든요.

사람은 그림을 볼 때 장면 전체를 한 번에 훑고, 맥락에서 어색한 부분을 집어냅니다. 컵의 손잡이 방향이나 가려진 물체의 경계, 두 사람의 시선이 만나는 지점 같은 것들이 그 단서입니다. 모델도 표면적인 물체 인식은 잘합니다. 문제는 그 인식이 판단으로 이어지는 고리입니다. 무엇을 보았는지와 무엇을 추론해야 하는지 사이가 끊어지면, 그림을 봐도 답은 텍스트만 읽었을 때와 크게 다르지 않게 됩니다.

참고로 이미지 실험이라고 해서 모두 같은 난도는 아닙니다. 어떤 trial은 그림이 답을 직접 보여주지만, 어떤 trial은 그림 속 단서를 시간 순서나 인과로 엮어야 합니다. 평균 0.58이라는 숫자 뒤에는 이런 편차가 숨어 있습니다. 평균만 보고 그림 문제는 해결됐다고 말하면, 쉬운 trial이 어려운 trial을 가리는 셈이 됩니다.

그렇다면 다음에 물을 것은 이것입니다. 모델이 틀린 trial에서는 무엇을 보고 무엇을 놓쳤을까요. 사람 응답 분포와 어긋난 시행들을 모아보면, 모델의 맹점이 무작위한 실수인지 특정 종류의 장면에서 반복되는지 드러날 겁니다. 저는 앞으로 보고 싶은 것이 바로 그 오답 지도입니다. 점수표보다 오답의 모양이 다음 설계도를 주니까요.

살아있는 평가라는 약속을 어떻게 믿을까

CogGym을 한 번 만들고 끝나는 벤치마크로 보면 반만 본 셈입니다. 논문은 새로운 인지과학 실험을 계속 받아들이는 살아있는 평가 틀을 지향한다고 밝히고 있습니다. 처음 묶음은 상식 추론에 맞춘 258개 실험이지만, 그 뒤로 실험이 추가될수록 사람다움의 지도가 넓어지는 구조입니다.

이 약속이 고마운 이유는 리더보드의 수명 때문입니다. 고정된 문제 묶음은 시간이 지나면 외워지고, 외워지면 점수는 오르는데 이해는 그대로인 일이 생깁니다. 오염(contamination)과 과적합이 따라붙기 때문입니다. 반면 실험이 계속 들어오는 구조에서는 외우기 경기가 되기 어렵습니다. 오늘 잘 맞힌 모델이 내년에 들어온 낯선 패러다임에서도 사람과 닮았는지를 다시 묻게 되니까요.

물론 살아있다는 말이 자동으로 좋은 평가를 뜻하지는 않습니다. 새로 들어오는 실험마다 EML로 옮기는 품이 들고, 사람 응답을 새로 모으는 비용이 들며, 버전이 바뀌면 과거 점수와 지금 점수를 어떻게 이어야 하는지라는 문제가 생깁니다. 그럼에도 이 방향은 옳다고 봅니다. 상식이라는 것이 고정된 문제집이 아니라 계속 쌓이는 장면들의 기록이라면, 재는 도구도 같은 속도로 자라야 하니까요.

점수표를 오해하면 놓치는 것들

여기까지 오면 숫자를 어떻게 말해야 할지 조심스러워집니다. 0.59와 0.43은 분명 사람 수준과 거리가 멉니다. 그렇다고 해서 모델이 아무것도 모른다는 뜻은 아닙니다. 분포 닮기라는 잣대는 평균 정답률보다 깐깐하기 때문입니다. 사람들이 미묘하게 갈리는 trial까지 그대로 따라해야 점수가 오릅니다.

반대로 스케일링 경향만 보고 곧 사람에 닿을 것이라고 말하는 것도 성급합니다. 기울기가 완만하고 비디오에서 간격이 크며, 사람 신뢰도까지 남은 거리가 멀다면 선형 외삽으로 도착점을 찍는 일은 위험합니다. 어떤 구간에서는 크기가 약이 되지만, 어떤 구간에서는 입력 처리 방식이나 시간 추론 같은 다른 처방이 필요할 수 있으니까요.

저는 그래서 이 결과를 점수 자랑이나 점수 깎기의 재료로 쓰기보다 설계 질문으로 쓰는 편이 낫다고 봅니다. 텍스트에서 사람과 어긋난 trial은 무엇이 다른지, 비디오에서 무너지는 지점은 시간 해상도 문제인지 인과 추론 문제인지, 새로 추가될 실험에서는 어떤 패러다임이 간격을 더 벌릴지를 묻는 것이죠. 숫자는 답이 아니라 다음 실험을 고르는 손전등에 가깝습니다.

사람다움을 잰다는 일의 다음 장면

처음으로 돌아가 보겠습니다. 사람이 당연하게 하는 판단을 모델도 그렇게 할까요라는 질문 말이죠. CogGym이 한 일은 이 막연한 물음을 같은 trial과 같은 응답 형식, 같은 비교 잣대 위로 올린 것입니다. 100편의 논문에서 뽑은 258개 실험과 50종의 모델, 텍스트와 이미지와 비디오를 아우르는 matched trial, 그리고 사람 신뢰도라는 높은 천장까지 말이죠.

이 틀이 주는 것은 순위표가 아니라 공통 언어입니다. 인지과학 쪽에서는 자기 실험이 더 넓은 지도 어디에 놓이는지 알 수 있고, 모델 쪽에서는 어느 장면에서 사람과 어긋나는지 같은 좌표로 찍을 수 있습니다. 서로 다른 언어를 쓰던 두 진영이 같은 도면 위에서 이야기하게 되는 셈입니다. EML이라는 중간 언어가 그래서 그냥 포맷이 아니라 대화 조건이라고 느껴졌습니다.

그렇다면 사람의 역할은 무엇일까요. 모델이 사람 응답을 더 잘 따라가게 될수록, 오히려 사람을 모으고 실험을 다듬는 손의 가치는 커집니다. 어떤 trial을 넣을지, 어떤 조건을 통제할지, 무엇을 사람다움이라고 부를지를 정하는 일이 평가의 방향을 정하니까요. 모델이 커지는 시대에 사람 실험이 더 중요해진다는 말은 역설처럼 들리지만, 이번 작업을 보고 나면 꽤 자연스럽게 들립니다.

제가 앞으로 보고 싶은 것은 간격이 좁혀지는 속도가 아니라 간격의 모양이 바뀌는 장면입니다. 비디오의 틈이 먼저 메워질지, 사회적 눈치 trial에서 새로운 어긋남이 드러날지, 새로 들어오는 실험이 지금의 순위를 뒤집을지 말이죠. 상식을 잰다는 일은 끝이 있는 경주가 아니라 계속 다시 그리는 지도에 가깝습니다. 그 지도를 함께 그리는 도구가 생겼다는 점에서, 이번 작업은 점수 이상의 몫을 한다고 봅니다.