오늘 다룰 연구는 Recovering Temporal and Geographic Signals from Language Model Embeddings라는 제목으로 arXiv에 공개된 논문으로, arXiv 번호 2609.05721로 등록되어 있습니다. 이 연구는 작은 씨앗 예시들로부터 임베딩 공간 안에 방향을 하나 정하고 그 위에 투영한 순서만으로 시간과 지리 구조를 되살릴 수 있다고 주장합니다. 원문은 제목 아래에 연결된 링크에서 바로 확인할 수 있습니다.
이 연구를 굳이 읽은 이유
안녕하세요, 패트릭입니다.
평소에 문서를 정리하다 보면 날짜가 뒤섞인 폴더를 만날 때가 있습니다. 파일 이름은 제각각인데 내용은 분명 2018년 이야기와 2023년 이야기가 섞여 있고, 어디부터 읽어야 할지 감이 오지 않죠. 그렇다면 언어 모델이 만들어낸 벡터만 보고도 이런 순서를 되살릴 수 있을까요?
제가 이 논문에서 가장 흥미롭게 본 부분은 방법이 놀랍도록 단순하다는 점입니다. 거창한 추가 학습도 없고, 모델 내부를 여는 장치도 없습니다. 씨앗 예시 몇 개로 방향을 하나 정한 뒤, 나머지를 그 위에 올려놓고 순서대로 늘어놓는다는 발상이 전부인데요. 그런데 이런 단순한 조작으로 시간과 공간 같은 구조가 드러난다면, 우리가 임베딩에 대해 품고 있던 직관을 다시 써야 할지도 모릅니다.
저희가 새로운 AI 구조를 볼 때도 숫자만 먼저 보지는 않습니다. 무엇이 바뀌었고, 그 변화가 실제 작업에서 어떤 부담을 덜어주는지를 함께 봅니다. 이 논문은 바로 그 지점에서 눈에 밟혔습니다. 해석과 실무 사이의 거리를 좁히는 제안처럼 보였기 때문입니다. 그래서 오늘은 이 단순한 축이 어떻게 작동하고, 어디까지 믿을 수 있으며, 무엇을 남기는지를 차근차근 따라가 보려 합니다.
임베딩 안에 시간과 장소가 있을까
언어 모델의 임베딩은 문장이나 단어를 숫자들의 나열로 바꾼 결과입니다. 이 벡터가 의미를 담고 있다는 말은 이제 낯설지 않은데요. 문제는 그 의미 안에 시간의 흐름이나 지리의 위치 같은 세계의 구조까지 들어 있는가 하는 점입니다.
생각해보면 사람도 비슷하게 배웁니다. 책을 많이 읽다 보면 1920년대 문체와 2020년대 문체가 다르게 느껴지고, 남쪽 항구 도시 이야기와 내륙 산골 이야기가 다른 공기를 품고 있다는 것을 압니다. 그렇다면 모델이 대량의 글을 읽으면서 이런 차이를 벡터 어딘가에 함께 적어두었을까요? 이 질문은 호기심을 넘어 실제 필요와 연결됩니다. 날짜 표기가 빠진 기록을 정리하거나, 지역 언급이 흩어진 문서를 묶을 때 순서의 단서가 벡터 안에 있다면 작업이 훨씬 가벼워지기 때문입니다.
이 연구가 던지는 질문도 바로 그겁니다. 출력 임베딩만을 가지고 시간과 지리 신호를 끄집어낼 수 있는가. 여기서 출력 임베딩이라는 말은 모델이 최종적으로 내놓는 벡터를 뜻하는데, 내부 가중치나 중간 활성화 값을 들여다보지 않고도 답을 찾겠다는 선언과 같습니다. 저는 여기서 조금 멈칫했습니다. 내부를 열지 않고 겉으로 드러난 벡터만으로 세계의 질서를 읽겠다는 태도가, 해석 연구에서는 드물게 실용적인 방향이었기 때문입니다.
축 하나가 방향이 된다는 말의 뜻
임베딩 공간에 축을 정의한다는 표현은 처음 들으면 추상적으로 느껴집니다. 그래서 저는 이 대목을 나침반에 비유해서 이해했습니다. 지도 위에 남쪽과 북쪽이 어딘지 아는 순간, 흩어진 마을들의 위치를 남북 순서로 늘어놓을 수 있죠. 벡터 공간에서의 축도 같은 역할을 합니다. 어느 쪽이 과거이고 어느 쪽이 미래인지, 어느 쪽이 서쪽이고 어느 쪽이 동쪽인지를 가리키는 방향 하나를 정하는 것입니다.
이 방향이 정해지면 나머지는 투영이라는 조작으로 이어집니다. 각 텍스트나 대상을 그 방향 위에 수직으로 떨어뜨려 점수를 하나씩 매기는 것이죠. 점수가 낮은 쪽에서 높은 쪽으로 늘어놓으면 순위가 생깁니다. 논문이 말하는 순위(rank)란 바로 이 일렬로 세운 결과를 가리킵니다. 복잡한 분류기를 붙이지 않고도, 하나의 직선 위에서 순서가 드러난다는 발상입니다.
여기서 재미있는 질문이 생깁니다. 왜 하필 하나의 직선일까요? 시간과 공간은 본래 여러 겹으로 얽혀 있는데, 이를 직선 하나로 읽어도 될까요? 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 고차원 벡터 안에 얽혀 있던 관계가 특정 방향으로만 보았을 때 의외로 깔끔하게 풀린다는 점 자체가, 표상이 세계의 구조를 어느 정도 가지런히 담고 있다는 신호이기 때문입니다. 물론 모든 관계가 직선으로 풀리지는 않습니다. 하지만 적어도 시간과 지리에 대해서는 직선 하나로도 읽을 만한 무늬가 있다는 것이 이 연구의 관찰입니다.
씨앗 몇 개로 방향을 정하는 방식
방법의 출발점은 작은 씨앗 예시들의 모음입니다. 씨앗이라는 말은 방향을 정하기 위한 기준점을 뜻하는데, 예를 들어 시기를 분명히 알 수 있는 글 몇 편, 위치를 분명히 알 수 있는 이름 몇 개를 고르는 식입니다. 설명을 위한 상상을 하나 덧붙이면, 1970년대 신문 문장과 2010년대 블로그 문장을 양쪽에 놓고 그 사이를 잇는 방향을 그리는 장면을 떠올릴 수 있습니다. 실제 연구가 어떤 씨앗을 썼는지는 원문에 정리되어 있지만, 글의 흐름을 위해 여기서는 원리만 따라가겠습니다.
씨앗이 정해지면 그들로부터 공간 안의 방향을 계산합니다. 이른 시기와 늦은 시기, 서쪽과 동쪽처럼 서로 다른 쪽에 놓인 예시들이 서로를 밀어내며 하나의 기울기를 만드는 것이죠. 이 기울기가 곧 축이 됩니다. 그런 다음에는 새로운 텍스트나 대상을 하나씩 가져와 그 축 위에 투영합니다. 투영된 위치가 앞쪽에 가까우면 이른 시기나 한쪽 지역에 가깝다고 읽고, 뒤쪽에 가까우면 반대쪽에 가깝다고 읽는 식입니다.
문제는 그다음입니다. 씨앗이 적으면 방향이 흔들리지 않을까요? 저는 이 대목에서 실무적인 걱정이 바로 생겼습니다. 기준점이 두세 개만 어긋나도 축이 기울어질 수 있기 때문입니다. 그런데 연구가 말하는 바를 따라가 보면, 적은 수의 씨앗으로도 시간과 지리에 대해서는 비교적 안정된 방향이 잡힌다는 것입니다. 이는 역으로 생각하면 꽤 의미가 있습니다. 시간과 지리 신호가 벡터 공간에서 특정한 쪽으로 꾸준히 쏠려 있다는 뜻이니까요? 씨앗이 나침반의 바늘을 잠깐 잡아주는 역할을 한다면, 바늘이 가리키는 북쪽 자체는 이미 공간 안에 들어 있었다는 이야기가 됩니다.
가중치를 열지 않아도 된다는 점이 반가운 이유
이 방법은 완전히 블랙박스이며 모델에 구애받지 않는다고 설명됩니다. 블랙박스라는 말은 모델 가중치나 내부 활성화 값을 요구하지 않는다는 뜻이고, 모델에 구애받지 않는다는 말은 특정 구조에만 묶이지 않는다는 뜻입니다. 필요한 것은 출력 임베딩뿐입니다. 벡터를 받아올 수 있다면, 그 벡터가 어떤 모델에서 왔든 같은 절차를 적용할 수 있다는 것이죠.
이 차이는 생각보다 중요합니다. 요즘 쓸 만한 임베딩 모델 가운데 적지 않은 수는 API 너머에 있습니다. 가중치를 내려받을 수도 없고, 중간 층을 들여다볼 수도 없죠. 그런데도 실무에서는 바로 그 모델들을 써야 하는 경우가 많습니다. 내부 해석 도구가 아무리 정교해도 API 앞에서는 무력해지는데요. 출력 벡터만으로 동작하는 방법은 이런 벽을 옆으로 돌아갑니다. 문을 따지 않고, 문밖에서 건네받은 결과물만으로 순서를 읽는 셈입니다.
그렇다면 이런 접근은 언제 특히 유용할까요? 저는 오래된 기록을 정리하는 장면을 떠올렸습니다. 예를 들어 어느 기관의 창고에 날짜가 지워진 인터뷰 기록 수백 편이 쌓여 있다고 해보죠. 모델을 새로 학습시킬 여유도 없고, 내부 구조를 뜯어볼 권한도 없습니다. 다만 텍스트를 벡터로 바꿔주는 창구 하나는 열려 있습니다. 이때 씨앗이 될 만한 dated 기록 몇 편만 골라 방향을 정하고 나머지를 투영하면, 대략적인 시간 흐름을 복원할 수 있습니다. 완벽하지는 않겠지만, 맨바닥에서 시작하는 것보다는 훨씬 낫죠. 이런 장면에서 블랙박스라는 성질은 이론의 미덕을 넘어 작업의 가능성을 넓혀줍니다.
학습도 프로브도 없이 돌아간다는 말의 무게
이 연구는 보조 프로브나 추가 학습이 필요 없다고 밝힙니다. 프로브란 벡터 안에 특정 정보가 들어 있는지를 확인하기 위해 따로 학습시키는 작은 분류기를 말하는데, 해석 연구에서는 흔히 쓰이는 도구입니다. 그런데 프로브를 쓰면 해석이 꼬일 때가 있습니다. 벡터 안에 원래 있던 정보인지, 프로브가 학습하면서 새로 꿰맞춘 정보인지 헷갈리기 때문입니다. 추가 학습도 마찬가지입니다. 학습을 거치면 성능은 오르지만, 원래 표상이 무엇을 담고 있었는지에 대한 질문은 흐려집니다.
그래서 학습 없이 바로 투영한다는 선택은 해석의 관점에서 꽤 정직한 편에 속합니다. 손을 대지 않은 벡터를 그대로 두고, 방향 하나와 순서 읽기만으로 묻는 것이죠. 마치 과일을 자르지 않고 겉에서 두드려 익은 정도를 가늠하는 것과 비슷합니다. 칼을 대는 순간 과육이 드러나지만, 원래 모양은 망가지니까요? 이 방법은 칼을 들지 않고 두드림의 울림만으로 상태를 추정합니다.
여기서는 조금 조심해서 읽을 필요가 있습니다. 학습이 없다는 말이 곧 편향이 없다는 뜻은 아니기 때문입니다. 씨앗을 고르는 사람의 판단이 방향에 스며들 수 있고, 어떤 시기와 지역을 기준으로 삼았는지에 따라 결과가 달라질 수 있습니다. 저는 그래서 이 단순함을 장점으로 읽으면서도, 씨앗 선택이라는 사람의 손이 남는 자리까지 함께 봐야 한다고 봅니다. 도구가 가벼울수록, 도구를 잡은 손의 방향이 더 크게 작용하는 법이니까요?
순서가 살아났다고 말할 수 있는 때
투영으로 얻은 순위가 의미가 있으려면, 그 순서가 실제 시간 흐름이나 지리 배치와 맞아떨어져야 합니다. 연구는 시간과 지리 데이터셋에 방법을 적용했을 때 의미 있는 연대순과 공간 구조가 되살아났다고 보고합니다. 다시 말해 벡터 위에 늘어놓은 줄이, 달력이나 지도 위의 줄과 어긋나지 않았다는 것이죠.
이 대목을 읽으면서 저는 평가의 눈높이를 어디에 두어야 할지 고민했습니다. 완벽한 복원을 기대하면 실망할 수 있습니다. 언어는 시간을 직접 찍는 기계가 아니라, 시간을 에둘러 표현하는 방식이기 때문입니다. 1990년대를 다룬 2020년의 회고 글은 내용상으로는 과거를 가리키지만 문체로는 현재에 속하죠. 이런 글이 투영 축 위에서 어디에 놓여야 정답일까요? 내용 기준으로는 과거 쪽, 문체 기준으로는 현재 쪽입니다. 그래서 저는 이 실험을 정답 맞히기로 읽기보다, 벡터가 어느 쪽 신호에 더 민감하게 반응하는지를 보여주는 창문으로 읽는 편이 낫다고 봅니다.
또 하나 짚고 싶은 것은 순서라는 평가 방식 자체의 성격입니다. 정확한 연도를 맞히는 것과 흐름을 맞히는 것은 다른 과제입니다. 전자는 숫자 맞히기이고, 후자는 줄 세우기입니다. 이 연구가 택한 것은 후자이며, 이는 실용적인 선택입니다. 실제 정리 작업에서는 1987년과 1988년을 엄밀히 가르는 것보다, 1980년대 묶음과 2000년대 묶음을 가르는 것이 먼저 필요할 때가 많기 때문입니다. 줄만 제대로 서도 태그를 붙이고, 구간을 나누고, 이상한 위치에 낀 문서를 골라내는 일이 가능해집니다.
시간과 공간은 같은 방식으로 읽힐까
시간과 지리를 하나의 방법으로 함께 다룬다는 점은 이 연구의 묘미인데요. 얼핏 보면 둘은 닮았습니다. 둘 다 순서가 있고, 이웃한 것끼리 비슷하며, 멀수록 다르죠. 1990년과 2000년이 이웃하고, 서울과 인천이 이웃한 것처럼요. 그래서 하나의 축 위에 올리는 방식이 둘 다에 통한다는 결과는 직관적으로 납득이 갑니다.
그런데 실제로는 그렇지 않은 구석도 있습니다. 시간은 한 방향으로만 흐르지만, 공간은 여러 방향으로 펼쳐지기 때문입니다. 시간은 과거에서 미래로 이어지는 하나의 줄로 상상하기 쉽지만, 지리는 동서축과 남북축이 함께 있어야 온전해집니다. 하나의 축으로 지리를 읽는다면, 그것은 전체 지도를 복원했다기보다 특정한 방향으로의 기울기를 읽은 것에 가깝습니다. 예를 들어 서쪽 도시들에서 동쪽 도시들로 이어지는 흐름이라면, 남북 차이는 그 축 위에서는 잘 드러나지 않을 수 있습니다.
그렇다면 지리에 대해서는 축을 여러 개 세워야 할까요? 이 질문은 자연스럽게 다음 연구로 이어집니다. 하나의 축으로도 의미 있는 배치가 드러났다는 이번 관찰은 출발점으로 충분하지만, 공간의 넓이를 온전히 담으려면 방향을 둘로 나누거나, 지역 묶음마다 축을 따로 세우는 방식이 필요할지도 모릅니다. 저는 이 지점에서 시간과 공간을 같은 성공으로 묶어 읽기보다, 시간에서는 줄 세우기가, 공간에서는 기울기 읽기가 각기 다른 의미로 통했다고 이해하는 편이 더 정확하다고 봅니다.
해석 도구로 쓸 때 조심해야 할 대목
저자들은 이 방법을 해석 가능성과 하위 작업에 쓸 수 있는 실용적인 도구로 자리매김합니다. 해석 가능성이라는 말은 모델이 무엇을 담고 있는지를 사람이 이해할 수 있게 만든다는 뜻인데, 축과 투영이라는 설명은 알아듣기 쉽습니다. 방향 하나와 순서 하나만 남으니, 복잡한 수식 없이도 무엇을 본 것인지 이야기할 수 있기 때문입니다.
하지만 여기서 한 걸음 물러서서 물을 필요가 있습니다. 축 위에 드러난 순서가 모델의 이해를 보여주는 걸까요, 아니면 데이터에 밴 흔적을 보여주는 걸까요? 언어 모델은 세계를 직접 보고 배우지 않습니다. 세계에 대해 쓰인 글을 읽고 배웁니다. 그래서 19세기라는 말이 자주 등장하는 문장들의 벡터가 한쪽에 모였다면, 그것은 모델이 역사를 이해해서라기보다 19세기라는 표식이 글 속에 자주 함께 등장했기 때문일 수 있습니다. 표면적으로 보면 단순합니다. 실제로는 그렇지 않다는 말이 바로 이런 데서 필요합니다.
이 구분은 도구의 가치를 깎아내리지 않습니다. 오히려 쓰임새를 분명히 해줍니다. 모델 내면에 지도가 들어 있다고 말하는 대신, 출력 벡터에 시기와 지역에 관한 실용적인 신호가 들어 있다고 말하는 것이죠. 전자는 존재에 대한 주장이고, 후자는 쓰임에 대한 주장입니다. 저는 후자 쪽이 훨씬 단단하다고 봅니다. 실무에서 필요한 것은 모델이 세계를 아느냐는 철학적 물음이 아니라, 날짜 없는 문서를 시간순으로 늘어놓을 수 있느냐는 작업상의 물음이기 때문입니다. 해석이라는 단어를 조금 낮추어, 순위 읽개라는 별명으로 불러도 좋을 것 같습니다.
검색과 태깅 앞에서 남는 질문들
연구가 겨냥하는 하위 작업으로는 시간 순서화, 지리 순위화, 태깅이 언급됩니다. 셋은 서로 이어져 있습니다. 순서가 서면 구간을 나눌 수 있고, 구간이 나뉘면 태그를 붙일 수 있으며, 태그가 붙으면 검색이 쉬워지기 때문입니다. 날짜가 없는 기사 뭉치를 دهه별로 묶거나, 지역 언급이 흩어진 보고서에 대략적인 권역을 붙이는 장면을 떠올리면 됩니다.
실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 씨앗은 누가, 얼마나 자주 고쳐야 할까요? 언어는 계속 바뀌고, 지명도 새로 생기며, 행정 구역도 조정됩니다. 오늘 잡은 축이 내년에도 같은 방향을 가리키리라는 보장은 없습니다. 그래서 이 도구를 검색 파이프라인에 넣는다면, 축을 주기적으로 다시 맞추는 과정이 함께 있어야 합니다. 기준 문서를 고정해두고 드리프트를 재거나, 새로 들어온 문서 가운데 시기가 분명한 것을 씨앗에 보태는 식이죠. 한 번 세운 나침반을 영원히 믿는 것이 아니라, 계절마다 다시 교정하는 셈입니다.
또 하나는 태깅의 책임 문제입니다. 자동 태그는 편리하지만, 잘못 붙은 시간 태그는 사람을 오도합니다. 특히 역사 기록이나 보도 자료에서는 연대 오류가 사실 오류로 번질 수 있습니다. 그래서 저는 이 도구를 단독 판정자로 쓰기보다, 후보를 좁혀주는 조수로 쓰는 그림을 그립니다. 투영 순위로 대략적인 구간을 제안하고, 경계에 걸린 문서는 사람이 확인하는 것이죠. 전부 자동화하겠다는 욕심을 버리면, 오히려 도입 속도는 빨라집니다. 애매한 것만 골라내주는 도구가 현장에서는 더 반갑기 때문입니다.
앞으로 제가 지켜보고 싶은 장면
이 글을 쓰면서 계속 마음에 남았던 것은 단순함의 사용법입니다. 씨앗 몇 개와 방향 하나, 그리고 순서 읽기. 이 조합으로 시간과 공간의 무늬를 끄집어낼 수 있다는 관찰은, 해석 연구가 꼭 거대한 장치를 요구하지 않는다는 것을 보여줍니다. API 너머의 모델 앞에서도 쓸 수 있고, 학습 파이프라인을 건드리지 않아도 되며, 설명도 짧게 끝낼 수 있으니까요?
제가 앞으로 보고 싶은 것은 이 축이 다른 종류의 순서에도 통하는지입니다. 난이도 순서, 격식 순서, 구체성 순서처럼 시간과 공간만큼 분명하지 않은 차원에서도 같은 방식으로 방향이 잡힐까요? 만약 그렇다면 임베딩 공간은 우리가 생각했던 것보다 더 가지런한 서랍장인지도 모릅니다. 반대로 시간과 지리에서만 유독 잘 된다면, 그 이유 자체가 흥미로운 단서가 됩니다. 세계가 글로 남긴 흔적 가운데 유독 이 둘이 진하게 밴 이유를 묻게 되니까요?
문서를 정리하는 사람의 마음으로 돌아오면, 남는 것은 꽤 실제적인 기대입니다. 날짜 없는 기록에 잠정적인 순서를 매기고, 지역이 흩어진 자료에 가벼운 태그를 붙이며, 이상한 자리에 낀 문서를 골라내는 일. 거창한 이해를 주장하지 않아도, 이런 정리만 제대로 도와줘도 충분히 고마운 도구가 됩니다. 그래서 저는 이 연구를 지도 제작 선언이 아니라, 책상 정리법을 새로 배운 소식으로 받아들였습니다. 서랍 속 벡터들을 시간과 장소의 줄로 다시 늘어놓는 법을 하나 배운 셈이죠.