T-GADE, LLM이 만든 결과물을 열역학으로 진화시키는 법

T-GADE, Thermodynamical Generative-AI-Driven Evolution of LLM Artifacts라는 연구가 arXiv에 공개됐습니다. 식별 번호는 2609.12286이며, 이 글에서 다루는 주장은 하나의 문장으로 정리할 수 있는데, LLM이 만든 구조적 결과물을 자유 에너지라는 하나의 목표로 진화시키면 탐색과 다양성의 균형을 이론과 실험에서 함께 잡을 수 있다는 것입니다. 원문 논문으로 이어지는 연결은 이 글의 제목 아래에 마련되어 있습니다.

제가 이 연구를 처음 펼쳤을 때 든 생각은 생각보다 소박했습니다. 진화 연산에 LLM을 붙인다는 이야기는 이제 낯설지 않으니까요. 그런데 페이지를 넘기면서 시선이 머문 대목이 있었습니다. 다양성을 말로만 강조하지 않고, 점유 방식이라는 물리학의 언어로 집단 안에 직접 새겨 넣었다는 점이었죠. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 그런 기준으로 보면 이 논문은 숫자를 내세우기 전에 무엇을 보존할지를 먼저 정한 연구처럼 읽혔습니다.

왜 LLM의 출력물을 그냥 두면 진화가 멈출까요

여러 사람이 함께 일하다 보면, 누군가의 말 한마디가 팀 전체의 분위기를 바꾸기도 합니다. 그렇다면 여러 LLM 출력물이 한 집단으로 일할 때도 비슷한 일이 생길까요. 제 경험으로는 그렇다고 답할 수밖에 없는데요. 초반에 운 좋게 점수가 잘 나온 출력물이 하나만 생겨도, 그 다음 세대는 전부 그 출력물의 사소한 변형으로 채워지기 때문입니다.

이 현상을 진화 연산에서는 다양성 붕괴라고 부릅니다. 생성 능력이 좋아질수록 오히려 붕괴가 빨라지는 역설이 있는데, 이유를 따져보면 어렵지 않습니다. LLM이 워낙 그럴듯한 변형을 잘 만들어내니까요. 점수가 조금 높은 해법을 주면, 그 주변을 매끈하게 메우는 변형들을 끝없이 뽑아냅니다. 그래서 집단은 넓게 탐색하는 대신 이미 찾은 봉우리 주변에만 머뭅니다.

문제는 그다음입니다. 봉우리 주변에만 머무르면 당장의 점수는 안정적으로 보이지만, 더 멀리 있는 해법은 영영 눈에 들어오지 않습니다. 특히 코드처럼 구조가 있는 출력물에서는 이 문제가 커지는데요. 설명 문장 하나만 달라도 실행 결과가 달라질 수 있고, 반대로 코드는 같은데 설명만 바뀌어서 점수가 부풀려 보일 수도 있기 때문입니다. 겉으로 보이는 점수는 비슷한데 실제로는 같은 해법이 집단 안에 여러 벌 들어앉는 일이 생기죠.

그렇다면 다양성을 어떻게 잴 수 있을까요. 단순히 점수가 다르다고 다양한 것은 아닙니다. 같은 코드를 공백만 바꿔서 열 개를 늘어놓는다고 탐색이 넓어졌다고 말할 수는 없으니까요. 그래서 이 연구는 결과물 자체의 겉모습이 아니라, 아티팩트 수준에서의 차이를 본다고 말합니다. 이 대목에서 저는 고개를 끄덕였습니다. 진짜로 지켜야 할 것은 점수표의 분산이 아니라, 집단 안에 서로 다른 시도가 살아남아 있는 상태이기 때문입니다.

설명과 코드가 한 쌍일 때 뭐가 달라질까요

이 연구가 말하는 구조적 아티팩트라는 표현은 처음 들으면 조금 딱딱하게 느껴집니다. 하지만 뜻을 풀어보면 단순한데요. 설명과 코드처럼, 서로를 보완하는 요소들이 명시적인 구조로 묶여 있는 LLM 출력물을 가리킵니다. 다시 말하면, 말로 된 아이디어와 실행 가능한 구현이 한 쌍으로 붙어 다닌다는 것이죠.

생각해보면 사람도 비슷하게 배웁니다. 아이디어만 말하고 구현은 남에게 미루는 것과, 아이디어를 직접 코드로 옮겨서 돌려보는 것은 배움의 밀도가 다릅니다. LLM이 만든 결과물도 마찬가지인데, 설명만 그럴듯하고 코드가 따라오지 못하면 허울뿐인 해법이 되고, 코드만 있고 설명이 없으면 왜 그런 선택을 했는지 알 수 없어서 변형이 어려워집니다. 그래서 설명과 코드가 함께 있어야 진화가 다음 세대로 무언가를 물려줄 수 있습니다.

여기서 재미있는 질문이 생깁니다. 그렇다면 변형 연산자는 무엇을 바꿔야 할까요. 기존 진화 연산에서는 교배와 돌연변이가 정해진 규칙대로 문자열 일부를 자르고 붙였습니다. 반면 이 연구가 말하는 LLM 기반 유전 연산자는 그 역할을 언어가 이해하는 방식으로 대신합니다. 코드를 읽고 설명의 의도를 파악한 뒤, 그 의도를 살리면서 다른 구현을 제안하는 식이죠. 일종의 오답 노트처럼요. 틀린 이유를 글로 적어두면 다음 시도에서 같은 실수를 피할 수 있듯이, 설명이 함께 있으면 변형이 방향을 갖게 됩니다.

저는 이 대목에서 예전 실험 하나가 떠올랐습니다. 코드만 진화시키면 집단이 금방 말라붙었는데, 변경 이유를 함께 적게 했더니 변형의 폭이 넓어졌던 경험이 있죠. 물론 이 논문이 제 경험을 직접 다룬 것은 아닙니다. 다만 구조가 있으면 연산자가 똑똑해질 수 있다는 직관은 서로 통해 보였습니다. 구조가 없는 문자열을 자르는 일과, 의도가 적힌 설계도를 고치는 일은 난이도부터 다르니까요.

그렇다면 온도는 진화에서 무슨 일을 할까요

온도라는 말을 들으면 물리학 실험실이 먼저 떠오릅니다. 그런데 진화 연산에서 온도는 생각보다 직관적인데요. 얼마나 탐험적으로 선택할지를 정하는 손잡이라고 보시면 됩니다. 온도가 낮으면 점수가 좋은 개체만 살아남고, 온도가 높으면 점수가 조금 낮아도 다른 시도를 곁에 두는 식이죠.

이 연구가 가져온 열역학적 유전 알고리즘이라는 틀은 그 손잡이를 자유 에너지라는 하나의 목표로 정리합니다. 이름이 거창하게 들릴 수 있지만, 구성은 단순합니다. 한쪽에는 점수를 높이고 싶은 힘이 있고, 다른 한쪽에는 다양성을 유지하고 싶은 힘이 있습니다. 온도는 그 둘 사이의 교환 비율을 정해주는데요. 낮은 온도에서는 점수 쪽으로 기울고, 높은 온도에서는 다양성 쪽으로 기울게 됩니다.

이 차이는 생각보다 중요합니다. 보통은 선택 압력이라는 말을 쓰면서도, 그 압력을 얼마나 줄지를 매번 감으로 정하곤 합니다. 반면 자유 에너지로 쓰면 목표가 하나로 고정되니까요. 어떤 방식으로 집단을 갱신하더라도 같은 기준으로 잘라낼 개체를 고를 수 있습니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 목표가 하나이니 비교가 가능해지고, 비교가 가능해지니 실험이 쌓이기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 자유 에너지가 만능이라는 뜻은 아니기 때문입니다. 온도를 정하는 일 자체가 여전히 남아 있고, 다양성을 어떻게 정의하느냐에 따라 결과가 달라질 수밖에 없습니다. 그럼에도 이 정리는 진화를 운에 맡기는 일에서 벗어나게 해줍니다. 무엇을 위해 다양성을 치르는지를 식으로 적을 수 있게 되니까요. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 그렇다면 다양성의 단위를 무엇으로 삼아야 할까요.

페르미와 보즈라는 낯선 이름은 왜 필요할까요

페르미와 보즈라는 단어가 논문에 나오면 많은 독자가 멈칫합니다. 저도 처음에는 그랬는데요. 알고 보면 질문은 단순합니다. 집단 안에 똑같은 유전형을 두 개까지 둘 것인가, 아니면 하나만 둘 것인가 하는 것이죠.

페르미형 점유는 반복된 유전형을 제외합니다. 같은 코드가 이미 집단에 있으면, 아무리 점수가 좋아도 중복으로는 들어가지 못합니다. 반면 보즈형 점유는 반복을 허용합니다. 점수가 좋은 해법이라면 같은 형태가 여러 자리 차지해도 괜찮다는 것이죠. 이 구분을 점유라는 말로 부르는 이유는, 자리를 누가 어떻게 차지하는지를 규칙으로 정하기 때문입니다.

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 중복을 허용하면 좋은 해법 주변에 집단이 몰리면서 탐색이 안정되지만, 다양성이 줄어드는 대가를 치릅니다. 반대로 중복을 막으면 집단은 넓게 퍼지지만, 아직 다듬어지지 않은 가능성까지 너무 빨리 버릴 위험이 있습니다. 그래서 어느 쪽이 좋다고 미리 정할 수는 없고, 온도와 함께 묶어서 봐야 합니다.

개인적으로 인상 깊었던 점은, 이 구분을 말로만 하지 않고 목표 함수 안에 넣었다는 것입니다. 다양성을 구호로 외치는 대신, 같은 개체가 몇 개까지 자리를 차지할 수 있는지를 수식으로 못 박았으니까요. 덕분에 실험에서 무엇을 비교하는지가 분명해집니다. 같은 온도에서도 점유 방식이 바뀌면 집단의 모습이 달라지고, 그 차이가 점수에 어떻게 남는지를 물을 수 있게 되죠. 그렇다면 다음으로 궁금해지는 것은 당연히 갱신 방식입니다. 자리를 어떻게 비우고 채울 것인가 하는 것이죠.

세대를 한 번에 갈아엎는 일과 한 명씩 바꾸는 일

진화 연산에는 크게 두 가지 생활 방식이 있습니다. 하나는 세대 단위 업데이트이고, 다른 하나는 정상 상태 업데이트인데요. 전자는 한 세대를 통째로 평가한 뒤 다음 세대를 꾸리고, 후자는 한두 개체씩 조금씩 교체하면서 집단을 굴려갑니다.

각 방식에는 체감이 다른 장단이 있습니다. 세대 단위는 비교가 깔끔합니다. 같은 조건에서 태어난 후보들을 나란히 놓고 고를 수 있으니까요. 다만 한 세대가 끝날 때까지 기다려야 해서, 좋은 발견을 바로 반영하기 어렵습니다. 반면 정상 상태 방식은 발견을 바로 집어넣을 수 있어서 민첩하지만, 언제 들어온 개체와 누구를 비교해야 하는지가 헷갈리기 쉽습니다.

이 연구가 제가 보기에 잘한 일은, 두 방식을 서로 다른 규칙으로 다루지 않았다는 점입니다. 같은 자유 에너지 목표를 두고, 세대 단위와 정상 상태라는 두 가지 생활 방식 모두를 그 목표 아래에 포갰으니까요. 그래서 점유 방식이 페르미형이든 보즈형이든, 갱신 방식이 세대 단위든 정상 상태든, 결국 같은 질문으로 돌아옵니다. 지금 이 집단을 자유 에너지 기준으로 더 좋게 만드는 교체는 무엇인가 하는 것이죠.

좋은 건 알겠는데, 이걸 실제로 어떻게 계산할까요. 집단을 통째로 바꾸는 일과 한 명씩 바꾸는 일은 계산량이 다르기 때문입니다. 특히 LLM 연산자가 들어간 진화에서는 후보 하나를 만드는 비용 자체가 만만치 않습니다. 그래서 이론이 아무리 예뻐도, 한 명을 내보내는 규칙이 정확하지 않으면 현장에서 쓸 수 없습니다. 바로 그 지점에서 다음 대목이 이어집니다.

한 명을 내보낼 때 정확히 무엇을 계산할까요

집단에서 한 명을 덜어내는 일은 생각보다 까다롭습니다. 누구를 빼느냐에 따라 집단의 점수 평균도 바뀌고, 다양성의 모양도 바뀌기 때문입니다. 보통은 점수가 가장 낮은 개체를 빼면 된다고 생각하기 쉬운데요. 다양성까지 함께 보면 이야기가 달라집니다. 점수는 낮지만 집단에 하나뿐인 독특한 시도를 가진 개체가 있을 수 있으니까요.

이 논문이 정리한 대목 중 하나는 바로 이 한 명 제거 규칙입니다. 자유 에너지라는 같은 저울 위에 점수와 다양성을 함께 올려놓고, 누구를 덜어냈을 때 저울이 가장 많이 가벼워지는지를 따지는 식이죠. 말로 풀면 단순하지만, 매번 집단 전체를 다시 계산하지 않고도 그 선택을 정확히 할 수 있게 했다는 점이 기술적으로 마음을 끕니다. 계산이 무거우면 이론은 현장에서 힘을 잃기 마련이니까요.

여기서 저는 조금 의심했습니다. 정확하다는 말이 실제로는 근사에 가깝지는 않을까 하고요. 그런데 논문의 서술을 따라가 보면, 적어도 한 명 제거라는 범위 안에서는 정확성을 주장할 근거를 갖추고 있습니다. 조건을 분명히 하고, 그 조건 안에서 어떤 개체를 빼는 것이 목표를 가장 많이 낮추는지를 가려내니까요. 물론 조건이 바뀌면 답도 바뀌겠지만, 그 조건을 드러냈다는 점 자체가 다음 실험을 가능하게 합니다.

실제 시스템 관점에서 보면 이 규칙은 운영의 아침을 지켜주는 장치에 가깝습니다. 밤사이 후보가 수십 개씩 쌓이고 아침에 누구를 남길지 정해야 할 때, 매번 전체를 다시 돌릴 수는 없기 때문입니다. 한 명씩 정확히 덜어낼 수 있으면 집단을 조금씩 다듬으면서도 목표에서 벗어나지 않을 수 있습니다. 그렇다면 마지막 이론 조각도 자연스럽게 궁금해집니다. 기존 방법은 이 틀 안에서 어디에 놓이는가 하는 것이죠.

EoH의 규칙은 왜 저온에서 다시 나타날까요

EoH라는 이름은 휴리스틱의 진화라는 흐름을 기억하는 독자에게 낯설지 않을 것입니다. LLM으로 휴리스틱을 진화시키는 대표적인 방식 중 하나인데요. 이 연구는 그 EoH의 생존 규칙이 특정 조건에서는 자신들의 틀에서 그대로 나온다고 말합니다. 온도를 0으로 보내는 극한에서, 그리고 조건이 맞을 때 기존 규칙이 회복된다는 것이죠.

이 대목은 얼핏 보면 사소해 보일 수 있습니다. 이미 있던 방법을 다시 유도했다고 뭐가 새로울까 싶기 때문입니다. 그런데 저는 반대로 봅니다. 새로운 틀이 기존의 좋은 방법을 품을 수 있다는 것은, 그 틀이 허황된 일반화가 아니라는 신호이기 때문입니다. 온도가 0이면 다양성에 대한 배려가 사라지고 점수만 남는데, 그때 살아남는 규칙이 EoH와 같아진다면 두 연구는 같은 지도 위에 놓이게 됩니다.

질문도 바뀌었습니다. 어떤 방법이 더 좋은가를 묻는 대신, 어떤 온도에서 어떤 방법이 같은 선택을 하는가를 물을 수 있게 되었으니까요. 온도를 올리면 다양성이 살아나고, 온도를 내리면 점수 순으로 자리가 정해집니다. 그 연속선 위에서 EoH는 저온 끝점에 찍힌 점처럼 보입니다. 이렇게 보면 논쟁이 설명으로 바뀌는데요. 어느 한쪽이 틀린 것이 아니라, 온도가 다른 자리에서 같은 저울을 쓰고 있었던 셈이죠.

다만 여기서는 과장하지 않고 읽어야 합니다. 저온 극한에서의 일치가 모든 설정에서의 우열을 말해주지는 않기 때문입니다. 특히 LLM 연산자가 개입하는 진화에서는 연산자의 성향 자체가 결과를 크게 흔듭니다. 그럼에도 이 연결은 실용적인 힌트를 줍니다. 지금 쓰고 있는 선택 규칙이 어느 온도대의 행동인지를 알면, 다양성이 부족할 때 온도를 올려야 할지 연산자를 바꿔야 할지를 가늠할 수 있으니까요. 이론 이야기는 여기까지 하고, 이제는 땅에 발을 붙일 차례입니다. 실제로 무엇을 재고 무엇을 얻었는가 하는 것이죠.

빈 패킹에서 초과분이라는 숫자는 무엇을 잴까요

온라인 빈 패킹은 짐을 상자에 넣는 문제를 온라인으로 푼다고 생각하시면 됩니다. 물건이 하나씩 도착할 때마다, 이미 열어둔 상자에 넣을지 새 상자를 열지를 바로 정해야 하는데요. 나중에 올 물건을 미리 볼 수 없다는 점이 이 문제를 어렵게 만듭니다. 그래서 어떤 규칙으로 넣을지를 정하는 휴리스틱의 품질이 그대로 상자 수로 드러납니다.

이 연구가 재는 초과분이라는 지표도 그 맥락에서 읽어야 합니다. 부피 하한이라는 이상적인 기준선보다 상자를 얼마나 더 썼는지를 비율로 나타낸 것인데요. 예를 들어 이론적으로 열 상자면 될 짐을 열한 상자에 나눠 담았다면, 초과분이 생긴 셈입니다. 숫자가 낮을수록 상자를 아낀 것이고, 높을수록 낭비가 심했다는 뜻이죠.

여기서 훈련 초과분과 전이 초과분을 나눈 점이 마음을 끕니다. 훈련 초과분은 탐색에 쓰인 문제들에서의 낭비를 재고, 전이 초과분은 상자 용량이 다른 문제들로 옮겨갔을 때의 낭비를 잽니다. 이 구분이 필요한 이유는 분명한데요. 탐색에 쓰인 문제에서만 잘하는 규칙은 외운 규칙일 수 있기 때문입니다. 용량이 바뀌어도 통하는지가 진짜 일반화의 시험대가 되죠. 저희 팀 관점에서도 공감되는 대목입니다. 같은 데이터에서만 잘 나오는 개선은 운영에서 금방 깨지기 때문입니다.

구체적인 장면을 떠올려보시면 이해가 쉽습니다. 새벽 물류센터에서 박스 규격이 바뀌었다고 해보죠. 어제까지 잘 돌아가던 적재 규칙이 오늘은 상자를 훨씬 더 쓰기 시작합니다. 그렇다면 어제의 점수는 그대로 믿기 전에 조건을 봐야 합니다. 훈련 때의 초과분은 출발점일 뿐이고, 규격이 바뀐 뒤의 초과분이 실제 청구서가 되니까요. 바로 그 두 장면을 논문은 나란히 재고, 다음 장면에서 숫자를 내놓습니다.

29퍼센트라는 개선을 어떻게 읽어야 할까요

이제 숫자를 들여다볼 차례입니다. 세대 단위 보즈형 T-GADE는 온도가 0.003일 때 중간값 기준으로 훈련 초과분을 1.152퍼센트에서 0.815퍼센트로 낮췄는데요. 비율로 따지면 29퍼센트 정도의 감소입니다. 각 설정마다 스무 번씩 실행한 결과이고, 통계적으로도 p값이 0.042, Cliff 델타가 0.378로 보고됐습니다.

숫자가 주는 첫인상은 분명합니다. 훈련에 쓰인 문제들 안에서는 같은 출발선에 선 EoH보다 낭비를 줄였다는 것이죠. 스무 번 반복했다는 대목도 가볍게 넘길 일이 아닌데요. 진화 실험은 초기 집단과 LLM 출력의 흔들림 때문에 한 번의 승부가 운일 수 있기 때문입니다. 중간값을 보고 통계량을 함께 적은 것은, 한두 번의 요행을 일반화하지 않겠다는 태도로 읽혔습니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 그 이야기는 전이 결과에서 다시 다루겠습니다. 전이 쪽을 보면 그림이 조금 달라지는데요. 최종 후보 중 상위 두 개를 검증용으로 골라 뽑았을 때, 전이 초과분의 중간값은 EoH와 같은 0.496퍼센트에 도달했습니다. 다시 말하면, 훈련에서는 앞섰지만 낯선 용량으로 옮겨가서는 동률이 된 셈이죠.

여기서는 조금 조심해서 읽을 필요가 있습니다. 동률이라는 말이 실패를 뜻하지는 않기 때문입니다. 훈련에서 더 좋은 해를 찾으면서도 전이에서 뒤처지지 않았다는 것은, 다양성을 치른 대가가 헛되지 않았다는 뜻으로 읽을 수 있습니다. 반면 겉으로 드러난 전이 개선이 없다는 점도 분명히 적어야 합니다. 숫자를 부풀리지 않고 적었다는 점에서 저는 이 보고 방식을 신뢰 쪽으로 봅니다. 좋은 건 알겠는데, 그렇다면 다음으로 물을 것은 당연히 비용과 한계입니다.

그렇다면 사람의 역할은 어디에 남을까요

2022년, 우리는 좋은 프롬프트가 무엇인지를 물었습니다. 불과 몇 년 만에 그 질문은 완전히 달라졌고, 이제는 시스템이 스스로 반성하고 진화하며 더 나은 프롬프트를 찾아가는 단계에 이르렀습니다. T-GADE가 던지는 질문도 그 연장선에 있는데요. 무엇을 진화시킬지 정하고 나면, 남은 일은 어떻게 고르고 어떻게 남길지가 되기 때문입니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 온도와 점유를 손잡이로 만든 선택이었습니다. 점수가 전부가 아니라는 말은 누구나 하지만, 그 말을 집단 운영 규칙으로 옮기는 일은 흔치 않습니다. 자유 에너지라는 하나의 저울, 반복을 허용할지를 정하는 점유 방식, 한 명씩 덜어내는 정확한 규칙, 그리고 저온에서 기존 방법과 이어지는 연결까지가 하나의 이야기로 꿰어지니까요. 각각은 기술적인 조각이지만, 함께 보면 집단을 어떻게 살릴지에 대한 태도가 됩니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 틀을 운영에 올리면 무엇이 달라질까요. 후보를 만드는 비용이 큰 환경에서는 세대 단위보다 조금씩 고치는 방식이 어울릴 수 있고, 중복이 잦은 환경에서는 페르미형처럼 중복을 막는 편이 탐색을 넓게 유지해줄 수 있습니다. 물론 온도를 정하는 일과 다양성을 재는 일은 여전히 사람의 몫으로 남는데요. 무엇을 다양하다고 볼지, 무엇을 훈련용으로 쓰고 무엇을 전이 시험대로 삼을지는 논문이 대신 정해줄 수 없기 때문입니다.

제가 앞으로 보고 싶은 것은 그 다음 장면입니다. 빈 패킹을 넘어 코드와 설명이 얽힌 더 복잡한 아티팩트에서, 같은 저울이 같은 방식으로 작동하는지 보고 싶습니다. 또한 온도를 고정하지 않고 진화의 단계에 따라 바꾸면 어떤 일이 생기는지도 궁금합니다. 처음에는 넓게 보고 나중에는 좁게 조이는 일이 사람에게는 자연스러운데, 집단에게도 같은 리듬이 통할까요. 그 답을 확인하기 전까지는, 이 연구가 준 가장 쓸모 있는 도구는 숫자보다 질문이라고 말하고 싶습니다. 지금 내 집단의 온도는 몇 도인가, 그리고 그 온도가 의도한 것인가 하는 것이죠.