에이전트가 화학 메커니즘을 스스로 풀어낼 수 있을까

가설 생성부터 계산 검증까지 닫힌 고리로 돌리는 ARCHE를 통해 자율 화학 탐구의 구조와 한계를 읽어봅니다.

원문 논문 보기
'에이전트가 화학 메커니즘을 스스로 풀어낼 수 있을까' 기사 커버 이미지

오늘 다루는 작업은 Autonomous Chemical Mechanistic Discovery through Agentic Reasoning and Validation이며, arXiv에 arXiv:2609.11147로 공개된 프리프린트입니다. 이 작업이 내세우는 주장은 하나의 문장으로 정리할 수 있는데, 일반 추론 모델과 계산 화학에 특화된 모델 그리고 정돈된 도구 등록소를 하나의 에이전트 고리로 묶으면 반응 메커니즘 탐구를 전문가의 손을 덜 타면서도 스스로 검증되는 과정으로 바꿀 수 있다는 것입니다. 이 논문의 원문으로 이어지는 연결은 이 글의 제목 아래에 걸려 있습니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 숫자보다 그 앞의 질문이었습니다. 화학에서 메커니즘을 안다는 것은 무슨 뜻이며, 그 과정을 왜 자동화하기 어려웠는지를 먼저 짚고 싶습니다. 그래서 이 글에서는 ARCHE라는 시스템이 어떤 구조로 질문을 해석하고 가설을 세우고 계산으로 깎아내는지, 그리고 세 가지 화학 사례에서 무엇을 보여주었는지를 차례로 따라가겠습니다.

계산은 많은데 왜 메커니즘은 여전히 사람의 손을 탈까

화학 반응식을 보면 화살표 하나로 끝나지만, 실제로 그 화살표 안에는 수많은 갈림길이 들어 있습니다. 어떤 결합이 먼저 끊어지고, 어떤 중간체가 잠깐 나타났다 사라지며, 어떤 전이 상태가 전체 속도를 좌우하는지를 알아내야 메커니즘을 안다고 말할 수 있죠. 그런데 이 질문에 답하려면 계산 화학 도구를 수십 번, 때로는 수백 번 돌리면서 구조를 만들고 에너지를 비교하고 다시 구조를 고쳐야 합니다. 계산 자체는 빨라졌지만, 무엇을 계산할지를 정하는 판단은 여전히 사람의 머릿속에 머물러 있었습니다.

저는 이 지점에서 문득 실험실 복도의 풍경이 떠올랐습니다. 박사과정생이 밤늦게 구조 최적화가 수렴하지 않는 로그를 들여다보면서, 이 초기 구조가 잘못된 것인지 아니면 방법 자체가 맞지 않는 것인지를 고민하는 장면 말이죠. 이럴 때 전문가는 직관으로 다음 수를 두는데, 대칭성을 조금 깨뜨려보거나 용매 모델을 바꾸거나 아예 다른 중간체를 먼저 시도해보는 식입니다. 문제는 이런 직관이 문서화되기 어렵고, 그래서 다른 사람이 같은 과정을 반복하기도 어렵다는 데 있습니다.

그렇다면 이 흐름을 기계가 이어받을 수 있을까요. 단순히 계산을 대신 돌리는 정도가 아니라, 다음에 무엇을 계산할지를 정하는 판단까지 맡을 수 있을까요. ARCHE가 던지는 질문은 바로 여기에서 시작합니다. 왜냐하면 계산 도구를 많이 모아두는 것만으로는 부족하고, 질문을 해석하고 가설에 순서를 매기고 증거에 따라 결론을 고쳐 쓰는 고리가 필요하다는 것이 이 작업의 출발점이기 때문입니다.

세 개의 부품을 한 고리로 묶으면 무엇이 달라질까

ARCHE의 구조를 처음 보면 낯설지 않습니다. 일반 목적의 추론 모델이 있고, 계산 화학에 특화된 도메인 모델이 있으며, 사용할 수 있는 도구들의 목록을 담은 등록소가 있습니다. 각각은 이미 우리가 아는 부품이죠. 그런데 이 논문이 말하는 차이는 부품 자체보다 그 부품을 묶는 방식에 있습니다. 추론 모델이 질문을 이해하고 계획을 세우면, 도메인 모델이 화학적으로 말이 되는 구조와 경로를 제안하고, 등록소에 정리된 도구들이 실제 계산을 수행합니다. 그리고 계산 결과가 다시 추론 모델로 돌아와 다음 계획을 고칩니다.

생각해보면 사람도 비슷하게 일합니다. 큰 그림을 그리는 사람과 분자 구조에 밝은 사람이 함께 일하고, 옆에는 깔끔하게 정리된 실험 장비 목록이 있는 셈이죠. 제가 주목한 것은 등록소라는 표현이었는데, 도구를 그때그때 문자열로 호출하는 방식이 아니라 어떤 도구가 어떤 입력과 출력을 가지며 어떤 조건에서 믿을 수 있는지를 구조화해 두었다는 뜻이기 때문입니다. 도구가 많을수록 에이전트는 헤매기 쉬운데, 목록이 정돈되어 있으면 헤맴의 폭이 줄어듭니다.

물론 구조가 깔끔하다고 해서 화학이 쉬워지는 것은 아닙니다. 오히려 여기서부터가 진짜 질문입니다. 가설을 어떻게 만들고, 어떤 순서로 검증하며, 계산이 서로 엇갈릴 때는 무엇을 믿을 것인가요. 그래서 다음 장면에서는 이 고리가 실제로 어떻게 돌아가는지를 들여다보겠습니다.

가설은 어떻게 태어나고 어떻게 깎여나갈까

ARCHE의 동작을 한 문장으로 줄이면 이렇게 됩니다. 과학적 질문을 받아서 가능한 메커니즘 가설들을 여러 개 만들고, 그중에서 먼저 볼 만한 순서부터 정한 뒤, 계산 워크플로를 조율하면서 증거가 쌓일 때마다 결론을 다듬는다는 것입니다. 말로 하면 단순한데, 실제로는 매 단계마다 선택이 필요합니다. 가설이 다섯 개라면 어떤 것부터 계산할지, 하나의 가설 안에서도 어떤 중간체와 전이 상태를 먼저 잡을지, 계산이 실패하면 가설이 틀린 것인지 아니면 계산 조건이 나쁜 것인지를 구분해야 하니까요.

저는 이 우선순위라는 말이 꽤 중요하다고 봅니다. 사람이 메커니즘을 풀 때도 모든 가능성을 같은 무게로 보지 않으니까요. 결합 해리 에너지나 전하 분포, 비슷한 반응에서 본 패턴 같은 것을 근거로 먼저 볼 후보를 고르죠. ARCHE도 같은 일을 합니다. 추론 모델이 큰 방향을 잡고 도메인 모델이 화학적인 plausibility를 따지면서, 계산 비용이 많이 드는 단계로 넘어가기 전에 말이 안 되는 가지를 미리 쳐내는 것입니다. 그래서 전체 과정은 한 번의 추론이 아니라 여러 번의 다듬기로 이루어집니다.

여기서 재미있는 질문이 생깁니다. 다듬는다는 것은 결국 이전 판단을 뒤집을 수 있다는 뜻인데, 에이전트는 언제 자신의 가설을 버릴까요. 논문이 그리는 그림에서는 계산된 증거가 가설과 어긋날 때 워크플로가 다시 짜이고 결론이 고쳐집니다. 사람이 오답 노트를 보면서 다음 시도를 바꾸는 것과 비슷한 셈이죠. 이 고리가 몇 번을 돌 수 있는지, 그리고 도는 동안 같은 실수를 반복하지 않는지가 시스템의 성격을 가릅니다.

이미 답을 아는 문제를 다시 풀어보는 이유는 무엇일까

ARCHE가 처음 보여주는 사례는 이전에 보고된 비대칭 촉매 반응입니다. 이미 문헌에 메커니즘이 나와 있는 반응을 굳이 다시 푸는 이유는 단순합니다. 정답지가 있는 문제에서 시스템이 제대로 작동하는지를 확인할 수 있기 때문입니다. 논문에 따르면 ARCHE는 입체선택성을 결정하는 전이 상태를 다시 구성하고 그에 대응하는 반응 메커니즘을 검증했다고 합니다.

이 대목을 읽으면서 저는 조금 멈칫했습니다. 재구성했다는 말은 어디까지를 뜻할까요. 기존 문헌의 좌표를 그대로 가져온 것인지, 아니면 가설 공간에서 출발해 독립적으로 같은 전이 상태에 도달한 것인지에 따라 의미가 완전히 달라지기 때문입니다. 논문의 서술에 따르면 이 과정은 가설 생성과 계산 검증을 거친 결과이며, 단순한 복원이 아니라 검증까지 포함한 재구성으로 읽힙니다. 그럼에도 독자로서는 묻고 싶어집니다. 몇 개의 경쟁 가설을 고려했고, 그중에서 왜 이 경로가 남았는지를 말입니다.

그런데 이런 의심은 사실 이 시스템의 존재 이유를 잘 보여줍니다. 전문가가 있으면 눈으로 훑고 넘어갈 장면을, 에이전트는 계산으로 증명해야 하니까요. 어떤 전이 상태가 다른 것보다 낮은지, 그 차이가 입체선택성을 설명할 만큼 일관적인지를 숫자로 보여줘야 하죠. 이미 알려진 반응에서의 성공은 그래서 화려한 발견보다는 신뢰의 출발점에 가깝습니다. 여기에서 고리가 돌아간다면, 다음에는 아무도 답을 모르는 문제로 가볼 수 있으니까요.

아무도 발표하지 않은 반응 앞에서는 무슨 일이 벌어질까

두 번째 사례가 제가 이 논문에서 가장 오래 머문 장면입니다. 최근에 발견됐지만 아직 발표되지 않은 알파 아이오도보로네이트의 탄소 요오드 결합 절단 반응에서, ARCHE가 반복적인 가설 다듬기를 통해 그럴듯한 라디칼 경로를 제안하고 검증했다는 대목입니다. 미발표라는 말의 무게를 생각해보면 이 실험이 왜 중요한지 바로 감이 옵니다. 훈련 데이터에 답이 있을 가능성이 낮은 문제, 말 그대로 처음 보는 반응 앞에서 에이전트가 무엇을 해내는지를 보여주기 때문입니다.

라디칼 경로라는 말을 들으면 화학자는 바로 여러 갈래를 떠올립니다. 균일 분해가 일어나는지, 용매나 첨가제가 개입하는지, 붕소 옆자리 효과가 어떻게 작용하는지를 따져야 하죠. 그런데 에이전트에게는 이 상식이 자동으로 주어지지 않습니다. 가능한 경로들을 늘어놓고 하나씩 계산으로 쳐내야 합니다. 논문이 말하는 반복적 다듬기란 바로 이 과정을 뜻합니다. 처음에는 넓게 가설을 펼쳤다가 계산 결과가 쌓이면서 말이 되는 가지만 남기는 것입니다.

저는 여기서 시스템 관점의 질문을 하나 덧붙이고 싶습니다. 처음 보는 반응일수록 계산 조건 하나가 결과를 바꿀 수 있는데, 에이전트는 그 불확실성을 어떻게 다루었을까요. 논문의 서술은 그럴듯한 경로를 제안하고 검증했다는 쪽에 무게를 두지만, 독자로서는 그 경로 말고 다른 경로가 왜 탈락했는지가 더 궁금합니다. 탈락의 기록이 충실할수록 그 발견은 단단해지기 때문입니다. 그리고 이런 기록이야말로 전문가의 개입을 줄이면서도 신뢰를 유지하는 장치가 됩니다.

선택성을 숫자 하나로 설명한다는 것은 어떤 의미일까

세 번째 사례는 니켈 촉매 이동성 교차 커플링 반응에서 선택성을 지배하는 기술자를 찾았다는 보고입니다. 여기서 기술자(descriptor)란 복잡한 선택성 경향을 하나의 해석 가능한 수치나 구조적 특징으로 압축한 것을 뜻합니다. 수율이 어떻다는 말이 아니라, 왜 이쪽 생성물이 더 잘 나오는지를 설명하는 손잡이를 찾았다는 것입니다.

이 작업이 어려운 이유는 화학 공간이 넓기 때문입니다. 리간드가 조금만 바뀌어도 전자적 환경과 입체적 부피가 함께 바뀌고, 이동성이라는 말에서 알 수 있듯이 금속이 기질 위를 미끄러지듯 움직이는 과정까지 고려해야 합니다. 그런데 ARCHE는 이런 복잡한 경향 뒤에 있는 해석 가능한 특징을 짚어냈다고 합니다. 제가 이 대목을 마음에 들어 한 이유는 단순합니다. 예측만 하는 모델과 설명까지 하는 탐구는 쓰임이 다르기 때문입니다. 예측은 다음 실험을 고르는 데 도움을 주지만, 설명은 다음 분자를 설계하는 눈을 만들어줍니다.

다만 여기서도 조심해서 읽을 필요가 있습니다. 해석 가능하다는 말은 사람마다 다르게 받아들이기 때문입니다. 계산 화학자에게는 궤도 에너지나 전하 같은 양이 해석 가능하지만, 합성 화학자에게는 치환기의 크기나 자리 같은 말이 더 와닿을 수 있죠. 논문이 말하는 기술자가 어느 층위의 언어인지, 그리고 그 기술자가 훈련에 쓰인 반응들을 넘어 새로운 기질에도 통하는지는 이 글의 자료만으로는 단정하기 어렵습니다. 그럼에도 방향 자체는 분명합니다. 맞히는 것을 넘어 설명하는 쪽으로 에이전트를 밀고 있다는 점입니다.

스스로 검증한다는 말은 실제로 어떻게 구현될까

지금까지 세 사례를 따라오면 자연스럽게 이런 질문이 생깁니다. 스스로 검증된다는 것은 도대체 무슨 뜻일까요. 사람이 보지 않는데 어떻게 믿을 수 있을까요. 논문이 그리는 답은 닫힌 고리라는 말에 들어 있습니다. 가설을 세우고 계산을 돌린 뒤 그 결과를 다시 가설로 되돌리는 순환이, 검증의 자리를 대신한다는 것이죠.

저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 눈으로 보면 이 고리의 검증은 한 번의 계산이 아니라 여러 계산의 일관성에서 나옵니다. 중간체의 에너지가 이어지고, 전이 상태가 반응 좌표를 잇고, 경쟁 경로보다 그럴듯한 경로가 낮게 나오는 식으로요. 하나의 숫자가 아니라 숫자들의 관계가 맞아떨어질 때 에이전트는 결론 쪽으로 발걸음을 옮깁니다.

문제는 그다음입니다. 계산끼리 일관적이라고 해서 반드시 진실과 가까운 것은 아니기 때문입니다. 방법 자체가 편향되어 있으면 고리는 편향된 채로 닫힐 수 있죠. 그래서 자율 시스템일수록 바깥으로 열린 창이 필요합니다. 다른 수준의 이론으로 교차 확인을 하거나, 실험과 맞닿는 예측을 내놓는 식으로요. 논문이 내세우는 확장은 바로 이런 바깥 검증까지 자동으로 이어질 때 더 단단해질 것입니다.

숫자 대신 구조를 봐야 하는 이유는 무엇일까

이 논문을 읽으면서 저는 자꾸만 아키텍처 쪽으로 눈이 갔습니다. 세 가지 화학 성과도 흥미롭지만, 그 성과를 만든 연결 방식이 더 오래 남을 것 같았기 때문입니다. 일반 추론과 도메인 지식과 도구 실행을 한 모델에 다 쑤셔 넣지 않고, 역할을 나눈 뒤 고리로 묶었다는 선택 말입니다.

이 선택이 중요한 이유는 실패의 책임을 물을 수 있기 때문입니다. 추론이 잘못됐는지, 화학 지식이 부족했는지, 도구 호출이 어긋났는지를 구분할 수 있으면 시스템을 고칠 수 있습니다. 반대로 모든 것을 하나의 거대 모델에 맡기면 잘될 때는 편하지만 막혔을 때는 손댈 곳이 없습니다. ARCHE의 구조는 후자보다 전자에 가깝습니다. 질문 해석과 가설 우선순위, 화학 구조 제안, 계산 실행이라는 층위가 나뉘어 있으니, 어디에서 헤매는지를 추적할 수 있습니다.

그렇다면 이 흐름은 어디까지 확장될 수 있을까요. 도구가 늘어나고 반응의 종류가 바뀌어도 같은 고리가 돌아갈까요. 저는 그 답이 등록소의 정돈 상태에 달려 있다고 봅니다. 도구의 입력과 출력과 한계가 분명할수록 에이전트는 과감해질 수 있고, 그 반대라면 조심스러워질 수밖에 없습니다. 결국 자율성이란 모델이 똑똑해지는 것만이 아니라, 모델이 믿고 쓸 수 있는 환경이 정리되는 일이기도 합니다.

남는 질문들을 어떻게 다뤄야 할까

여기까지 읽고 나면 마음 한편에 이런 물음이 남습니다. 정말 전문가의 손이 필요 없어진 것일까요. 논문의 표현을 그대로 가져오면 목표는 무거운 전문가 개입 없이도 확장 가능한 탐구이며, 아직 모든 개입이 사라졌다는 뜻은 아닙니다. 저는 이 간격을 솔직하게 보는 편이 좋다고 생각합니다. 자율이라는 말이 완전 무인을 뜻하지는 않기 때문입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 계산이 실패했을 때 에이전트는 어디까지 스스로 복구할 수 있을까요. 구조 최적화가 수렴하지 않거나, 허수가 나와야 할 곳에 엉뚱한 진동수가 나오거나, 용매 모델 때문에 에너지 순서가 뒤집히는 경우 말입니다. 사람은 이런 장면에서 계산 조건을 의심하지만, 에이전트는 가설이 틀렸다고 너무 빨리 결론내릴 수도 있습니다. 반대로 가설이 틀렸는데 계산 조건만 붙잡고 늘어질 수도 있고요. 이 구분이야말로 계산 화학 경험이 가장 절실한 곳입니다.

또 하나는 비용의 문제입니다. 닫힌 고리가 많이 돌수록 계산량은 늘어납니다. 어떤 가설을 먼저 보고 언제 멈출지를 정하는 일은 정확도뿐 아니라 예산의 문제이기도 하니까요. 논문의 사례들은 고리가 돌아가면 답에 이를 수 있다는 것을 보여주지만, 그 고리를 돌리는 데 든 계산량과 사람의 시간을 어떻게 견줄지는 앞으로 더 따져봐야 합니다. 그럼에도 저는 이 질문들이 시스템의 약점을 깎아내리기보다 다음 갈 길을 비춰준다고 봅니다.

메커니즘 탐구가 손에서 고리로 넘어갈 때

처음 ARCHE를 보았을 때 들었던 생각은 일종의 작업 일지를 보는 느낌이었습니다. 질문을 받고 가설을 펼치고 계산을 돌리고 다시 좁히는 과정이, 잘 정리된 연구 노트처럼 이어졌기 때문입니다. 비대칭 촉매에서의 재구성도, 미발표 반응에서의 라디칼 경로 제안도, 니켈 촉매에서의 기술자 발견도, 각각은 화학의 성과이지만 함께 보면 탐구 방식의 변화로 읽힙니다.

제가 앞으로 보고 싶은 것은 이 고리가 낯선 화학 앞에서 얼마나 솔직해지는지입니다. 모른다고 말할 수 있는지, 증거가 부족할 때 멈출 수 있는지, 그리고 자신의 탈락 기록을 남길 수 있는지 말입니다. 잘 푸는 에이전트보다 믿을 수 있는 에이전트가 더 필요하기 때문입니다. 그런 의미에서 이 작업은 답을 내놓았다기보다 답에 이르는 과정을 기계가 맡을 수 있는 형태로 바꾸었다는 데에 무게가 있습니다.

그렇다면 사람의 역할은 무엇일까요. 계산을 대신 돌리던 손이 비게 되면, 사람은 어떤 질문을 새로 던져야 할까요. 저는 그 자리가 사라지기보다 위로 올라간다고 봅니다. 어떤 반응을 풀 가치가 있는지, 어떤 설명이 화학자의 언어로 통하는지, 어떤 예측이 실험으로 이어질 수 있는지를 정하는 일이 남기 때문입니다. 고리가 돌아갈수록 질문의 질이 더 중요해지는 셈이죠. 이 논문은 그 변화를 조금 앞당겨 보여준 기록으로 기억될 것 같습니다.

참고 자료

  1. Autonomous Chemical Mechanistic Discovery through Agentic Reasoning and Validation · arxiv.org

    리뷰 원문