실험을 아끼는 법이 아니라 결정을 아끼는 법

이번에 살펴본 연구는 Decision-Focused Active Learning for Scale-Aware Critical-Materials Recovery이며, PNNL의 CICERO 워크플로 기록을 분석한 작업으로 arXiv:2609.09413 식별자와 함께 공개되어 있습니다. 이 연구가 내세우는 주장을 한 문장으로 정리하면, 실험을 고르는 기준을 예측 정확도가 아니라 스케일업 단계의 결정 손실이 얼마나 줄어드는지로 바꾸자는 것입니다. 원문 논문으로 이어지는 연결은 이 글의 제목 아래에 붙어 있습니다.

안녕하세요, 패트릭입니다.

제가 이 논문을 처음 집어 든 이유는 꽤 생활적인 데 있습니다. 희토류나 코발트 같은 물질 이야기를 들으면 대개 채굴이나 국제 공급망이 먼저 떠오르는데, 정작 현장에서 돈을 가르는 순간은 훨씬 뒤에 오기 때문입니다. 실험실에서 작은 비커 하나가 잘 됐다는 소식과, 공장에서 그 방식을 몇 톤 규모로 돌리겠다는 결정 사이에는 큰 간격이 있죠. 그 간격을 무엇으로 메울지가 이 논문의 질문입니다. 그렇다면 실험을 조금 덜 하면서도 공장 결정을 더 빨리 내릴 수 있을까요?

실험실 점수와 공장 결정 사이에는 무엇이 있을까

실험실에서 좋은 결과가 나왔다는 말은 대개 한 가지 조건 아래에서 성립합니다. 주어진 feed에서 원하는 물질을 얼마나 잘 골라냈는가 하는 것이죠. 그런데 스케일업 회의에 들어가면 질문이 달라집니다. 제품 규격에 맞는 순도가 나오는지, 공정이 돈을 버는지, 규모를 키웠을 때 같은 결과가 유지되는지가 함께 물어지기 때문입니다. 그래서 논문이 맨 앞에 내놓는 문장이 저는 오래 남았습니다. 회수 공정을 고르는 일은 실험실 결과와 제품 요구사항, 공정 비용, 규모 효과를 연결해야 한다는 것입니다.

생각해보면 사람도 비슷한 선택을 자주 합니다. 시험에서 한 문제를 맞혔다고 해서 그 공부법이 수능 전체에 통한다고 말할 수는 없죠. 한 문제의 정답은 점수이고, 전체 시험의 전략은 결정이기 때문입니다. 이 논문은 active learning을 바로 그 결정의 언어로 옮기려고 합니다. Active learning은 이전 결과를 보고 다음 실험을 고르는 방법인데, 보통은 모델의 불확실성이 큰 곳을 찌릅니다. 반면 여기서는 다음 실험 묶음이 아래 단계의 결정 손실을 얼마나 줄여줄지를 기준으로 삼습니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 예측을 잘하는 모델과 결정을 잘 돕는 실험은 다르니까요. 예측이 조금 틀려도 결정이 바뀌지 않으면 그 실험의 가치는 작고, 반대로 예측이 조금만 좋아져도 결정이 달라지면 그 실험의 가치는 큽니다. 이 차이를 정면으로 다룬다는 점에서 출발이 좋습니다. 그렇다면 이런 관점이 실제 기록 위에서는 어떻게 작동할까요?

분리 성능을 어떻게 숫자로 말할까

이야기를 따라가려면 먼저 enrichment라는 단어를 정리해야 합니다. 논문에서 enrichment는 선택된 물질의 희토류 대 철 비율을 feed에서의 비율과 비교한 값입니다. 다시 말하면, 처음 들어간 혼합물보다 골라낸 쪽이 얼마나 더 희토류 쪽으로 기울었는지를 재는 것이죠. 철이 많은 자석 폐기물에서 희토류를 추리려면 이 기울기가 좋아야 합니다.

이 정의가 좋은 이유는 비교의 기준이 분명하기 때문입니다. 절대 농도가 아니라 feed 대비 상대 비율을 보니, 들어오는 원료가 조금씩 달라도 어느 조건이 분리를 더 잘했는지를 가늠할 수 있습니다. 물론 이 숫자 하나로 공정이 다 설명되지는 않습니다. 순도가 높아도 회수량이 형편없으면 공장이 설 수 없기 때문입니다. 그래서 논문은 뒤쪽에서 순도와 수율의 교환을 따로 다룹니다. 숫자는 하나씩 정확히 보고, 해석은 묶어서 한다는 태도인데요. 저는 이런 절제가 마음에 들었습니다.

여기서 재미있는 질문이 생깁니다. Enrichment가 가장 높은 조건을 빨리 찾는 일이 곧 좋은 공장 결정을 내리는 일일까요? 언뜻 보면 그렇게 보이지만, 실제로는 그렇지 않을 수 있습니다. 최고 기록 하나를 찍는 것과 어느 조건 범위가 안정적으로 돈을 버는지를 아는 것은 다른 문제이기 때문입니다. 논문이 Bayes risk라는 도구를 꺼내는 이유도 여기에 있습니다. 점수의 최대값이 아니라 결정의 손실 기댓값을 보겠다는 것이죠.

CICERO라는 자동 침전 라인은 무엇을 기록했을까

CICERO는 PNNL에서 만든 Computer Intelligence for Critical Element Recovery and Optimization 워크플로의 이름이며, 자율 선택적 침전을 수행하는 라인입니다. 여러 wells에 서로 다른 조건을 걸고, 침전 결과를 읽고, 다음 조건을 정하는 과정을 자동화로 돌린 것이죠. 이 논문은 그 라인이 남긴 기록을 사후적으로 다시 분석합니다. 새로 큰 실험을 돌렸다기보다, 이미 쌓인 기록 위에서 여러 선택 전략을 겨뤄본 것에 가깝습니다.

저는 여기서 조금 의심했습니다. 사후 분석은 조건이 유리하게 짜일 수 있기 때문입니다. 이미 결과가 알려진 기록 위에서 뒤늦게 고르는 시늉을 하면 실제보다 똑똑해 보일 수 있죠. 논문은 이 점을 의식한 듯 조건부 retrospective benchmark라는 틀을 둡니다. 무작정 전체 기록에서 고르는 것이 아니라, 재활용 NdFeB 자석 기록이라는 조건을 걸고 그 안에서 적응형 정책과 비적응형 space filling을 비교합니다. Space filling은 말 그대로 실험 공간을 균일하게 채우는 방식으로, 이전 결과를 보고 다음을 바꾸지 않습니다.

이 대조가 좋은 이유는 베이스라인이 정직하기 때문입니다. 균일 탐색은 멍청한 방법이 아니라, 사전 정보가 없을 때의 표준적인 성실한 방법이죠. 적응형이 이 기준을 얼마나 빨리 앞서는지가 관건입니다. 그리고 기록의 성격도 분명합니다. 실제 라인이 남긴 wells 단위의 개별 실험 기록이니, 시뮬레이션 속 가짜 데이터가 아닙니다. 다만 사후 분석이라는 한계는 남습니다. 실제 현장에서 다음 wells를 고르는 순간의 불확실성과 사후에 기록을 훑는 일은 다르니까요. 이 점은 뒤에서 다시 짚겠습니다.

16개 wells와 48개 wells의 간격이 말해주는 것

재활용 NdFeB 자석 기록을 건 조건부 벤치마크에서 결과는 꽤 또렷했습니다. 적응형 정책들은 기록된 enrichment 최대값에 16개에서 24개 wells 만에 도달한 반면, 비적응형 균일 탐색은 48개 wells가 필요했습니다. 같은 최대 기록을 찾는 데 실험 수를 절반 이하로 줄인 셈이죠. 숫자를 나란히 두면 간격이 바로 보입니다. 한쪽은 열여섯에서 스물넷, 다른 한쪽은 마흔여덟이니까요.

표면적으로 보면 단순합니다. 적응형이 빠르다는 것이죠. 그런데 실제로는 이 간격이 말해주는 바가 더 있습니다. Wells는 개별 실험을 뜻하므로, 이 차이는 곧 시약과 시간과 로봇 가동 시간의 차이로 이어집니다. 밤사이 라인을 돌리는 운영자 입장에서 보면, 48개를 다 채우기 전에 답이 나오느냐는 다음 날 아침의 일정이 달라지는 문제입니다. 그래서 저는 이 결과를 연구실 점수 이상으로 평가했습니다. 운영의 아침을 지켜주는 장치에 가깝기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 이 벤치마크가 보여주는 것은 기록 안에 이미 있던 최고값을 얼마나 빨리 찾았는지이지, 미지의 최고값을 새로 발견했다는 뜻은 아니기 때문입니다. 조건부 사후 분석이라는 말이 바로 그 한계를 가리킵니다. 그럼에도 비교 자체는 공정합니다. 같은 기록, 같은 출발선, 같은 목표를 두고 겨뤘으니까요. 그렇다면 적응형 안에서도 방식마다 차이가 있을까요? 다음 대목이 그 질문에 답합니다.

두 단계로 다시 짜면 무엇이 달라질까

논문의 저자들이 제안한 재구성은 두 단계(two-stage) 방식이며, 16개 wells 지점에서 두 개의 적응형 대안과 동률을 이뤘습니다. 다시 말해, 가장 빠른 그룹에 저자들의 방식도 함께 들어간 것이죠. 16개 wells에서 동률이라는 말은, 세 방식이 모두 그 시점까지 기록된 최대값에 도달했다는 뜻입니다.

저는 이 대목에서 구조를 먼저 봤습니다. 두 단계라는 말은 대개 후보를 넓게 훑은 뒤 좁게 파는 흐름을 뜻합니다. 처음부터 정밀하게 찌르기보다, 될 만한 영역을 추린 다음 그 안에서 결정을 굳히는 것이죠. 낚시에 비유하면 처음에는 넓게 쳐서 고기가 모인 곳을 찾고, 그 다음에는 그 자리에서 집중적으로 낚는 것과 비슷합니다. 이런 구조는 실험 예산이 빡빡할 때 특히 잘 맞습니다. 예산을 한 번에 다 쓰지 않고, 앞 단계의 정보로 뒤 단계의 판을 좁히니까요.

문제는 그다음입니다. 16개 wells에서의 동률은 빠른 도착을 보여주지만, 그 이후의 안정성이나 결정의 질까지 보여주지는 않습니다. 일찍 도착한 세 주자가 그 뒤에도 나란히 가는지는 다른 문제이기 때문입니다. 논문은 이 지점을 솔직하게 두는 편입니다. 사후 벤치마크의 빠른 도달을 과장하지 않고, 뒤쪽에서는 결정 손실이라는 더 엄격한 잣대를 꺼내니까요. 그렇다면 순도와 수율처럼 한 번에 좋아지기 어려운 지표들은 어떻게 다뤘을까요?

순도가 오르면 수율은 왜 흔들릴까

SmCo 자석을 다룬 조건부 분석에서는 Round 2에서 순도와 nominal yield 사이의 교환이 드러납니다. 여기서 nominal yield는 가정된 출발량으로부터의 회수 분율을 뜻합니다. 순수하게 골라내려고 조건을 세게 걸면 버려지는 쪽에 딸려 나가는 양이 생기고, 많이 건지려고 조건을 느슨하게 풀면 불순물이 함께 따라옵니다. 이 줄다리기가 바로 tradeoff입니다.

이 대목은 공장을 아는 사람에게는 낯익은 장면입니다. 품질팀은 순도를 올리자고 하고, 생산팀은 수율을 지키자고 하죠. 두 팀이 회의실에서 같은 그래프를 두고 서로 다른 끝을 가리키는 모습이 떠오릅니다. 논문이 Round 2라는 회차를 명시한 것도 그래서 의미가 있습니다. 한 번의 실험으로 끝나는 이야기가 아니라, 앞선 결과를 보고 조건을 손본 다음 라운드에서 교환이 더 또렷해졌다는 것이니까요.

제가 이 대목에서 가장 흥미롭게 본 부분은 nominal이라는 단서입니다. 출발량을 가정했다는 말이 붙어 있으니, 수율 숫자는 그 가정이 바뀌면 함께 움직입니다. 즉, 순도와 수율의 교환 자체는 실재하지만, 교환 곡선의 정확한 위치는 가정 위에 서 있다는 것이죠. 이런 단서를 숫자와 함께 적어둔 것은 좋은 습관입니다. 숫자를 감추지 않으면서도 숫자가 서 있는 바닥을 함께 보여주니까요. 그렇다면 바닥의 가정이 더 흔들리는 사례도 있을까요? 바로 다음에 나옵니다.

생산수 순위는 왜 가정 하나로 뒤집힐까

석유와 가스 채굴에서 나오는 생산수(produced water)에 대한 순위는 상(phase)과 희석 가정에 따라 달라지며, 확정이 필요한 가정이라고 논문은 밝힙니다. 어떤 상을 전제하는지, 얼마나 희석되었다고 보는지 같은 조건이 바뀌면 어느 급원이 더 유망한지에 대한 순서가 바뀔 수 있다는 것이죠. 이 말은 순위를 그대로 믿기 전에 조건을 봐야 한다는 뜻입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 현장에서 들어오는 물의 성상은 하나가 아니라 여러 갈래인데, 그중 어떤 갈래를 기준으로 순위를 매긴 것일까요? 게다가 희석은 실험실의 피펫 문제가 아니라 현장의 배관과 저장과 혼합의 문제입니다. 비가 오거나 공정이 바뀌면 희석률이 달라질 수 있죠. 그래서 저는 이 대목을 논문의 정직한 대목으로 읽었습니다. 순위를 발표만 하고 끝낼 수도 있었는데, 순위 아래의 가정을 함께 적어 확인이 필요하다고 말했으니까요.

여기서 겉보기에 아쉬운 결과가 오히려 논문 전체의 주장과 맞물립니다. 실험실 점수만으로 스케일업 순위를 정하면 가정이 흔들릴 때 같이 흔들린다는 것이죠. 그렇다면 필요한 것은 더 많은 점수가 아니라, 어떤 가정이 결정을 바꾸는지를 먼저 찾는 실험 순서입니다. 이 발상은 다음 섹션의 결정 중심 기준으로 자연스럽게 이어집니다. 점수를 모으는 실험과 결정을 굳히는 실험은 다르니까요.

실험을 고르는 기준을 바꾸면 어떻게 될까

이제 논문의 제안으로 들어갑니다. 저자들이 내놓은 결정 중심(decision-focused) 기준은 다음 실험 묶음을 아래 단계의 Bayes risk가 얼마나 줄어드는지로 고릅니다. Bayes risk는 현재 믿음 아래에서 가능한 공정 결정 가운데 기댓값 손실이 가장 작은 값을 뜻합니다. 말이 조금 어렵지만, 뜻을 풀면 단순합니다. 지금 아는 범위에서 가장 좋은 결정을 내렸을 때 남는 아쉬움의 크기를 재고, 그 아쉬움을 가장 많이 줄여줄 실험을 고르자는 것이죠.

저는 이 발상을 오답 노트에 비유하고 싶습니다. 시험 점수를 올리는 공부에는 두 가지가 있는데, 하나는 아는 것을 더 외우는 것이고 다른 하나는 틀린 문제의 유형을 줄이는 것입니다. 후자가 보통 효율이 좋죠. Bayes risk 기준도 비슷합니다. 모델의 평균 오차를 줄이는 데 예산을 쓰기보다, 결정이 틀릴 가능성을 줄이는 데 예산을 씁니다. 예측이 조금 틀려도 같은 결정을 내릴 것 같으면 그 실험은 뒤로 미루고, 결정이 갈리는 지점을 찌르는 실험을 앞으로 당기는 것이죠.

탐색적 시뮬레이션에서는 hybrid filtering 정책이 joint search보다 낮은 추정 손실을 보였습니다. Joint search가 넓은 공간을 함께 뒤지는 방식이라면, hybrid filtering은 추릴 것은 추리고 파고들 것은 파고드는 식으로 섞은 방식에 가깝습니다. 물론 exploratory라는 말이 붙어 있으니 과하게 읽으면 안 됩니다. 탐색적 시뮬레이션의 낮은 손실은 가능성을 보여줄 뿐, 현장의 승리를 보장하지 않기 때문입니다. 그럼에도 방향은 분명합니다. 실험 선택의 목적함수를 정확도에서 결정 손실로 옮기면, 같은 예산으로 더 나은 결정을 살 수 있다는 것이죠. 그렇다면 이 방향을 현장에서 쓰려면 무엇이 더 필요할까요?

다음에 이 연구를 어떻게 써먹을 수 있을까

저희가 새로운 AI 구조를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 논문도 같은 잣대로 읽을 수 있습니다. 무엇이 바뀌었냐면 실험 선택의 목적함수가 바뀌었고, 비용 구조로 보면 wells 수와 라운드 수와 분석 자원이 바뀌는 것이죠. 16개 wells에서 최대 기록에 닿았다는 결과는 예산 절감으로 바로 읽힙니다.

하지만 현장 적용을 말하려면 빈칸도 봐야 합니다. 사후 벤치마크의 빠른 도달이 실제 전진형 탐색에서도 그대로 재현되는지, SmCo의 교환 곡선이 다른 feed 조성에서도 같은 모양을 유지하는지, 생산수 순위를 가르는 상과 희석 가정을 현장 측정으로 얼마나 빨리 확정할 수 있는지가 남습니다. 특히 마지막 대목은 데이터 파이프라인의 문제입니다. 현장의 상 분율과 희석률을 실험실 정보와 같은 속도로 받아오지 못하면, 결정 중심 기준이 가리키는 실험도 낡은 가정 위에서 고르게 됩니다. 모델이 똑똑해지는 것과 데이터가 제때 오는 것은 다른 문제니까요.

제가 앞으로 보고 싶은 것은 세 가지입니다. 첫째, 전진형으로 wells를 고르면서 16개 wells 안팎의 도달이 반복되는지 보고 싶습니다. 둘째, 순도와 nominal yield의 교환을 결정 손실의 언어로 다시 그려보고 싶습니다. 순도 1% 포인트와 수율 1% 포인트가 공정 결정에서 같은 값이 아니기 때문입니다. 셋째, 생산수처럼 가정이 흔들리는 급원에서는 민감도 순서대로 가정을 확정하는 실험 묶음이 실제로 손실을 얼마나 줄이는지 보고 싶습니다. 이 세 가지가 채워지면 사후의 좋은 기록이 현장의 좋은 습관이 됩니다.

그래서 남는 질문은 이것이다

돌아보면 이 논문은 점수를 자랑하는 글이 아닙니다. 적응형이 균일 탐색보다 빨랐다는 결과도 있지만, 글의 무게중심은 자꾸 결정 쪽으로 기웁니다. 최고 기록을 빨리 찾는 일을 넘어, 그 기록이 아래 단계의 결정을 얼마나 싸게 굳혀주는지를 묻기 때문입니다. 그래서 enrichment 정의부터 SmCo의 교환, 생산수의 가정까지가 따로 노는 이야기가 아니라 하나의 줄기로 읽힙니다. 무엇을 재고, 무엇이 흔들리고, 무엇을 기준으로 다음을 고를지의 이야기죠.

그렇다면 사람의 역할은 무엇일까요. 자동 침전 라인이 wells를 고르고 로봇이 피펫을 움직여도, 어떤 순도가 제품 요구사항을 만족하는지, 어떤 수율이 공장의 손익을 맞추는지, 어떤 가정을 먼저 확정할지는 사람이 정합니다. 결정 손실이라는 말 속에는 결국 사람의 손익계산이 들어 있기 때문입니다. 저는 그래서 이 연구를 실험 자동화의 진보라기보다 결정 자동화의 예고로 읽었습니다. 실험을 대신하는 기계가 아니라, 결정의 아쉬움을 재는 기계에 가깝기 때문입니다.

다음에 비슷한 기록을 보게 되면 저는 같은 질문을 던질 것 같습니다. 이 실험 묶음은 점수를 얼마나 올렸는지가 아니라, 결정을 얼마나 싸게 만들었는지를 말이죠. 그 질문에 답할 수 있는 기록이 쌓일 때, 실험실의 아침과 공장의 아침이 같은 속도로 움직이기 시작할 것입니다.