모델이 마음을 바꾸기 직전에 가지를 치는 법

Fork Where the Model Changes Its Mind: Belief-Shift Branching for Tree-Structured Reinforcement Learning는 arXiv에 공개된 논문으로 식별자는 2609.11061입니다. 이 논문은 트리 구조 롤아웃에서 포크를 둘 위치를 찾는 문제를 다루며, 모델의 답에 대한 믿음이 가장 크게 바뀌는 바로 앞에서 가지를 치자고 제안합니다. 원문 논문으로 이어지는 연결은 이 글의 제목 아래에 붙어 있습니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 질문의 위치였습니다. 보통 강화학습 논문은 보상을 더 잘 주는 방법을 묻는데, 여기서는 예산이 정해져 있을 때 가지를 어디에 치는 것이 가장 이득인지를 묻습니다. 그래서 이 글에서는 그 질문을 처음부터 따라가 보려고 합니다. 왜 단계별 점수가 필요한지, 왜 가지를 치는 방법이 그 점수를 대신하는지, 그리고 왜 하필 마음이 바뀌는 지점이 답이 되는지 순서대로 살펴보겠습니다.

왜 이 논문을 굳이 꺼내 읽었을까

안녕하세요, 패트릭입니다.

저는 추론 모델의 학습 로그를 볼 때마다 비슷한 아쉬움을 느낍니다. 모델이 긴 풀이를 내놓고 마지막에 정답을 맞히면 보상이 1이 주어지고, 틀리면 0이 주어지는데, 그 사이의 수십 단계는 모두 같은 취급을 받기 때문입니다. 중간에 좋은 아이디어가 있었는지, 어디에서 길이 어긋났는지는 기록에 남지 않죠. 그렇다면 긴 풀이의 어느 단계가 실제로 도움이 됐는지를 어떻게 알 수 있을까요?

이 물음은 검증 가능한 보상으로 배우는 강화학습, 이른바 RLVR에서 오래된 숙제였습니다. 최종 정답이 맞았는지 틀렸는지만으로 배우면 학습 신호가 너무 거칠어집니다. 그래서 누군가는 단계마다 점수를 주는 critic을 따로 두자고 말했고, 또 누군가는 사람의 단계별 설명을 모으자고 말했습니다. 그런데 두 방법 모두 비용이 듭니다. critic을 두면 학습 시스템이 무거워지고, 사람 설명을 모으면 확장이 어렵기 때문입니다.

제가 이 논문을 읽게 된 이유는 그 때문이었습니다. 저자는 critic도 사람 설명도 없이 단계별 신호를 만들 수 있다고 말합니다. 이미 생성된 체인의 중간에서 가지를 쳐서 형제 풀이들을 비교하면, 어느 단계가 결과를 바꿨는지를 역으로 추정할 수 있다는 것입니다. 생각해보면 사람도 비슷하게 복기합니다. 시험을 망친 뒤에 오답 노트를 쓸 때, 우리는 처음부터 끝까지 다 다시 풀지 않습니다. 어디에서 생각이 어긋나기 시작했는지를 찾아 그 근처만 다시 풀어보죠. 이 논문은 그 복기의 과정을 학습 알고리즘 안에 넣은 셈입니다.

정답만으로는 알 수 없는 것이 있다

수학 문제를 푸는 모델을 옆에서 지켜본다고 상상해 보겠습니다. 모델이 열 단계에 걸쳐 식을 전개하다가 일곱 번째 단계에서 부호를 잘못 옮겨 적었습니다. 그 뒤의 계산은 모두 정성스러웠지만 결과는 틀렸습니다. 최종 보상만 보면 이 풀이는 그냥 0점짜리 실패입니다. 그런데 일곱 번째 단계만 고쳤다면 정답이 됐을지도 모릅니다. 최종 점수는 그 차이를 전혀 말해주지 않죠.

그래서 연구자들은 단계별 신용 할당이라는 말을 씁니다. 긴 체인의 각 단계가 최종 결과에 얼마나 기여했는지를 따지는 일입니다. 이 점수가 있으면 학습이 훨씬 영리해집니다. 잘못된 단계만 골라서 고치고, 잘된 단계는 그대로 두는 방향으로 업데이트할 수 있기 때문입니다. 반면 이 점수가 없으면 모델은 실패한 풀이 전체를 낮게 평가하고, 성공한 풀이 전체를 높게 평가하는 식으로 뭉뚱그려 배웁니다.

여기서 재미있는 질문이 생깁니다. 단계별 점수를 주려면 단계별 정답지가 필요하지 않을까요? 언뜻 보면 그래야 할 것 같습니다. 그런데 트리 구조 롤아웃은 다른 길을 보여줍니다. 중간 단계에서 멈추고 거기서부터 여러 개의 continuations을 새로 샘플링한 뒤, 그 형제들의 성공률을 비교하는 것입니다. 어떤 중간 지점 이후의 형제들이 유독 잘 풀리면, 그 지점까지의 진행은 좋은 방향이었다고 해석할 수 있죠. 반대로 그 지점 이후의 형제들이 한결같이 막히면, 그 전에 이미 길이 어긋났다고 볼 수 있습니다. 저는 이 발상이 마음에 들었습니다. 별도의 평가자를 두지 않고, 샘플링 자체를 측정 도구로 쓰는 방식이기 때문입니다.

가지를 치면 단계별 점수가 나오는 이유

트리 구조 롤아웃의 동작을 조금 더 구체적으로 따라가 보겠습니다. 모델이 문제를 읽고 첫 번째 풀이를 한 줄 한 줄 써 내려갑니다. 학습 시스템은 그 체인의 어딘가를 골라 멈춤 표시를 합니다. 그리고 그 지점부터 온도를 유지한 채로 여러 개의 이어쓰기를 뽑습니다. 이렇게 얻은 형제 풀이들은 앞부분은 공유하고 뒷부분만 다릅니다. 마지막에는 각 형제의 정답 여부를 확인하고, 성공률의 차이를 이용해 그 분기점의 가치를 추정합니다.

이 추정이 단계별 점수를 대신하는 원리는 의외로 직관적입니다. 분기점 이전의 내용은 모든 형제가 공유하므로, 형제들 사이의 성패 차이는 분기점 이후의 선택에서 비롯된 것으로 볼 수 있기 때문입니다. 여러 번 반복하면 특정 단계가 결과를 얼마나 흔들었는지에 대한 감이 잡힙니다. 마치 갈림길 앞에서 여러 명의 등산객을 다른 길로 보내본 뒤, 어느 갈림길이 정상 도착을 가르는지를 알아내는 것과 비슷합니다.

그런데 문제는 그다음입니다. 가지를 칠 때마다 샘플링 비용이 듭니다. 이어쓰기를 하나 더 뽑을 때마다 토큰을 더 쓰고, 검증 코드를 더 돌리고, 메모리를 더 점유합니다. 현실적인 예산에서는 하나의 체인에 둘 수 있는 포크가 몇 개 되지 않습니다. 그래서 저자는 이렇게 말합니다. 트리의 크기가 정해져 있다면, 이득을 가르는 것은 포크의 개수가 아니라 포크의 위치라고요. 저는 이 문장을 읽고 고개를 끄덕였습니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 포크가 비싸다면, 어디에 꽂을지를 정하는 규칙이 곧 성능이기 때문입니다.

이미 굳어진 곳에 가지를 치면 벌어지는 일

그렇다면 나쁜 포크는 어떻게 생겼을까요? 답은 생각보다 단순합니다. 결과가 이미 굳어진 곳에 가지를 치면 형제들이 거의 같은 결말을 냅니다. 여덟 번째 단계에서 이미 답이 사실상 정해졌는데 열 번째 단계에서 가지를 쳐봐야, 형제들은 다 같이 맞거나 다 같이 틀립니다. 성패 차이가 없으니 단계의 가치도 추정할 수 없습니다. 비싼 샘플링을 쓰고도 배우는 것이 없는 셈이죠.

반대로 아직 흔들리는 지점에서 가지를 치면 이야기가 달라집니다. 어떤 형제는 정답으로 가고, 어떤 형제는 오답으로 갑니다. 이 차이가 바로 신호입니다. 이 단계의 선택이 결과를 바꿨다는 증거이기 때문입니다. 그래서 포크 배치 문제는 곧 신호가 가장 큰 지점을 찾는 문제로 바뀝니다. 어디에서 가지를 쳐야 형제들의 운명이 가장 크게 갈라질까요?

여기서는 조금 조심해서 읽을 필요가 있습니다. 형제들이 갈라진다고 해서 그 단계가 잘못됐다는 뜻은 아닙니다. 잘된 선택도 형제들을 갈라놓을 수 있기 때문입니다. 어떤 단계가 나쁜 선택이어서 결과가 갈린 것인지, 좋은 선택이어서 결과가 갈린 것인지는 형제의 평균 성공률을 함께 봐야 알 수 있습니다. 이 논문이 말하는 것은 방향이 아니라 위치입니다. 판정이 갈리는 지점을 먼저 찾고, 그곳의 가치를 형제들의 성공률로 읽자는 것이죠. 저는 이 구분이 글의 절제를 보여준다고 봅니다. 어디가 변곡점인지를 찾는 일과 그 변곡점이 좋은지 나쁜지를 판단하는 일을 섞지 않았기 때문입니다.

마음이 바뀌기 직전에 포크를 꽂는다

이제 논문이 제안하는 답을 살펴보겠습니다. 이름은 믿음 변화 분기, 영문으로는 belief-shift branching입니다. 규칙은 한 문장으로 쓸 수 있습니다. 연속된 단계 사이에서 모델의 답에 대한 믿음이 가장 크게 벌어지는 바로 앞에서 포크를 꽂는다는 것입니다. 믿음이 크게 바뀌었다는 것은 그 사이 어딘가에서 모델의 내부 판단이 돌아섰다는 뜻이고, 바로 그 근처가 결과를 가르는 변곡점일 가능성이 높기 때문입니다.

저자는 이 직관을 가치 곡선의 변곡점이라는 말로 다듬습니다. 체인의 각 단계마다 그때까지의 진행이 최종 성공으로 이어질 확률을 생각해 보겠습니다. 이 확률을 단계 순서대로 이으면 하나의 곡선이 됩니다. 처음에는 반반이던 곡선이 어느 단계에서 갑자기 위로 치솟거나 아래로 꺾일 때가 있습니다. 그 꺾이는 곳이 바로 pivot입니다. 논문은 포크를 그 pivot 바로 앞에 두자고 말합니다. 꺾이기 전의 상태에서 여러 미래를 펼쳐보면, 꺾임의 원인이 무엇인지가 가장 잘 드러나기 때문입니다.

생각해보면 시험지를 채점하는 선생님도 비슷한 곳을 봅니다. 학생의 풀이에서 답이 갑자기 바뀌는 줄을 찾고, 그 직전의 식을 유심히 읽습니다. 그 줄에서 부호가 바뀌었는지, 가정이 바뀌었는지, 전혀 다른 정리를 가져왔는지를 확인하죠. 모델의 믿음 변화를 재는 일도 이와 비슷합니다. 다만 사람이 눈으로 읽는 대신, 모델의 내부 신호나 외부 탐침으로 그 변화를 수치화한다는 점이 다릅니다.

그렇다면 믿음이라는 말을 실제로 어떻게 수치로 옮길 수 있을까요? 저는 여기서 잠시 멈춰 섰는데, 말은 그럴듯하지만 막상 재려고 하니 감이 잘 안 왔기 때문입니다. 그런데 논문은 이 질문을 다음 두 부분에 걸쳐 풀어놓는데, 그 이유는 측정 방법이 세 가지이며 각각의 비용과 성격이 다르기 때문입니다.

단계별 정답지 없이 믿음의 변화를 재는 세 가지 방법

논문이 내놓은 측정 방법은 세 가지입니다. 모두 단계별 사람 설명을 요구하지 않는다는 공통점이 있습니다. 첫 번째는 블랙박스 탐침입니다. 모델 내부를 열지 않고, 중간 단계까지의 풀이를 보여준 뒤 완결될 가능성을 묻는 식의 가벼운 검사를 반복합니다. 단계가 하나 진행될 때마다 그 검사의 답이 얼마나 바뀌는지를 재는 것이죠. 모델을 블랙박스로 취급하므로 구조를 몰라도 쓸 수 있습니다.

두 번째는 logit lens 깊이 프로파일입니다. 모델의 중간 layer 표현을 꺼내어 출력 분포에 투영해 보고, 단계가 진행될수록 정답 쪽으로 향하는 기운이 어떻게 달라지는지를 봅니다. 층층이 쌓인 표현 중에서 답과 관련된 방향이 언제 또렷해지는지를 읽는 방식입니다. 세 번째는 학습된 활성화 방향입니다. 강화학습을 시작하기 전에 미리 오프라인으로 방향 벡터 하나를 맞춰두고, 학습 중에는 그 방향으로의 투영값이 단계 사이에서 얼마나 움직이는지를 잽니다. 미리 준비하는 비용은 들지만, 학습 중에는 가볍게 읽을 수 있습니다.

저는 이 구성을 보고 실용적인 팀이 썼다는 인상을 받았습니다. 하나의 정답을 고집하지 않고, 쓸 수 있는 환경에 따라 고를 수 있는 선택지를 내놓았기 때문입니다. 내부를 열 수 없는 모델을 쓴다면 첫 번째 탐침을 쓰고, 내부를 열 수 있다면 두 번째나 세 번째를 쓰면 됩니다. (참고로 논문에서 비용 측정의 기준이 된 것은 첫 번째 탐침인데요. 뒤에서 다시 설명하겠지만 이 신호는 포크 위치를 정하는 데만 쓰이고, 실제 학습 목표를 바꾸지는 않습니다.)

여기서 헷갈리기 쉬운 지점이 하나 있습니다. 탐침 신호가 좋아 보인다고 해서 그 신호 자체가 정답을 맞히는 것은 아닙니다. 탐침은 어디를 파야 할지를 알려주는 금속 탐지기와 비슷합니다. 금속 탐지기가 금을 대신 캐주지는 않듯이, 탐침은 포크 위치만 정하고 실제 보상은 여전히 검증 가능한 정답 여부에서 옵니다. 이 분업 덕분에 탐침이 조금 부정확해도 전체 학습이 쉽게 무너지지 않습니다.

1퍼센트짜리 신호가 큰 가지를 이기는 이유

좋은데, 이걸 실제로 어떻게 서빙할까요? 탐침을 매 단계마다 돌리면 그 자체가 부담이 될 수 있기 때문입니다. 논문은 이 걱정을 수치로 답합니다. 롤아웃 엔진 안에서 탐침을 함께 실행하면 수학 과제에서는 단계 계산량의 1퍼센트 정도, 코드 과제에서는 5퍼센트 아래의 비용으로 포크 위치를 정할 수 있다는 것입니다. 포크 하나가 통째로 드는 샘플링 비용에 비하면 작은 분수입니다.

이 차이는 생각보다 중요합니다. 포크는 이어쓰기 전체를 새로 생성하므로 토큰 비용이 큽니다. 반면 탐침은 위치만 고르는 가벼운 읽기 작업입니다. 비유하자면 포크는 땅을 파는 일이고, 탐침은 어디를 팔지를 정하기 위해 지표를 훑는 일입니다. 삽질 한 번을 아끼기 위해 지표 읽기에 조금 쓰는 것은 남는 장사입니다. 특히 코드 과제처럼 검증 실행이 무거운 환경에서는 포크 하나를 잘못 두는 대가가 더 큽니다. 그래서 탐침 비용이 5퍼센트 아래로 묶인다는 보고는 운영 관점에서 반가운 소식입니다.

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 탐침을 학습 루프와 같은 GPU에 올릴지, 아니면 롤아웃 전용 엔진에 붙일지 말이죠. 논문은 롤아웃 엔진 안에서 함께 실행하는 구성을 전제로 비용을 보고합니다. 생성을 멈추지 않고 그 옆에서 믿음 변화를 읽는 구조입니다. 저는 이 선택이 영리하다고 봅니다. 학습 중인 정책과 평가용 탐침을 분리하면, 탐침의 작은 노이즈가 정책 업데이트를 직접 오염시키지 않기 때문입니다. 탐침은 지도만 그리고, 실제 측량은 형제 풀이들의 정답 여부가 맡는 구조가 유지됩니다.

그렇다면 탐침이 틀리면 어떻게 될까요? 저는 이 대목에서 걱정이 먼저 들었는데, 포크가 변곡점을 살짝 비껴가면 신호가 통째로 날아가는 것 아닐까 싶었기 때문입니다. 그런데 곰곰이 따져보면 그 걱정은 절반만 맞습니다. 변곡점 근처는 어차피 믿음이 흔들리는 구간이기 때문에, 한두 단계 어긋나더라도 형제들 사이에는 어느 정도 차이가 남습니다. 물론 매번 엉뚱한 곳만 찍는다면 이야기가 달라지는데, 그래서 다음 부분에서 다루는 순위 실험이 중요하다고 봅니다. 이번 순위 대결에서 이 신호가 정말로 변곡점을 잘 찾는지를 직접 겨뤄봐야 하기 때문입니다.

여덟 개 판정에서 모두 1등을 한 신호

숫자가 아니라 구조를 봐야 하는 이유가 여기 있습니다. 논문은 믿음 변화 신호가 가치 곡선의 변곡점을 얼마나 잘 찾는지를 몬테카를로 가치 곡선과 견주어 평가합니다. 몬테카를로 가치 곡선이란 각 중간 단계에서 많은 continuations을 뽑아 성공률을 직접 측정한 것으로, 비싸지만 믿을 수 있는 기준선입니다. 값비싼 정답지에 싼 신호들을 견주는 셈이죠. 비교 대상에는 엔트로피 같은 불확실성 신호, 구조 기반 신호, 거대 언어 모델 판정 같은 기준선들이 포함됐습니다.

결과는 깔끔했습니다. 모델과 과제 조합으로 나눈 여덟 개의 판정 패널에서 믿음 변화 신호가 모두 1위를 차지했습니다. 엔트로피가 높다고 해서 결과가 갈리는 것은 아니고, 문장 길이나 구조가 특이하다고 해서 변곡점인 것도 아니라는 점을 생각하면 납득이 갑니다. 모델 판정도 그럴듯해 보이지만, 포크 위치를 고르는 작업에서는 믿음의 변화량을 직접 재는 쪽이 더 정확했다는 것입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 엔트로피는 다음 토큰에 대한 망설임을 재고, 믿음 변화는 최종 답에 대한 판단의 이동을 재기 때문입니다. 다음 단어가 헷갈리는 것과 최종 답이 뒤집히는 것은 다른 일입니다. 말버릇이 흔들리는 지점과 생각이 바뀌는 지점이 다르듯이요. 포크에 필요한 것은 후자이므로, 최종 답 쪽을 겨냥한 신호가 이기는 것은 당연해 보입니다. 지금 보면 당연하게 느껴질 수도 있습니다. 하지만 포크 배치 논의를 불확실성이라는 뭉뚱그린 말에서 답에 대한 믿음이라는 구체적인 대상으로 옮겼다는 점에서 의미가 있습니다.

다만 여기서는 과장을 경계해야 합니다. 여덟 개 패널 1위는 신호의 순위이지, 학습 성능의 보장은 아니기 때문입니다. 신호가 변곡점을 잘 찾는 것과 그 신호로 학습했을 때 점수가 오르는 것은 다른 층위의 주장입니다. 그래서 다음 부분에서는 실제 강화학습을 돌렸을 때의 성적을 보겠습니다.

같은 예산으로 배우면 무엇이 달라질까

같은 예산을 어디에 쓸지 고르는 일, 그것이 강화학습 실험의 요지였습니다. 논문은 믿음 변화 포크를 가장 강한 기준선들과 같은 트리 크기에서 견줍니다. 수학 과제들의 묶음 성적에서는 OLMo-3-7B 기준으로 통합 점수가 2.6점 올랐고, AIME 2026에서는 2.9점이 올랐습니다. 코드 쪽에서는 OLMo 계열 모델의 LiveCodeBench medium에서 6.5점의 상승이 보고됐습니다. 모두 같은 예산에서 포크 위치만 바꾼 차이가 가져온 결과입니다.

이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 같은 트리 크기, 같은 샘플링 예산, 같은 검증 보상 아래에서의 비교이기 때문입니다. 예산을 무한히 늘리면 무작위 포크도 언젠가는 변곡점을 밟을 것입니다. 하지만 현실에서는 포크가 몇 개 되지 않으므로, 어디에 두는지가 성적을 가릅니다. 마치 한정된 시추공으로 유전을 찾을 때, 어디를 뚫을지가 성패를 가르는 것과 비슷합니다. 구멍의 개수가 아니라 위치가 결과를 정합니다.

개인적으로 인상 깊었던 점은 수학과 코드 모두에서 방향이 같았다는 것입니다. 보통 수학에서 통하는 방법이 코드에서는 힘을 못 쓸 때가 많습니다. 검증 방식도 다르고 풀이의 모양도 다르기 때문입니다. 그런데 믿음 변화라는 잣대는 두 영역 모두에서 통했습니다. 답에 대한 판단이 흔들리는 지점이 배울 것이 많은 지점이라는 직관이 과제 종류를 넘어선 셈입니다. 물론 이것을 모든 추론 과제에 일반화하기에는 데이터가 부족합니다. 논문이 보여준 것은 정해진 모델과 과제 묶음에서의 결과이고, 그 바깥에서는 확인이 더 필요하기 때문입니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요? 저는 이 질문을 마지막으로 미뤄두고 싶었는데, 그 이유는 먼저 이 방법이 아닐 수 있는 것들을 정리해야 전체 그림이 또렷해지기 때문입니다. 그래서 다음 부분에서는 이 방법이 보상도 아니고 더 큰 트리도 아니라는 점을 먼저 가려내겠습니다.

남은 질문은 어디에 포크를 치지 않을지이다

이 방법이 아닌 것을 말하는 편이 이해에 더 빠릅니다. 믿음 변화 분기는 더 똑똑한 보상 함수가 아닙니다. 보상은 여전히 정답 여부라는 검증 가능한 신호에서 옵니다. 이 방법은 어디에 포크를 칠지를 정하는 배치 규칙입니다. 또한 더 큰 트리도 아닙니다. 트리 크기를 키우면 성적이 오를 수 있지만, 그 비용은 별도로 듭니다. 이 논문은 크기가 정해졌을 때 위치를 어떻게 고를지를 다룹니다. 그리고 단계별 사람 설명의 대체품도 아닙니다. 사람 설명이 있으면 더 풍부한 신호를 줄 수 있겠지만, 이 방법은 그런 설명 없이도 되는 길을 보여준 것입니다.

실제 시스템 관점에서 보면 아쉬운 점도 보입니다. 믿음 변화가 크다고 해서 항상 배울 것이 많은 것은 아닙니다. 모델이 잘못된 확신에서 또 다른 잘못된 확신으로 넘어가는 구간도 있기 때문입니다. 그곳에 포크를 치면 형제들은 갈라지겠지만, 둘 다 틀린 방향으로 갈라질 수 있습니다. 신호는 크지만 학습에 도움은 덜 되는 경우입니다. 논문이 몬테카를로 곡선과의 일치로 신호를 검증한 것은 이 걱정을 덜어주지만, 완전히 없애주지는 않습니다. 탐침이 가리키는 변곡점 중 일부는 소음이 섞여 있을 수밖에 없기 때문입니다.

제가 앞으로 보고 싶은 것은 이 규칙이 더 긴 체인과 더 큰 모델에서도 같은 모양을 유지하는지입니다. 단계가 길어지면 믿음 곡선에 변곡점이 여러 개 생길 수 있고, 그중 어디를 먼저 팔지가 새로운 문제가 됩니다. 모델이 커지면 믿음의 움직임이 더 미묘해져서 탐침의 해상도도 다시 따져봐야 합니다. 저희가 구조를 볼 때 늘 묻는 것처럼, 이 변화가 메모리와 대역폭, 지연과 처리량 사이에서 어떤 비용 구조를 만드는지도 함께 봐야 합니다. 포크 위치를 정하는 규칙이 가벼운 것은 확인됐지만, 트리 전체를 굴리는 비용까지 가벼워진 것은 아니기 때문입니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 저는 포크를 치지 않아도 되는 지점을 아는 일에서 끊을 수 있다고 봅니다. 결과가 굳어진 구간을 미리 알아내고 거기서는 샘플링을 아끼는 것, 흔들리는 구간에만 예산을 쏟는 것, 그것이 이 논문이 남긴 실무적인 메시지입니다. 다음에 긴 풀이의 학습 곡선을 보게 된다면, 저는 점수보다 먼저 그 곡선이 어디에서 꺾이는지를 보려고 합니다. 모델이 마음을 바꾸는 바로 그 앞에서, 배움의 대부분이 일어나기 때문입니다.