정답 뒤에 숨은 오류를 찾아내는 법, LexAgentHallu가 묻는 질문

오늘 살펴볼 논문은 LexAgentHallu: A Hierarchical Benchmark for Profiling Hallucinations in Legal Agents로, arXiv 2609.09754로 공개된 연구입니다. 이 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 법률 에이전트의 환각은 최종 정답만 채점해서는 보이지 않으며 다단계 궤적을 따라 어디에서 얼마나 어긋났는지 측정해야 한다는 것입니다. 원문 링크는 제목 아래에 걸어두었습니다.

제가 이 논문에서 가장 흥미롭게 본 부분은 문제의식의 방향이었습니다. 보통 법률 AI 평가는 정답을 맞혔는지 틀렸는지를 묻는데요, 여기서는 맞혔다고 끝이 아니라 어떻게 맞혔는지를 묻습니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 정답 뒤에 틀린 근거가 숨어 있다면, 그 정답을 운영에 올려도 될까요.

왜 정답만 보면 법률 에이전트를 속을 수 있을까

안녕하세요, 패트릭입니다. 법률 상담을 떠올리면 많은 분이 판결문 한 장을 떠올리시는데요, 실제 법률 일은 한 장으로 끝나지 않습니다. 관련 조항을 찾고, 판례를 대조하고, 사실관계를 정리한 뒤에 비로소 결론에 이릅니다. 그런데 평가만은 이상하게 단순한 경우가 많죠. 마지막 답만 보고 맞았으면 통과, 틀렸으면 탈락시키는 방식입니다.

그렇다면 이런 평가가 법률 에이전트에게는 왜 위험할까요. 이유는 에이전트가 답을 내놓기까지 여러 도구를 거치기 때문입니다. 검색 도구를 호출하고, 인용을 가져오고, 추론을 이어붙이는 과정에서 작은 어긋남이 생길 수 있는데요, 마지막 문장이 우연히 정답과 비슷하면 그 어긋남은 기록에 남지 않습니다. 맞은 것처럼 보이지만 속은 셈이죠.

생각해보면 사람도 비슷하게 배웁니다. 시험에서 답만 맞히면 선생님이 풀이 과정을 다시 묻곤 하죠. 풀이가 틀렸는데 답만 맞았다면, 다음 문제에서는 같은 실수가 더 크게 터질 수 있으니까요. 법률 에이전트도 마찬가지입니다. 조항을 잘못 읽었는데 결론만 비슷하면, 다음 사건에서는 그 잘못된 읽기가 전혀 다른 결론을 만들 수 있습니다.

저는 그래서 정답률이라는 숫자를 그대로 믿기 전에 조건을 봐야 한다고 봅니다. 무엇이 맞았는지가 아니라 어디까지가 맞았는지를 물어야 한다는 것이죠. 이 논문은 바로 그 질문에서 출발합니다. 법이라는 영역에서는 틀린 근거로 얻은 맞는 결론이 오히려 더 위험할 수 있으니까요.

기존 법률 벤치마크가 보지 못한 것은 무엇이었을까

질문도 바뀌었습니다. 예전에는 무엇을 물었을까요. 법률 지식을 알고 있는가, 조문을 외우는가, 판례를 맞히는가 같은 질문이었습니다. 그래서 평가도 단일 질의응답 형태가 많았죠. 질문을 주고 답을 받으면 끝나는 구조였습니다.

그런데 에이전트가 등장하면서 풍경이 달라졌습니다. 에이전트는 질문에 바로 답하지 않고 일을 벌이는데요, 검색하고, 문서를 열고, 도구를 호출하고, 중간 결론을 세우면서 앞으로 나아갑니다. 이런 움직임은 단일 질의응답 평가로는 잡히지 않습니다. 마지막 답만 보면 중간에 무슨 일이 있었는지 알 수 없기 때문입니다.

여기서 재미있는 질문이 생깁니다. 기존 평가가 놓친 것은 과연 지식의 부족이었을까요, 아니면 일을 처리하는 방식의 문제였을까요. 논문이 진단하는 쪽은 후자에 가깝습니다. 도구 호출과 추론 과정에서 생기는 절차적 실패가 따로 존재하고, 그것이 실체적 오류와 얽히면서 날조된 판단이나 잘못된 인용으로 번진다는 것이죠.

운영 측면에서 보면 이 차이는 상당히 큽니다. 지식이 부족한 모델은 공부를 더 시키면 되지만, 절차가 흔들리는 에이전트는 공부를 더 시켜도 같은 곳에서 넘어질 수 있기 때문입니다. 검색 결과를 잘못 엮거나, 호출 순서를 바꾸거나, 추론 한 줄을 건너뛰는 실수는 지식이 아니라 습관의 문제에 가깝죠. 저는 이 구분이 이 논문이 주는 첫 번째 선물이라고 봅니다.

3414개 문제를 만드는 데 사람이 네 번 개입한 이유

그렇다면 이런 궤적을 재는 문제는 어떻게 만들 수 있을까요. 논문이 보고하는 규모는 3414개 인스턴스, 17개 법률 분야, 6개 과제 유형입니다. 숫자를 나열하면 단순해 보이지만, 이 숫자를 만드는 과정이 더 중요합니다. 연구진은 네 단계에 걸친 전문가 참여 파이프라인으로 문제를 만들었기 때문입니다.

왜 기계를 돌려서 대량으로 만들지 않았을까요. 이유는 법률에서는 그럴듯한 오답이 너무 쉽게 만들어지기 때문입니다. 실제 존재하지 않는 판례 번호를 하나 만들어도 문장은 매끈하게 읽히죠. 겉으로 보면 멀쩡한데 속은 빈 문제지가 쌓이면, 벤치마크 자체가 환각을 품은 셈이 됩니다. 그래서 사람의 눈이 여러 번 들어갈 수밖에 없는데요, 만드는 단계마다 전문가가 고르고 다듬는 구조가 필요했던 것입니다.

저는 여기서 조금 멈칫했습니다. 3414개라는 규모가 아주 거대해 보이지는 않기 때문입니다. 요즘 벤치마크는 수만 개도 흔하죠. 하지만 법률처럼 틀린 근거가 실제 피해로 이어지는 영역에서는 개수보다 밀도가 중요할 수 있습니다. 하나하나에 실패의 위치와 종류가 표시되어 있다면, 만 개의 정오답보다 몇천 개의 궤적이 더 많은 말을 해주니까요.

문제는 그다음입니다. 많은 문제를 모으는 것과 실패를 분류하는 것은 다른 일입니다. 모은 뒤에는 어디가 어떻게 틀릴 수 있는지를 미리 그려둘 틀이 필요한데요, 다음에 볼 분류 체계가 바로 그 틀에 해당합니다.

일곱 개 분류와 스물일곱 개 세부 유형은 어떻게 엮일까

이 논문이 제시하는 분류는 두 겹으로 되어 있습니다. 위에는 일곱 개의 큰 갈래가 있고, 아래에는 스물일곱 개의 세부 유형이 달려 있죠. 모든 문제에는 이 틀에 따른 표시가 붙어 있습니다. 그래서 단순히 틀렸다는 기록이 아니라 무엇이 어떻게 틀렸는지를 읽을 수 있습니다.

이 구조가 반가운 이유는 실체적 오류와 절차적 실패를 함께 보기 때문입니다. 실체적 오류라면 잘못된 법리나 존재하지 않는 근거 같은 것이고, 절차적 실패라면 도구 호출 실수나 추론의 끊김 같은 것이죠. 보통 평가는 전자만 보는데요, 에이전트 시대에는 후자가 전자를 만들어내는 경우가 많습니다. 검색을 잘못해서 틀린 조문을 가져오면, 그 뒤의 논증은 아무리 매끈해도 모래 위에 지은 집이 되니까요.

일곱이라는 숫자는 많을까요, 적을까요. 저는 적당히 넓다고 봅니다. 너무 적으면 모든 실패가 한 바구니에 담기고, 너무 많으면 분류 자체를 외우느라 지치기 때문입니다. 일곱 개의 큰 갈래는 전체 지형을 보여주고, 스물일곱 개의 세부 유형은 현장에서 어디를 고쳐야 할지 알려주는 역할을 나누는 것이죠. 일종의 지도와 주소 같은 관계라고 할까요.

여기서는 조금 조심해서 읽을 필요가 있습니다. 분류가 촘촘하다고 해서 현실의 모든 실패가 깔끔하게 들어맞는 것은 아니기 때문입니다. 실제 궤적에서는 두세 가지 유형이 겹쳐서 나타나기도 하죠. 그럼에도 이런 틀이 있으면 대화가 달라집니다. 틀렸다는 말 대신 어디에서 어긋났다는 말을 쓸 수 있으니까요. 엔지니어에게는 그 한마디 차이가 큽니다.

도구 호출 실수 하나가 판결문 날조로 이어질 때

표면적으로 보면 단순합니다. 도구를 잘못 호출한 것뿐인데, 왜 판결문 전체가 흔들릴까요. 실제로는 그렇지 않습니다. 에이전트의 실행은 사슬처럼 이어져 있어서, 앞 고리가 어긋나면 뒤 고리는 어긋난 채로 굳어지기 때문입니다.

구체적인 장면을 떠올려보죠. 어느 저녁, 에이전트가 임대차 분쟁에 대한 검토를 맡았다고 합시다. 먼저 판례 검색 도구를 호출해야 하는데, 검색어가 조금 빗나갑니다. 관련 없는 판례가 돌아오죠. 에이전트는 그 판례가 관련 없다고 의심하기보다, 주어진 재료를 엮어서 답을 만드는 쪽으로 기울 수 있습니다. 그러면 다음 추론에서는 그 잘못된 판례를 전제로 법리가 이어지고, 마지막에는 존재하지 않는 판단 요지가 그럴듯한 문장으로 적힙니다. 처음에는 작은 호출 실수였는데, 끝에서는 날조된 판단이 되는 것이죠. (사실 판례 번호 하나하나를 외우는 분은 많지 않죠. 그런데도 틀린 번호가 주는 찜찜함은 누구나 압니다. 문장은 매끈한데 어딘가 근거가 비어 있는 느낌이랄까요.)

그렇다면 이런 연쇄를 어떻게 끊을 수 있을까요. 논문이 짚는 지점은 명확합니다. 실패가 발생한 위치를 표시해야 한다는 것이죠. 마지막 문장만 고치면 같은 연쇄가 다음 사건에서 반복되지만, 어느 도구 호출에서 어긋났는지 알면 호출 방식을 고칠 수 있기 때문입니다. 검색어 생성, 인용 검증, 추론 연결 같은 구체적인 고리가 보이는 셈입니다.

저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 같은 태도로 보면, 법률 에이전트의 연쇄 실패는 정확도 문제가 아니라 배관 문제에 가깝습니다. 물이 새는 지점을 알아야 고치죠. 이 논문이 궤적을 따라 측정하자고 말하는 이유도 여기에 있습니다.

맞았는데 틀린 답이라는 이상한 현상을 마주했습니다

개인적으로 인상 깊었던 점은 정답인데 틀린 경우에 대한 보고였습니다. 연구진이 18개의 상용 및 오픈소스 에이전트를 평가하면서 확인한 현상인데요, 올바른 결과가 틀린 추론을 가리는 Right-Answer-Wrong-Reason 효과가 나타났다는 것입니다.

이게 왜 중요할까요. 평가가 결과만 보면 이런 사례는 전부 정답 칸에 들어가기 때문입니다. 그러면 모델은 잘하고 있는 것처럼 보이죠. 하지만 궤적을 열어보면 근거가 비어 있거나, 인용이 어긋나 있거나, 추론이 건너뛰어 있습니다. 겉으로는 합격인데 속으로는 탈락인 셈입니다.

좋은 건 알겠는데, 이걸 실제로 어떻게 가려낼까요. 논문이 제안하는 방식은 궤적에 대한 세밀한 측정입니다. 어느 정도의 분량이 어긋났는지 그 범위를 재고, 실행 경로의 어디에서 어긋났는지 위치를 찍는 것이죠. 이렇게 하면 정답이라는 가면 뒤에 숨은 오류를 벗길 수 있습니다. 정답률 표에서는 모두 비슷해 보이던 에이전트들이, 궤적 측정에서는 전혀 다른 얼굴을 드러내는 장면이 생기는 것입니다.

여기서 한 가지 오해를 바로잡을 필요가 있습니다. 이 현상이 모든 정답을 의심하라는 뜻은 아닙니다. 오히려 정답 중 일부는 근거까지 단단하고, 일부는 운 좋게 맞았다는 구분을 만들자는 것이죠. 운영에 올릴 수 있는 것과 다시 손봐야 할 것을 가르는 일인데요, 법률처럼 틀린 근거가 분쟁으로 이어지는 영역에서는 이 구분이 곧 품질 관리가 됩니다.

환각은 흩어지지 않고 무리를 지었습니다

그렇다면 이런 세부 실패들은 제각각 흩어져 있을까요. 연구진의 관찰은 반대였습니다. 환각의 세부 유형들은 흩어지지 않고 모였는데요, 특정한 덩어리를 이룬다는 것입니다. 어떤 실패는 어떤 과제에서 자주 함께 나타나고, 다른 실패는 다른 조건에서 묶여서 나타납니다.

이 대목은 처음 읽으면 조금 추상적으로 느껴질 수 있습니다. 하지만 시스템 관점에서 보면 꽤 구체적인 힌트가 됩니다. 실패가 무작위로 흩어진다면 대책도 두루뭉술해질 수밖에 없는데요, 실패가 모인다면 그 모인 지점을 짚어서 고칠 수 있기 때문입니다. 어디에서 어떤 종류가 자주 터지는지 알면, 방어 장치도 그곳에 두면 되죠.

왜 이런 모임이 생길까요. 이유는 실행 방식과 과제 성격이 실패를 빚어내기 때문입니다. 어떤 과제는 검색에 많이 의존하고, 다른 과제는 긴 추론을 요구하죠. 의존하는 지점이 다르면 넘어지는 지점도 달라집니다. 그래서 결과만 보는 평가에서는 안 보이던 지문이, 유형별로 쪼개서 보면 드러나는 것입니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 모인다는 것은 곧 예측할 수 있다는 뜻이니까요. 예측할 수 있으면 대비할 수 있고, 대비할 수 있으면 운영할 수 있습니다. 법률 에이전트를 실제 업무에 올리려는 팀에게는 이보다 실용적인 소식이 많지 않죠.

과제와 틀마다 지문이 달라지는 이유

앞선 관찰을 조금 더 밀고 가면, 에이전트 틀과 법률 과제와 분야마다 각기 다른 실패 지문이 나타난다는 이야기가 됩니다. 같은 환각이라는 이름 아래에서도, 어떤 틀에서는 특정 세부 유형이 자주 보이고 다른 틀에서는 다른 유형이 도드라지는 것이죠.

이 차이는 생각보다 중요합니다. 같은 점수를 받은 두 에이전트라도 고장 나는 방식이 다르면, 고치는 방식도 달라야 하기 때문입니다. 한쪽은 도구 호출을 다듬어야 하고, 다른 쪽은 추론 연결을 보강해야 할 수 있죠. 처방이 다른데 같은 약을 먹이면 낫지 않는 것과 같습니다.

그렇다면 분야의 차이도 같은 방식으로 읽을 수 있을까요. 17개 법률 분야라는 구성을 떠올리면 답이 보입니다. 분야마다 자주 쓰는 근거의 형태와 추론의 길이가 다르니까요. 어떤 분야는 조문 대조가 빡빡하고, 다른 분야는 판례의 사실관계 구분이 까다롭습니다. 자주 밟는 지형이 다르면 남는 발자국도 달라지는 셈이죠.

여기서 실무적인 질문이 생깁니다. 우리 팀이 쓰려는 과제에 맞는 평가를 골랐는가 하는 것입니다. 종합 점수가 높다는 말만 믿고 들여오면, 정작 우리 과제에서 자주 터지는 유형에는 약한 에이전트를 고를 수 있기 때문입니다. 그래서 과제별, 틀별 지형을 보여주는 평가는 사치가 아니라 필요에 가깝습니다. 도입 전에 어디가 아픈지 아는 것과 모르는 것은 운영 비용에서 크게 갈리니까요.

숫자를 넘어 실행 경로를 재는 측정이 필요한 이유

이제 측정 이야기로 돌아올 차례입니다. 논문은 범위를 재고 위치를 찍는 세밀한 측정을 제안하는데요, 이게 결과 채점과 무엇이 다를까요. 결과 채점은 마지막 문장에 도장을 찍는 일이고, 궤적 측정은 걸어온 길에 표시를 남기는 일입니다.

이 차이를 쉽게 설명하기 위해 공사 현장을 떠올려보죠. 완공된 건물만 보면 멀쩡해 보여도, 배관이 어디에서 새는지 알려면 벽을 열어야 합니다. 궤적 측정은 그 벽을 여는 일과 비슷합니다. 어느 단계에서 근거가 비었고, 어디서 인용이 어긋났는지를 보여주니까요. 고치려는 사람에게는 완공 사진보다 배관 지도가 더 귀합니다.

그런데 이런 측정이 매번 필요할까요. 간단한 질의응답이라면 결과 채점만으로 충분할 수 있습니다. 하지만 도구를 여러 번 호출하고 긴 추론을 이어붙이는 에이전트라면 이야기가 달라지죠. 걸음이 많아질수록 넘어질 자리도 많아지고, 넘어진 자리를 모르면 다음에도 같은 자리에서 넘어지기 때문입니다.

저는 앞으로 보고 싶은 것이 바로 이 측정의 쓰임새입니다. 평가 점수로 줄을 세우는 데서 그치지 않고, 고칠 곳을 짚어주는 측정으로 이어질 수 있을까요. 어디를 고치면 어떤 유형이 줄어드는지까지 보여준다면, 벤치마크는 시험지를 넘어 수리 설명서가 됩니다. 이 논문은 그 방향으로 한 걸음 내디딘 셈이죠.

그래서 법률 에이전트에게 다음 질문은 무엇일까요

앞에서 미뤄둔 질문으로 돌아올 차례입니다. 궤적을 본 뒤에는 무엇을 해야 할까요. 논문이 남기는 답은 단순한 순위표가 아니라 지형도인데요, 어떤 실패가 어디에 모이는지를 보여주는 쪽에 가깝습니다. 그래서 다음 연구는 그 지형 위에서 무엇을 고칠지를 묻는 흐름으로 이어질 것 같습니다.

그렇다면 사람의 역할은 무엇일까요. 법률에서는 특히 이 질문이 무겁습니다. 에이전트가 매끈한 문장으로 틀린 근거를 내놓을 때, 그걸 가려내는 눈은 아직 사람의 몫이 크기 때문입니다. 네 단계의 전문가 참여가 벤치마크를 만드는 데 필요했다면, 실제 운영에서도 전문가의 눈이 마지막 문턱을 지켜야 한다는 뜻이기도 하죠.

물론 이 연구가 모든 답을 준 것은 아닙니다. 18개 에이전트에서 본 지문이 다른 모델과 다른 과제에서도 그대로 이어질지는 더 지켜봐야 하고요, 일곱 개와 스물일곱 개라는 틀이 시간이 지나도 그대로 유효할지도 열린 문제입니다. 법이 바뀌고 도구가 바뀌면 실패의 모양도 바뀌기 때문입니다.

그럼에도 남는 문장은 분명합니다. 법률 에이전트를 물을 때는 맞았는지를 넘어 어떻게 맞았는지를 물어야 한다는 것이죠. 정답 뒤에 숨은 틀린 이유를 보는 눈이 생기면, 도입과 운영의 기준도 달라집니다. 저는 그래서 다음에 법률 에이전트를 고를 일이 있다면, 결과표 옆에 궤적 지도를 함께 달라고 요청할 것 같습니다. 그 지도가 있어야 진짜로 믿을 수 있으니까요.