바이브 특허 내기, LLM 심사자는 전문 특허 일을 평가할 수 있을까

오늘 다룰 연구는 Vibe Patenting: Evaluating LLM Judges for Professional Patent-Drafting Agents로, arXiv에 2609.13422 번호로 공개된 논문입니다. 원문 링크는 제목 아래에 걸어 두었습니다.

이 연구가 던지는 주장은 한 문장으로 정리됩니다. 복잡한 전문 업무에서 LLM 심사자가 믿을 만한 평가와 고쳐 쓸 방향을 줄 수 있는지를 특허 명세서 작성이라는 처음부터 끝까지 이어지는 실제 작업으로 검증했다는 것입니다. 이 흐름을 따라가면 심사자라는 장치가 언제 도움이 되고 언제 착각을 주는지 조금씩 드러납니다.

왜 하필 특허 명세서로 심사자를 시험했을까

안녕하세요, 패트릭입니다. 저는 이 논문을 처음 펼쳤을 때 제목보다 부제가 눈에 들어왔습니다. 전문 특허 작성 에이전트를 위한 LLM 심사자 평가라니, 조합이 꽤 짓궂게 느껴졌거든요. 특허는 문장 몇 줄이 예쁘다고 끝나는 일이 아니니까요. 권리가 어디부터 어디까지인지를 말 한 마디로 가르는 문서이고, 나중에 분쟁이 생기면 한 글자 차이로 수억이 오갑니다. 그렇다면 이런 문서를 가지고 심사자를 시험하겠다는 발상은 어디에서 왔을까요.

연구팀이 본 문제는 생각보다 단순합니다. 요즘 많은 팀이 AI가 만든 결과를 또 다른 AI에게 맡겨 평가하고 고치게 합니다. 코딩도 그렇고 글쓰기도 그렇고, 디자인 초안도 그렇습니다. 그런데 이런 방식이 쉬운 과제에서는 잘 돌아가는데, 전문성이 깊어질수록 확신이 사라집니다. 점수는 매끈하게 나오는데 그 점수를 어디까지 믿어야 할지 모르겠다는 것이죠. 제가 이 대목에서 멈칫했던 이유는 저희가 새로운 AI 구조를 볼 때도 비슷한 걱정을 하기 때문입니다. 벤치마크 숫자만 보면 안 되고, 그 숫자가 실제 작업의 어느 부분을 재고 있는지 함께 봐야 하니까요.

그래서 특허가 우연히 무대에 오른 것이 아니라, 이런 성질 때문에 무대로 고른 셈입니다. 특허 명세서는 처음부터 끝까지 이어지는 작업이고, 형식이 정해져 있으며, 잘 썼는지 판단하는 눈도 분명히 존재합니다. 발명 공개서라는 재료가 들어오면 명세서라는 결과물이 나와야 하고, 그 사이에는 청구항과 상세한 설명, 도면 부호 같은 부품들이 맞물려야 합니다. 이런 작업은 짧은 퀴즈처럼 운으로 맞힐 수 없죠. 밤 11시, 출원 마감 전날에 발명자와 전화로 다투면서 청구항 한 항을 고치는 장면을 떠올리면 감이 옵니다. 그 문장은 예쁘려고 쓰는 문장이 아니라 권리를 지키려고 쓰는 문장이니까요. 이런 무대라면 심사자가 진짜로 일을 아는지 물을 수 있습니다.

바이브 코딩처럼 특허를 쓴다면 무슨 일이 생길까

제목에 들어간 바이브라는 단어를 보고 저는 잠시 웃었습니다. 느낌 가는 대로 AI에게 맡기고 고쳐 달라고 말하는 그 태도가 이제 특허까지 온 것일까요. 실제로 연구가 만든 장치는 그런 상상을 꽤 정직하게 구현합니다. 발명에 대한 설명을 넣으면 에이전트가 명세서 전체를 써내고, 심사자가 읽고 고칠 점을 구조화된 형태로 돌려주며, 그걸 받아 다시 쓰는 순환이 이어집니다. 말로 풀면 쉬워 보이는데, 막상 돌려보면 어려운 지점이 금방 드러납니다. 특허는 고치는 횟수가 능사가 아니기 때문입니다.

여기서 재미있는 질문이 생깁니다. 고치라는 말을 반복하면 글은 계속 좋아질까요. 일상적인 글쓰기에서는 대개 그렇습니다. 맞춤법을 고치고 문장을 다듬으면 읽기가 편해지니까요. 그런데 권리를 다루는 문서는 층이 다릅니다. 표현을 매끄럽게 만드는 일과 권리를 넓히면서도 부서지지 않게 만드는 일은 같은 방향이 아닐 때가 많습니다. 어떤 날은 문장이 매끈해질수록 청구항이 오히려 좁아지고, 어떤 날은 설명을 친절하게 늘릴수록 선행기술에 걸릴 구석이 늘어납니다. 그래서 저는 이 테스트베드가 처음부터 끝까지 이어지는 형태로 설계된 대목을 좋게 봤습니다. 단편 지식이 아니라 일을 끝내는 능력을 묻고 있으니까요.

연구가 여러 발명과 여러 에이전트 구성을 가로질러 시험했다는 점도 눈여겨볼 대목입니다. 한 가지 발명에서만 잘 되면 운일 수 있는데, 재료와 작업자를 바꿔도 같은 경향이 보이면 이야기가 달라지죠. 이런 설계는 실제 시스템 관점에서 보면 다음 질문을 바로 부릅니다. 심사자가 매번 비슷한 품질로 고칠 점을 찾아낼까요, 아니면 어떤 발명에서는 유난히 관대해질까요. 뒤에 나오는 변리사 검증이 그래서 중요합니다. 점수가 매번 같은 온도로 재고 있는지 사람을 통해 확인해야 하니까요.

심사자는 왜 따로 불러내는 걸까

제가 이 논문에서 가장 흥미롭게 본 부분은 심사자를 따로 불러낸다는 대목입니다. 글을 쓴 당사자에게 스스로 평가하라고 맡기지 않고, 다른 호출로 분리해 평가와 첨삭을 맡긴 것이죠. 얼핏 보면 비효율적으로 느껴집니다. 같은 모델을 두 번 부르면 돈이 두 배로 드니까요. 그런데 조금만 생각하면 이 분리가 꽤 그럴듯합니다. 쓴 사람과 고치는 사람의 눈이 같으면 같은 맹점이 반복되기 때문입니다.

생각해보면 사람도 비슷하게 일합니다. 초안을 쓴 변리사가 바로 다음 줄에 스스로 별점을 매기면 점수가 후해질 수밖에 없죠. 그래서 로펌에서는 동료가 빨간펜을 들 때가 많습니다. 떨어져서 읽어야 보이는 것이 있으니까요. 이 연구의 심사자도 그런 자리에 앉아 있습니다. 초안을 낸 에이전트와는 다른 호출로, 정해진 틀에 따라 어디가 약한지 짚고 어떻게 고치면 좋을지를 돌려줍니다. 저는 이 구조보다 그 뒤의 태도가 더 중요하다고 봅니다. 평가를 점수 한 줄로 끝내지 않고 고쳐 쓸 재료로 넘긴다는 점이죠.

문제는 그다음입니다. 따로 불렀다고 해서 매번 올바른 지적이 나오는 것은 아닙니다. 심사자도 결국 같은 계열의 모델에서 나왔을 가능성이 크고, 같은 편향을 나눠 가질 수 있습니다. 이를테면 길고 정돈된 문장을 실제 권리보다 후하게 보거나, 어려운 청구항 구조를 피하고 쉬운 형식적 완성도에 기대는 식입니다. 연구가 심사 안내에 따른 고쳐 쓰기와 안내 없는 고쳐 쓰기를 나란히 놓고 비교한 이유가 여기에 있습니다. 분리가 실제로 일을 하는지, 아니면 비용만 늘리는 장식인지 가려야 하니까요. 이 차이는 생각보다 중요합니다. 에이전트에 돈 쓸 때 어디에 써야 하는지가 갈리거든요.

스스로 고치면 금방 멈추고 지적받으면 계속 나아지는 이유

결과부터 말하면 경향은 꽤 또렷했습니다. 심사자의 안내를 받아 고치면 심사자가 매긴 품질이 여러 발명과 에이전트 구성에서 꾸준히 올랐고, 안내 없이 스스로 고치면 어느 지점부터 점수가 답보 상태에 들어갔습니다. 저는 이 대목을 읽으면서 고개를 끄덕였는데, 이유는 제가 에이전트를 만질 때도 비슷한 장면을 자주 보기 때문입니다. 스스로 다시 써보라고만 하면 모델은 표현을 조금 바꾸다가 제자리로 돌아오거든요. 뭐가 문제인지 모르면 손댈 곳을 못 찾으니까요.

반면 구체적인 지적은 손이 갈 곳을 정해줍니다. 청구항의 독립항이 너무 좁다거나, 상세한 설명에 실시예가 빠져 있다거나, 도면 부호와 문장이 어긋난다는 식의 말이 있으면 다음 시도는 방향이 생깁니다. 물론 이런 지적이 매번 옳다는 보장은 없습니다. 그런데도 점수가 꾸준히 오른다는 것은 심사자가 최소한 다음 손질을 안내하는 데는 쓸모가 있다는 뜻이죠. 여기서 조심해서 읽을 필요가 있습니다. 오른 것은 심사자가 매긴 점수이지, 아직 사람의 도장이 찍힌 품질이 아니니까요. 뒤에서 다룰 변리사 대목이 괜히 있는 게 아닙니다.

그렇다면 왜 스스로 고치기는 멈출까요. 저는 그 이유를 정보의 바깥 추가로 봅니다. 스스로 고치기는 같은 머리에서 같은 생각을 꺼내 쓰는 일이라 새로운 단서가 들어오지 않습니다. 마치 혼자 원고를 열 번 읽는 것과 비슷하죠. 열 번째에는 눈이 글자에 익어서 오타가 더 안 보입니다. 심사자 피드백은 이때 바깥에서 들어오는 두 번째 눈입니다. 두 번째 눈이 완벽하지 않아도, 첫 번째 눈과 다른 곳을 보면 전체가 앞으로 갑니다. 운영 측면에서 보면 이 차이는 꽤 큽니다. 같은 생성 예산을 어디에 쓸지, 다시 쓰기에 쓸지 아니면 평가와 첨삭에 나눠 쓸지를 정해야 하니까요.

적은 추론으로 많은 추론을 따라잡던 장면

이번 연구에서 제가 앞으로 보고 싶은 것과 이어지는 장면이 바로 여기입니다. 가벼운 추론으로 돌린 에이전트가 심사자의 반복 피드백을 받으면서 훨씬 비싼 무거운 추론 에이전트의 성능 근처까지 다가갔다는 대목이죠. 처음 읽으면 마법처럼 들립니다. 돈 적게 들인 쪽이 돈 많이 들인 쪽을 따라잡았다니요. 그런데 구조를 뜯어보면 그렇게 신기한 일만은 아닙니다. 생각을 길게 하는 것과 남의 지적을 받아 고치는 것은 다른 종류의 일이니까요.

무거운 추론은 혼자 오래 생각하는 힘입니다. 경우의 수를 넓히고 스스로 검증하면서 답을 다듬죠. 가벼운 추론에 바깥 피드백을 붙이는 방식은 짧게 여러 번 움직이는 힘입니다. 한 번에 완벽해지려 하지 않고, 지적받은 곳만 고치면서 계단을 오릅니다. 어떤 발명에서는 후자가 더 쌀 수 있습니다. 특허처럼 고칠 지점이 비교적 또렷한 작업에서는 방향을 아는 것이 오래 생각하는 것보다 돈을 아끼니까요. 출원서 한 건을 놓고 보면 이해가 쉽습니다. 유능한 선배가 옆에서 두세 번만 짚어줘도 주니어의 초안이 달라지죠. 혼자 밤새 고민하는 것보다 그 두세 마디가 셀 때가 있습니다.

여기서 저는 조금 의심했습니다. 따라잡았다는 말의 온도가 궁금했기 때문입니다. 심사자가 매긴 점수 위에서 따라잡은 것인지, 변리사가 봐도 그만큼 따라잡은 것인지가 남거든요. 연구의 표현을 그대로 받아들이면, 이 따라잡기는 심사자가 매긴 품질 위에서 확인된 현상입니다. 그래서 저는 이 숫자를 시스템 설계의 힌트로 읽습니다. 무거운 추론을 무조건 돌리기 전에, 가벼운 생성과 별도 심사라는 조합이 같은 예산에서 어디까지 가는지 먼저 재볼 일이라는 것이죠. 저희가 새 구조를 볼 때도 추론 길이만 늘리기 전에 어디에 돈을 태울지부터 따지는데, 이 연구는 그 계산에 쓸 만한 재료를 줍니다.

강한 모델이 잘 쓰는 것은 당연할까

표면적으로 보면 단순합니다. 실제로는 그렇지 않습니다. 강한 모델이 특허를 더 잘 쓰고, 추론을 늘리면 심사자가 매긴 품질이 대체로 좋아졌다는 결과는 언뜻 당연해 보입니다. 비싼 모델이 잘하면 뭐가 새롭냐는 말이 나올 수 있죠. 그런데 저는 이 당연해 보이는 대목을 그냥 넘기지 않았습니다. 무엇을 재고 있을 때 당연한 결과가 나오는지가 더 중요하기 때문입니다.

특허는 유창함만으로 점수를 딸 수 있는 종목이 아닙니다. 용어가 일관되어야 하고, 청구항과 상세 설명이 서로 어긋나지 않아야 하며, 권리의 범위를 넓히면서도 깨지지 않게 지켜야 합니다. 이런 조건에서는 강한 모델의 이점이 단순한 말솜씨가 아니라 구조를 지키는 힘에서 나올 가능성이 큽니다. 이를테면 앞부분에서 쓴 정의를 뒷부분까지 끌고 가거나, 독립항과 종속항의 관계를 흐트러뜨리지 않는 일 같은 것이죠. 추론을 늘렸을 때 품질이 좋아졌다는 말도 같은 맥락에서 읽힙니다. 길게 생각한다고 문장이 예뻐지는 것이 아니라, 앞뒤를 맞추는 실수가 줄기 때문입니다.

그렇다면 이 흐름은 어디까지 믿을 수 있을까요. 저는 여기서 다음 질문을 던지고 싶습니다. 모델이 강해질수록 심사자의 눈도 함께 후해지는 것은 아닐까요. 심사자와 작성자가 비슷한 취향을 나누면, 어려운 일을 잘했다기보다 서로 좋아하는 스타일로 만났을 뿐인데 점수가 오를 수 있습니다. 연구가 여러 발명과 구성에서 경향을 확인했다고 해도, 이 의심을 완전히 없애기는 어렵습니다. 그래서 전문가 검증이 필요합니다. 강한 모델이 잘 쓴다는 말을 심사자 바깥에서 한 번 더 받아야 그 당연함이 진짜가 되니까요.

한 끗 차이로 벌어진 전문 워크플로의 힘

모델 자체의 힘만큼 눈에 들어온 것은 전문 워크플로가 얹어준 추가 이득입니다. 같은 모델이라도 특허 일에 맞춘 에이전트 흐름을 얹으면 심사자가 매긴 품질이 더 올라갔다는 것이죠. 저는 이 대목이 실무자에게 가장 쓸모가 있다고 봅니다. 모델을 바꾸는 일은 돈과 시간이 많이 들지만, 일하는 순서를 바꾸는 일은 상대적으로 손댈 여지가 크니까요.

전문 워크플로라는 말을 어렵게 들을 필요는 없습니다. 특허 일을 잘게 나누어 순서대로 밟는다는 뜻입니다. 이를테면 발명 요지를 먼저 정리하고, 독립항의 뼈대를 세운 뒤 종속항을 붙이고, 상세 설명에서 그 뼈대를 뒷받침할 실시예를 채우고, 마지막에 용어와 부호를 맞추는 식이죠. 막막한 초안 작성을 이런 순서로 나누면 에이전트가 한 번에 신경 쓸 것이 줄어듭니다. 주방으로 치면 재료를 다듬고, 불을 올리고, 간을 보는 순서를 정해두는 것과 비슷합니다. 순서가 있으면 실수가 줄고, 실수가 줄면 심사자가 지적할 일도 명확해집니다.

문제는 그다음입니다. 이런 워크플로가 만능은 아니라는 점이죠. 순서를 너무 빡빡하게 짜면 발명의 개성이 죽을 수 있습니다. 기계 장치와 화학 조성물과 소프트웨어 발명은 강조점이 다르거든요. 어느 날은 청구항의 폭이 관건이고, 어느 날은 실시예의 밀도가 관건입니다. 그럼에도 이 연구가 주는 메시지는 또렷합니다. 모델 크기나 추론 길이 같은 힘의 문제와 별개로, 일을 아는 순서가 점수를 움직인다는 것이죠. 저는 그래서 모델 선택만큼 작업 분해가 중요하다는 쪽에 손을 들어줍니다. 좋은 재료를 좋은 순서로 다루는 일은 여전히 사람의 설계 영역에 가깝기 때문입니다.

변리사는 심사자의 점수에 고개를 끄덕였을까

이제 가장 조심스럽게 읽어야 할 대목으로 옵니다. 전문 변리사의 독립 평가와 견주었을 때 심사자와 사람 사이에는 의미 있는 일치가 있었지만, 그 일치는 어떤 잣대로 보느냐에 따라 크게 달라졌고, 점수를 매기는 눈높이 자체도 체계적으로 어긋났다는 것입니다. 저는 이 문장을 세 번 읽었습니다. 좋은 소식과 나쁜 소식이 한 문장에 들어 있어서입니다.

좋은 소식부터 풀면, 심사자가 아주 엉뚱한 방향을 보고 있지는 않았다는 뜻입니다. 사람이 좋게 본 초안을 심사자도 대체로 좋게 보고, 사람이 고개를 저은 대목을 심사자도 짚어내는 식의 겹침이 있었다는 것이죠. (참고로 이런 검증에서 사람을 한 명만 쓰는 경우는 드물지 않습니다. 일정과 비용 때문입니다. 다만 한 명의 눈이라는 점은 끝까지 마음에 걸립니다.) 나쁜 소식은 일치의 온도가 잣대마다 다르다는 점입니다. 형식적 완성도처럼 보기에 분명한 항목에서는 잘 맞다가도, 권리 범위나 실시예의 뒷받침처럼 판단이 깊어지는 항목에서는 어긋나기 쉽습니다. 게다가 심사자는 전반적으로 후하거나 짠 쪽으로 치우치는 식의 눈높이 차이가 있었다고 합니다.

이 차이는 생각보다 중요합니다. 심사자를 그대로 운영에 올리면 어떤 항목에서는 과신하고 어떤 항목에서는 과소평가할 수 있기 때문입니다. 예를 들어 심사자가 8점을 준 명세서라도, 권리 관점에서는 6점짜리일 수 있습니다. 반대로 심사자가 깐깐하게 본 형식 지적은 실제 출원에서는 가벼운 손질로 끝날 수 있죠. 여기서 재미있는 질문이 생깁니다. 그렇다면 심사자의 점수를 그대로 믿는 대신, 항목마다 온도를 다르게 읽으면 되지 않을까요. 저는 그 방향이 맞다고 봅니다. 심사자를 심판이 아니라 예심위원으로 쓰는 것이죠. 예심은 통과와 탈락을 가르는 일이 아니라 어디를 더 봐야 하는지를 알려주는 일에 가깝습니다.

점수는 올랐는데 실력은 올랐을까

여기까지 오면 불편한 질문을 피할 수 없습니다. 심사자가 매긴 점수가 올랐다는 말과 실제 특허가 강해졌다는 말이 같은 말일까요. 저는 아니라고 봅니다. 점수는 심사자의 취향을 반영하고, 실력은 등록 이후의 분쟁에서 드러나기 때문입니다. 이 간극을 메우지 않으면 반복 고쳐 쓰기는 심사자 입맛에 맞추는 훈련이 될 수 있습니다. 문장은 점점 매끈해지는데 권리는 점점 밋밋해지는 식이죠. 다이어트 식단을 열심히 지켰는데 체중계만 고장 난 경우와 비슷합니다. 숫자는 움직이는데 몸은 그대로인 셈입니다.

연구가 보여준 구도는 그래서 양날입니다. 반복 피드백이 심사자 기준 품질을 끌어올린다는 것은 분명한 성과입니다. 동시에 그 성과가 심사자 바깥에서도 통하는지는 변리사 검증이 남긴 숙제 그대로입니다. 잣대에 따라 일치가 달라지고 눈높이에 체계적인 어긋남이 있다면, 반복할수록 어긋난 방향으로 멀어질 가능성도 커집니다. 이를테면 심사자가 좋아하는 길고 친절한 설명을 계속 보태다가, 나중에는 선행기술과 부딪힐 문장이 늘어나는 식입니다. 짧게는 좋아 보이는데 길게는 약해지는 것이죠.

그렇다면 어떻게 써야 할까요. 저는 심사자를 점수 기계가 아니라 지적 생성기로 쓰는 쪽이 안전하다고 봅니다. 점수 숫자 자체는 참고로만 두고, 고칠 대목이 구체적인지, 그 지적이 청구항과 실시예라는 뼈대를 건드리는지를 사람이 확인하는 것이죠. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 심사자의 지적 가운데 어떤 종류가 사람 눈에도 쓸모가 있었을까요. 형식 지적은 기계에 맡기고 권리 판단은 사람이 쥐는 식의 나눔이 가능할까요. 이 질문에 답하려면 항목별 일치라는 말이 정확히 무엇을 가리키는지 더 뜯어봐야 합니다. 아쉽게도 공개된 요약만으로는 그 속까지 들어가기 어렵습니다. 그래서 저는 이 논문을 끝이 아니라 시작으로 읽습니다.

앞으로 특허 일에서 사람의 손은 어디에 머물까

마지막으로 시선을 넓혀보겠습니다. 만약 심사자 안내 고쳐 쓰기가 이 정도까지 된다면, 특허 업무의 모습은 어떻게 바뀔까요. 저는 당장 변리사가 사라진다는 쪽으로 가지 않습니다. 오히려 손이 가는 자리가 옮겨간다고 봅니다. 초안을 쓰는 시간이 줄고, 방향을 정하고 위험을 가리는 시간이 늘어나는 것이죠. 발명의 어디가 진짜로 새로운지, 어디까지 권리로 묶을지, 어떤 표현이 나중에 발목을 잡을지를 정하는 일은 여전히 사람의 몫에 가깝습니다.

이런 그림에서 에이전트와 심사자는 꽤 쓸모 있는 짝이 됩니다. 에이전트가 빠르게 전체 초안을 뽑아내고, 심사자가 그 안의 헐거운 곳을 짚어주면, 사람은 짚어준 목록을 들고 발명자와 전략을 논의할 수 있습니다. 출원까지 남은 시간이 사흘밖에 없는 제조 스타트업의 경우를 떠올리면 됩니다. 새 기어 구조를 설명할 도면은 있는데 청구항을 어떻게 가져갈지 정하지 못한 상태라면, 여러 갈래의 초안을 빨리 뽑아 비교하는 것만으로도 회의가 달라집니다. 이때 심사자의 점수가 절대 기준이 아니라 비교 재료라면, 팀은 훨씬 빨리 결정을 내릴 수 있죠.

그렇다면 남은 숙제는 무엇일까요. 저는 세 가지를 꼽고 싶습니다. 먼저 잣대별 온도를 맞추는 일입니다. 어떤 항목에서 심사자가 후하고 어디에서 짠지를 알아야 숫자를 읽을 수 있습니다. 다음으로 반복 횟수의 마지노선을 정하는 일입니다. 고칠수록 좋아지는 구간과 심사자 입맛에만 맞춰지는 구간을 가르는 선이 필요합니다. 마지막으로 발명 갈래별 성격을 아는 일입니다. 기계와 화학, 소프트웨어에서 심사자의 강약이 같은지 따져야 합니다. 이 세 가지가 채워지면 심사자는 심판이 아니라 든든한 예심 파트너가 됩니다. 제가 앞으로 보고 싶은 것은 바로 그 예심의 품질입니다. 점수가 아니라 지적의 품질 말이죠. 앞으로 특허 일에서 사람의 시간은, 바로 그 지적을 가려내는 데 더 쓰이게 될 것입니다.