대화형 LLM 에이전트는 웹 검색을 어떻게 쓸까: 검색 결정부터 답변까지

ChatGPT와 Claude, Grok, DeepSeek의 실제 대화와 통제 실험을 따라가며 검색 호출 결정과 질의 전략, 결과 편향과 답변 grounding의 간극을 살펴봅니다.

원문 논문 보기
'대화형 LLM 에이전트는 웹 검색을 어떻게 쓸까: 검색 결정부터 답변까지' 기사 커버 이미지

arXiv에 공개된 연구 Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses를 살펴보겠습니다. 이 연구는 ChatGPT와 Claude, Grok, DeepSeek이라는 네 가지 대화형 플랫폼을 나란히 놓고 웹 검색의 전체 생애주기를 추적합니다. 연구가 내세우는 주장은 한 문장으로 정리할 수 있는데, 에이전트의 검색 결정과 질의 전략, 검색 결과와 최종 답변은 서로 단단히 연결되어 있지만 자주 검색한다고 좋은 답이 나오지는 않으며 답변의 상당 부분은 검색에 기대고 있으면서도 일부 서술은 인용 없는 검색 결과에 의존한다는 것입니다. 원문 논문으로 이어지는 연결은 제목 아래에 마련되어 있습니다.

이 도입부가 조금 건조하게 느껴지실 수도 있습니다. 그런데 이 논문은 처음부터 건조하게 읽는 편이 오히려 좋습니다. 검색을 쓰는 에이전트에 대한 이야기는 흔히 검색을 잘하느냐 못하느냐로 납작해지는데, 이 연구는 그 질문을 검색할지 말지, 어떻게 물을지, 무엇을 받아오는지, 받아온 것을 답변에 어떻게 녹이는지로 나누기 때문입니다.

매번 검색하는 에이전트가 좋은 에이전트일까

여러분도 대화형 에이전트를 쓰다가 비슷한 경험을 해보셨을 겁니다. 어떤 질문에는 에이전트가 곧바로 웹을 뒤지기 시작하고, 비슷한 질문에는 아무렇지 않게 내부 지식만으로 답합니다. 처음에는 검색을 자주 하는 쪽이 더 성실해 보이는데요. 막상 답을 비교해보면 꼭 그렇지도 않습니다. 저는 이 논문에서 가장 흥미롭게 본 부분이 바로 이 어긋남입니다.

연구가 다루는 범위는 생각보다 넓습니다. 네 가지 주요 대화형 플랫폼을 함께 보고, 실제 사용자 상호작용과 통제된 실험을 나란히 놓습니다. 실제 대화에서는 사람들이 정말로 묻는 질문과 에이전트가 실제로 내린 검색 결정이 드러나고, 통제 실험에서는 같은 플랫폼의 모델을 API로 불러내 조건을 고정한 채 검색 행동을 비교합니다. 한쪽은 현실의 복잡함을, 다른 한쪽은 비교의 공정함을 맡는 셈입니다.

그렇다면 왜 두 가지 방법을 함께 써야 할까요. 실제 대화만 보면 플랫폼마다 사용자층과 질문 분포가 달라서 검색 빈도를 공정하게 비교하기 어렵습니다. 반대로 통제 실험만 보면 현실에서 검색이 필요한 순간이 언제인지 놓치기 쉽습니다. 연구진은 이 둘을 겹쳐 놓음으로써 검색 결정이 모델 성향인지 상황 탓인지 가려내려 합니다. 생각해보면 사람도 비슷하게 평가받습니다. 바쁜 상담 창구에서의 대응과 조용한 시험장에서의 대응이 다를 수 있으니까요.

저는 이 설계를 보고 앞으로 에이전트 평가가 가야 할 방향을 어렴풋이 느꼈습니다. 단일 벤치마크 점수보다 이런 식의 생애주기 추적이 더 많은 것을 알려주기 때문입니다. 검색을 언제 켜고 끄는지부터 보지 않으면 답변 품질 이야기는 반쪽에 그칩니다.

검색 호출 여부를 가르는 에이전트의 결정 분기 개념도
검색 호출 여부를 가르는 에이전트의 결정 분기 개념도

실제 대화와 실험실을 겹쳐 놓으면 무엇이 보일까

연구 방법을 조금 더 들여다보겠습니다. 실제 사용자 상호작용을 보는 작업은 말 그대로 야생 관찰에 가깝습니다. 사람들이 어떤 주제로 물을 때 에이전트가 검색을 켜는지, 검색 없이 답할 때는 어떤 종류의 질문인지가 그대로 남습니다. 여기에는 질문의 시의성과 모호함, 사용자의 후속 질문 패턴까지 얽혀 있습니다.

반면 통제 실험은 같은 플랫폼의 모델을 API 경유로 불러내어 같은 질문 묶음에 노출합니다. 플랫폼이라는 간판을 떼고 보면 모델 자체의 검색 성향이 드러납니다. 대화 제품 안에서는 시스템 프롬프트와 검색 도구 설정, 제품 정책이 검색 결정을 함께 좌우하는데, API 실험은 그 바깥 껍질을 걷어내는 역할을 합니다. 그래서 두 결과를 겹치면 제품의 선택과 모델의 습관을 구분할 수 있습니다.

여기서 재미있는 질문이 생깁니다. 제품과 모델 가운데 어느 쪽이 검색 행동을 더 크게 좌우할까요. 연구의 서술을 따라가면 답은 하나로 기울지 않습니다. 플랫폼에 따라 검색 호출 양상이 뚜렷이 갈리는데, 그 차이가 모델을 바꿔 끼워도 완전히 사라지지 않기 때문입니다. 다시 말해 검색 결정은 제품 설계와 모델 성향이 함께 빚는 결과에 가깝습니다.

저는 이 대목을 읽으면서 에이전트를 평가할 때 모델 이름만 묻는 습관을 조금 경계하게 됐습니다. 같은 모델이라도 어떤 검색 도구에 어떤 정책으로 묶여 있느냐에 따라 행동이 달라진다면, 우리가 비교해야 할 단위는 모델이 아니라 검색을 포함한 시스템 전체이기 때문입니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다.

플랫폼마다 검색을 켜는 타이밍이 다른 풍경

이제 검색 결정 이야기로 들어가겠습니다. 연구가 보고한 풍경은 단순하지 않습니다. 어떤 플랫폼의 에이전트는 비교적 쉽게 검색을 켜고, 다른 플랫폼의 에이전트는 비슷한 질문에도 내부 지식으로 버팁니다. 그 차이는 우연한 흔들림이 아니라 플랫폼과 모델에 따라 반복적으로 나타나는 성향에 가깝습니다.

이 차이는 생각보다 중요합니다. 검색을 켜는 순간 이후의 모든 과정이 달라지기 때문입니다. 검색을 켜면 질의를 만들고 결과를 기다리고 결과를 읽어 답변에 녹여야 합니다. 대기 시간과 토큰 비용이 생기고, 검색 결과가 나쁘면 답도 함께 흔들립니다. 반대로 검색을 끄면 빠르고 매끈한 답이 나오지만 오래된 지식이나 틀린 기억이 그대로 답에 남을 위험이 커집니다. 그래서 검색 결정은 단순한开关이 아니라 비용과 위험을 함께 고르는 선택입니다.

구체적인 장면을 하나 떠올려보겠습니다. 금요일 오후에 사용자가 최신 스마트폰 가격과 출시 혜택을 묻는다고 해보죠. 한 에이전트는 즉시 검색을 켜서 쇼핑몰과 제조사 페이지를 뒤지고, 다른 에이전트는 학습된 지식으로 대략적인 가격대를 말합니다. 전자는 최신성을 얻는 대신 검색 품질에 목을 맵니다. 후자는 속도를 얻는 대신 날짜가 어긋날 수 있습니다. 어느 쪽이 더 좋은지는 질문의 성격에 따라 달라집니다.

그렇다면 무엇이 이 타이밍을 가를까요. 제품 정책과 안전 기준, 검색 도구의 품질에 대한 신뢰, 내부 지식의 신선도에 대한 자신감이 함께 작용할 것으로 보입니다. 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 검색 호출 빈도 자체가 실력이 아니라 설계 철학의 흔적이기 때문입니다.

실제 대화와 통제 실험을 병행하는 in vivo와 in vitro 연구 설계도
실제 대화와 통제 실험을 병행하는 in vivo와 in vitro 연구 설계도

자주 검색한다고 답이 좋아지는 것은 아니더군요

앞선 이야기에서 자연스럽게 이어지는 질문이 있습니다. 그렇다면 많이 검색하는 에이전트가 더 좋은 답을 낼까요. 연구의 답은 그렇지 않다는 쪽에 가깝습니다. 검색 호출이 잦다고 해서 답변 품질이 덩달아 올라가지는 않았다는 것입니다.

표면적으로 보면 의외입니다. 검색은 외부 근거를 끌어오는 장치이니 많이 쓸수록 좋아질 것 같기 때문입니다. 실제로는 그렇지 않습니다. 검색은 약이면서 동시에 짐이기 때문입니다. 질의가 엉뚱하면 좋은 문서를 놓치고, 결과를 잘못 읽으면 근거가 있어도 답이 틀어집니다. 검색을 켠 횟수보다 검색 이후의 과정이 답을 가릅니다.

저는 여기서 잠시 멈칫했습니다. 우리가 에이전트를 보면서 검색 중이라는 표시를 신뢰의 신호로 읽기 쉽기 때문입니다. 검색 중이라는 문구가 뜨면 왠지 더 정확한 답이 올 것 같은 기대가 생기죠. 하지만 이 연구가 말하는 바를 곧이곧대로 받아들이면, 그 표시등은 성실함의 표시일 뿐 정확함의 보증서는 아닙니다.

문제는 그다음입니다. 검색 빈도가 품질을 보장하지 않는다면 무엇을 봐야 할까요. 저는 질의의 짜임새와 결과의 가려냄, 그리고 답변에 녹이는 방식이라는 세 단계를 함께 봐야 한다고 봅니다. 검색을 켰느냐는 입구에 불과하고, 진짜 경기는 그 뒤에서 열리기 때문입니다. 실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 검색을 많이 시키는 쪽이 토큰과 대기 시간을 더 쓰면서도 품질 이득이 없다면, 그 예산을 어디에 다시 배분해야 할까요.

하나의 질문이 여러 개의 검색어로 흩어지는 방식

검색을 켜기로 했다면 다음은 어떻게 물을지입니다. 연구는 대화형 에이전트가 단순한 키워드 복사가 아니라 꽤 복잡한 질의 전략을 쓴다고 전합니다. 사용자의 한 문장을 그대로 검색창에 붙여넣는 것이 아니라 대화 맥락을 풀고 여러 각도로 쪼개어 묻는다는 것입니다.

이 대목은 길게 보면 에이전트다움의 문제로 돌아옵니다. 검색 엔진 앞에서 에이전트는 번역자에 가깝습니다. 모호하고 긴 대화체 질문을 검색 엔진이 잘 먹는 형태로 바꾸는 역할을 맡기 때문입니다. 후속 질문이 오면 이전 대화를 기억해서 생략된 주어를 채우고, 하나의 큰 질문을 사실 확인용 하위 질문들로 나누기도 합니다. 어떤 때는 같은 의도를 다른 표현으로 바꿔 여러 번 묻습니다.

예를 들어 사용자가 최신 전기차 보조금과 충전 요금을 한 문장으로 물었다고 해보죠. 에이전트는 이를 올해 보조금 정책 문서 찾기, 지역별 추가 지원 찾기, 충전 요금제 비교 찾기로 나눌 수 있습니다. 이렇게 나누면 각 검색이 맡은 일이 분명해지고, 나중에 답변을 조립하기도 쉬워집니다. 반면 나누는 방식이 어긋나면 검색량이 늘어나도 서로 겹치는 문서만 잔뜩 가져오게 됩니다.

그렇다면 좋은 질의 전략이란 무엇일까요. 저는 검색 횟수보다 질문을 나누는 감각이라고 봅니다. 무엇을 함께 묻고 무엇을 따로 물을지, 언제 대화를 압축하고 언제 원문을 살릴지가 실력의 갈림길입니다. 이 부분은 앞으로 검색 도구가 대화에 맞춰 다시 설계되어야 하는 이유와도 이어집니다. 검색창에 키워드를 던지던 시대의 문법과 대화의 문법은 서로 다르기 때문입니다.

하나의 질문이 여러 검색어로 분해되는 쿼리 전략 다이어그램
하나의 질문이 여러 검색어로 분해되는 쿼리 전략 다이어그램

같은 웹인데 받아오는 풍경이 다른 이유

검색 결과를 받아오는 단계로 넘어가겠습니다. 연구가 포착한 또 하나의 관찰은 플랫폼별 검색 엔진이 저마다 선호하는 도메인에서 결과를 가져오는 경향이 있다는 점입니다. 같은 질문을 던져도 플랫폼에 따라 마주치는 출처의 풍경이 달라진다는 것입니다.

처음 들으면 당연하게 느껴질 수도 있습니다. 검색 엔진마다 색인이 다르고 순위 로직이 다르니 결과가 달라지는 것은 이상하지 않기 때문입니다. 하지만 대화형 에이전트의 맥락에서는 이 차이가 꽤 크게 다가옵니다. 에이전트의 답은 검색 결과가 깔아준 길 위에서 만들어지는데, 출발점의 지도가 플랫폼마다 다르다면 최종 답의 강조점도 함께 달라질 수밖에 없기 때문입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 선호 도메인이라는 표현을 곧바로 편향이라는 단정으로 옮기면 논의가 거칠어집니다. 제품마다 계약된 검색 공급자와 품질 필터, 안전 정책이 다르고, 그 선택이 결과 분포에 자연스럽게 반영될 수 있기 때문입니다. 그럼에도 사용자가 알아야 할 점은 분명합니다. 에이전트가 보여주는 웹은 전체 웹의 공정한 축소가 아니라 특정 창을 통해 본 웹이라는 것입니다.

구체적인 상황을 그려보겠습니다. 같은 신제품 리뷰를 물었는데 한 에이전트는 제조사 문서와 대형 매체 기사를 주로 인용하고, 다른 에이전트는 커뮤니티 토론과 비교 글을 많이 가져옵니다. 전자는 정확하고 정돈된 답에 유리하고, 후자는 체감 후기와 예외 사례에 강합니다. 어느 쪽이 더 낫다고 말하기 전에, 우리는 에이전트가 어떤 창을 쓰고 있는지 먼저 물어야 합니다. 실제 시스템 관점에서 보면 이 관찰은 평가 방식에도 영향을 줍니다. 검색 결과가 다른데 답변만 나란히 놓고 우열을 가리면, 모델의 글쓰기 실력과 검색 도구의 구성이 뒤섞여 버리기 때문입니다.

같은 웹을 서로 다른 창으로 보여주는 플랫폼별 출처 구성 일러스트
같은 웹을 서로 다른 창으로 보여주는 플랫폼별 출처 구성 일러스트

답변은 검색 결과를 얼마나 따라갈까

이제 답변 단계입니다. 연구는 답변이 대체로 검색 결과에 grounding되어 있다고 전합니다. 에이전트가 검색해온 내용을 바탕으로 서술을組み立てる 모습이 전반적으로 확인된다는 것입니다. 검색 증강이라는 이름에 걸맞은 풍경이죠.

이 결과는 마음에 들지만, 여기까지 일반화하기에는 조건을 더 봐야 합니다. grounding되어 있다는 말은 답의 뼈대가 검색 결과에서 왔다는 뜻이지, 모든 문장이 출처로 뒷받침된다는 뜻은 아니기 때문입니다. 뼈대와 살붙이기를 구분해야 합니다. 뼈대는 검색에서 가져오고, 뼈대 사이를 잇는 설명과 배경 지식은 모델 내부에서 채울 수 있습니다. 그 이음새가 매끈할수록 독자는 모든 문장이 검색된 사실이라고 느끼기 쉽습니다.

생각해보면 사람도 비슷하게 씁니다. 자료를 읽고 보고서를 쓸 때 결정적인 근거는 자료에서 가져오되, 문단을 잇는 문장은 자신의 말로 메웁니다. 에이전트도 마찬가지입니다. 그래서 grounding 비율이라는 숫자 하나만으로는 안심하기 어렵습니다. 어떤 문장이 근거 위에 있고 어떤 문장이 메움말인지가 더 중요합니다.

저는 그래서 이 대목을 검색 도구의 성공이 아니라 숙제의 전반전 정도로 읽었습니다. 답이 검색을 따라가기 시작했다는 것은 좋은 출발이지만, 따라가는 방식이 얼마나 꼼꼼한지는 다음 질문으로 남기 때문입니다. 그 다음 질문이 바로 인용의 문제로 이어집니다.

인용된 근거와 인용 없이 남는 문장을 대비한 grounding 개념도
인용된 근거와 인용 없이 남는 문장을 대비한 grounding 개념도

인용 없이 남는 문장이 왜 생길까

연구가 던지는 가장 날카로운 지적은 여기에 있습니다. 답변은 대체로 검색 결과에 기대고 있지만, 일부 서술은 인용되지 않은 검색 결과에 의존한다는 것입니다. 다시 말해 근거는 가져왔으되 출처 표시는 따라오지 않은 문장이 있다는 것입니다.

이 차이는 생각보다 중요합니다. 독자 입장에서 인용은 단순한 장식이 아니라 검증의 손잡이기 때문입니다. 인용이 있으면 의심스러운 문장을 눌러 원문을 확인할 수 있지만, 인용이 없으면 그 문장이 검색된 사실인지 모델의 메움말인지 구분하기 어렵습니다. 검색을 했는데도 검증 가능성이 따라오지 않는다면, 검색의 이득은 반감됩니다.

왜 이런 틈이 생길까요. 가능한 경로는 여러 가지입니다. 검색 결과를 읽고 요약하는 과정에서 출처 연결이 끊길 수 있고, 여러 문서를 합쳐 한 문장으로 녹이면서 인용을 붙이기 애매해질 수 있습니다. 대화가 길어지면서 앞선 검색 결과를 기억으로만 불러와 쓸 수도 있습니다. 어느 경우든 모델이 사실을 지어냈다기보다 근거의 끈을 놓친 모습에 가깝습니다. 그런데 독자가 느끼는 위험은 비슷합니다. 어디까지가 확인된 이야기인지 알 수 없기 때문입니다.

구체적인 장면을 떠올려보겠습니다. 여행 경비를 묻는 답에 항공권 가격과 숙소 요금, 환율 전망이 함께 들어 있는데, 앞의 두 문장에는 출처가 붙고 마지막 문장에는 출처가 없다고 해보죠. 독자는 마지막 문장도 검색된 줄 알고 믿기 쉽습니다. 하지만 그 문장이 모델의 일반론이라면 여행 예산이 통째로 어긋날 수 있습니다. 운영 측면에서 보면 이 차이는 상당히 큽니다. 숫자가 하나만 어긋나도 사용자의 다음 행동이 달라지기 때문입니다.

그렇다면 이 흐름은 어디에서 끊을 수 있을까요. 저는 답을 쓸 때 근거의 끈을 끝까지 쥐고 있는 설계가 필요하다고 봅니다. 검색 결과를 읽는 단계와 답변 문장을 쓰는 단계가 따로 놀면 인용은 자꾸 떨어집니다. 문장마다 어떤 검색 조각에서 왔는지를 함께 들고 가는 구조가 필요합니다.

검색 도구를 대화에 맞게 다시 그리면

여기까지의 관찰을 모으면 자연스럽게 다음 질문으로 이어집니다. 대화에 맞는 웹 검색 도구라면 어떻게 생겨야 할까요. 연구는 미래 에이전트와 대화형 검색 도구의 설계를 위한 함의를 직접 언급합니다. 저는 이 부분을 선언이 아니라 숙제로 읽었습니다.

먼저 검색 결정부터 다시 생각해야 합니다. 자주 검색하는 것이 능사가 아니라면, 언제 검색할지에 대한 판단기를 더 똑똑하게 만들어야 합니다. 질문의 시의성과 모호함, 내부 지식의 불확실성, 검색 결과의 기대 이득을 함께 저울질하는 장치가 필요합니다. 검색을 켜는 기준이 제품마다 제각각이라면, 그 기준 자체를 평가하고 공개하는 일도 뒤따라야 합니다.

다음은 질의 전략입니다. 대화체 질문을 검색어로 바꾸는 일은 이미 에이전트가 하고 있지만, 검색 엔진이 그 번역을 온전히 받아먹고 있는지는 별개 문제입니다. 긴 맥락과 후속 질문, 생략된 지시어를 다루는 검색 인터페이스가 필요합니다. 검색 횟수를 늘리는 대신 질문 나누기의 품질을 올리는 쪽이 예산 대비 이득이 클 수 있습니다.

결과 단계에서는 도메인 선호의 문제를 피할 수 없습니다. 선호 자체를 없애기보다 드러내는 쪽이 현실적이라고 봅니다. 어떤 종류의 출처를 주로 보는지, 어떤 출처를 걸렀는지를 답과 함께 알 수 있다면 독자는 답의 성격을 가늠할 수 있습니다. 같은 예산을 어디에 쓸지 고르는 일과 비슷합니다. 모든 웹을 다 보는 대신, 무엇을 보고 무엇을 보지 않았는지를 밝히는 것입니다.

대화형 검색 도구의 재설계를 보여주는 시스템 구성도
대화형 검색 도구의 재설계를 보여주는 시스템 구성도

겉으로 보이는 검색 횟수 너머를 보는 법

이 논문을 읽는 동안 제가 계속 돌아온 질문은 평가에 관한 것이었습니다. 우리는 에이전트의 검색 능력을 어떻게 재야 할까요. 검색 호출 빈도나 최종 답변 점수 하나로는 부족해 보입니다. 이 연구가 생애주기라는 말을 꺼낸 이유도 여기에 있다고 봅니다.

좋은 평가라면 검색 결정의 적절함부터 물어야 합니다. 검색이 필요 없는 질문에 검색을 켰는지, 검색이 필요한 질문에 검색을 껐는지가 먼저입니다. 다음으로는 질의의 품질을 봐야 합니다. 같은 검색 횟수라도 질문을 잘게 나누는 방식에 따라 가져오는 문서가 달라지기 때문입니다. 그리고 결과의 다양성과 출처 구성을 확인해야 합니다. 특정 종류의 출처만 반복해서 가져온다면 답의 시야도 좁아집니다. 마지막으로 답변의 grounding 방식을 봐야 합니다. 뼈대만 검색에서 가져왔는지, 문장마다 근거의 끈이 이어져 있는지, 인용 없는 서술은 무엇인지까지 따져야 합니다.

이렇게 나누면 앞서 본 어긋남도 자연스럽게 설명됩니다. 자주 검색해도 답이 좋아지지 않는 경우는 대개 중간 단계 어딘가에서 새는 것입니다. 질의가 엉뚱하거나 결과가 한쪽으로 치우치거나 답변 조립에서 출처가 떨어진 것입니다. 반대로 적게 검색해도 좋은 경우는 검색이 필요 없는 질문을 잘 가려냈거나 내부 지식이 충분한 경우입니다. 빈도가 아니라 흐름으로 봐야 하는 이유입니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 생애주기 평가가 만능은 아니기 때문입니다. 실제 대화와 통제 실험을 함께 보는 일은 비용이 들고, 출처 구성까지 따지는 일은 판단 기준을 필요로 합니다. 그럼에도 방향은 분명해 보입니다. 검색 쓰는 에이전트를 볼 때는 검색 중이라는 표시등이 아니라 검색 이후의 과정을 함께 봐야 합니다.

다음에 제가 확인할 것은 검색 이후의 책임입니다

마지막으로 남은 질문을 정리하겠습니다. 이 연구가 남긴 가장 실질적인 메시지는 검색이 답의 품질을 자동으로 보증하지 않는다는 점입니다. 검색 결정은 플랫폼마다 다르고, 질의 전략은 복잡하고, 결과는 창에 따라 달라지고, 답변은 대체로 검색을 따르지만 일부 문장은 인용 없이 남습니다. 이 다섯 장면을 이어보면 검색 쓰는 에이전트의 그림이 꽤 입체적으로 보입니다.

그렇다면 사람의 역할은 무엇일까요. 저는 답을 읽는 쪽의 문해력이 당분간 중요하다고 봅니다. 검색했다는 표시보다 출처의 종류와 인용의 유무를 보는 습관이 필요합니다. 특히 숫자와 날짜, 가격과 정책처럼 행동으로 이어지는 정보 앞에서는 한 번 더 멈춰야 합니다. 인용이 없는 문장은 일단 메모해두고 원문을 눌러보는 쪽이 안전합니다. 에이전트를 만드는 쪽이라면 인용 없는 서술을 줄이는 일이 품질 지표만큼 중요해질 것입니다.

제가 앞으로 보고 싶은 것은 세 가지입니다. 먼저 검색 결정의 기준이 더 투명해질지입니다. 언제 검색을 켜고 끄는지가 설명 가능해지면 사용자는 답의 성격을 미리 가늠할 수 있습니다. 다음으로 질의 전략과 결과 구성이 함께 공개될지입니다. 어떤 질문으로 무엇을 봤는지가 드러나면 답의 편향을 읽을 수 있습니다. 마지막으로 인용 없는 문장이 실제로 줄어들지입니다. grounding되었다는 말과 검증 가능하다는 말 사이의 간극이 좁혀지는지가 관건입니다.

이 논문이 흥미로운 이유는 검색이 만능이라는 말을 하지 않기 때문입니다. 검색을 쓰는 에이전트의 하루를 아침부터 저녁까지 따라가면서, 잘되는 부분과 새는 부분을 함께 보여줍니다. 앞으로 에이전트가 더 오래 대화하고 더 많은 도구를 쓸수록, 이런 생애주기 추적은 더 중요해질 것 같습니다. 검색을 켰느냐를 넘어 검색 이후에 무슨 일이 있었는지까지 묻는 습관이 결국 더 좋은 답으로 이어지기 때문입니다.

참고 자료

  1. Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses · arxiv.org

    리뷰 원문