공자가 운전대를 잡는다면, 검색으로 배우는 자율주행의 예의

Retrieval-Augmented Large Language Model Decision-Making for Autonomous Driving Guided by Chinese Philosophical Wisdom는 arXiv에 공개된 논문으로, 식별 번호 2610.03948을 달고 있습니다. 원문 링크는 제목 아래에 걸어 두었습니다. 이 논문이 내세우는 주장은 한 문장으로 정리할 수 있는데, 중국 유교 사상의 가치 지침을 검색 증강 생성 구조 안에 넣어 고속도로 주행 판단을 더 안전하고 더 점잖게 만들겠다는 것입니다.

며칠 전 저녁에 저는 올림픽대로 위에서 꽤 답답한 정체를 겪었는데, 옆 차선에서 끼어들려는 차와 먼저 가려는 차가 서로 양보도 견제도 아닌 어정쩡한 움직임을 반복하고 있었습니다. 그 장면을 보고 있으면 자율주행이 풀어야 할 문제가 단순히 물체를 피하는 기하학이 아니라는 생각이 듭니다. 그렇다면 운전이라는 행위에 예의라는 층위를 얹는 일은 모델 구조로 어떻게 표현할 수 있을까요.

왜 철학이 자율주행 논문에 등장했을까

제가 이 논문을 집어 든 이유는 솔직히 제목 때문이었는데, 공자와 고속도로라는 조합이 처음에는 장난처럼 느껴졌기 때문입니다. 그런데 논문을 조금 더 들여다보면 이 결합이 장식이 아니라 꽤 실제적인 고민에서 출발했다는ことが 보입니다. 자율주행 판단 시스템은 안전과 효율과 사회적 규범을 동시에 맞춰야 하는데, 세 목표는 서로 자주 충돌합니다. 빨리 가려면 차선을 바꿔야 하고, 안전하려면 가만히 있어야 하며, 예의를 지키려면 가끔 손해를 봐야 합니다.

이런 충돌 앞에서 언어 모델을 그대로 운전대에 앉히면 어떤 일이 생길까요. 언어 모델은 말은 잘하지만, 매 순간 처음 보는 것처럼 판단하는 경향이 있습니다. 어제 잘한 판단을 오늘 다시 꺼내 쓰지 못하고, 비슷한 장면에서 배운 요령을 구조적으로 축적하지 못합니다. 그래서 연구진이 던진 질문은 자연스럽게 이어지는데, 좋은 판단을 바깥에 모아두고 필요할 때 꺼내 쓰는 기억 장치를 붙이면 어떨까 하는 것입니다. 철학은 그 기억 안에 무엇을 넣어둘지를 정하는 재료로 등장합니다.

여기서 저는 방향이 신선하다고 봤습니다. 보통 가치 정렬이라고 하면 학습 단계에서 보상 함수를 손보거나 사람 피드백으로 모델을 다듬는 쪽을 떠올리는데, 이 논문은 가치를 검색 가능한 문장으로 만들어 추론 시점에 꺼내 쓰는 쪽을 택했기 때문입니다. 가치가 가중치가 아니라 읽을 수 있는 사례집이 되는 셈인데, 이런 선택은 뒤에 나오는 검색 구조와 맞물리면서 의미를 갖습니다.

운전이 어려운 진짜 이유는 속도가 아니라 눈치 때문이다

고속도로를 상상해 보면 운전의 난이도는 속도 자체보다 상호작용에서 옵니다. 제 앞에 트럭이 있고 오른쪽에 빨리 오는 차가 있으며 왼쪽 차선은 비어 있는데, 그 빈틈이 3초 뒤에도 빈틈일지는 아무도 모릅니다. 사람은 이럴 때 백미러와 사이드미러를 오가며 상대의 가속 페달에 실린 의도를 읽는데, 기계는 위치 좌표만 보고 의도를 짐작해야 합니다.

논문이 전제로 깔고 있는 진단도 여기와 맞닿아 있습니다. 복잡한 교통 상호작용에서는 규칙 몇 개로 모든 경우를 덮을 수 없고, 매번 처음부터 추론만으로 풀기에는 맥락이 너무 빨리 바뀝니다. 그런데 기존 언어 모델 기반 주행은 이런 상호작용을 그때그때 문장으로 풀어내는 데 의존하는 경우가 많았습니다. 말로 설명할 수 있다는 점은 장점이지만, 설명이 매번 새로워지면 운전 스타일이 들쭉날쭉해집니다.

생각해보면 사람도 비슷하게 배웁니다. 초보 때는 매 장면을 이론으로 풀지만, 경력이 쌓이면 비슷한 장면의 기억이 먼저 떠오릅니다. 일종의 오답 노트처럼요. 이 논문은 그 기억을 모델 바깥이 아니라 모델 옆에 두자고 말합니다. 기억을 가중치 안에 녹이는 대신, 꺼내 볼 수 있는 사례 형태로 유지하면서 매 판단에 붙이자는 것인데, 저는 이 지점에서 검색 증강이라는 오래된 아이디어가 운전 문제와 꽤 잘 맞는다고 느꼈습니다.

검색이 운전을 바꾼다는 말의 실제 뜻

그렇다면 검색이 들어간 운전 판단은 무엇이 달라질까요. 구조를 단순화하면 이렇게 됩니다. 지금 장면이 들어오면, 과거에 풀었던 비슷한 장면 몇 개를 꺼내고, 그때 통했던 판단과 그 판단에 담긴 가치 원칙을 함께 프롬프트에 얹은 뒤, 언어 모델이 최종 행동을 고릅니다. 아래에서 다시 다루겠지만, 이 과정은 매 스텝 반복되면서 폐쇄 루프를 이룹니다.

이 방식이 흥미로운 지점은 언어가 추론만 담당하지 않는다는 데 있습니다. 언어는 과거 사례를 해석하는 도구이면서, 동시에 가치를 현재 장면에 맞게 번역하는 도구로 쓰입니다. 추상적인 원칙 하나를 달랑 주는 대신, 그 원칙이 특정 장면에서 어떻게 적용됐는지를 보여주기 때문입니다. 예컨대 양보라는 말이 그냥 미덕으로 머무는 게 아니라, 오른쪽에서 가속하는 차가 있을 때 감속하며 간격을 벌렸던 장면과 함께 제시됩니다.

저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 검색이 없다면 가치는 선언에 그치기 쉽고, 가치가 없다면 검색은 단순한 유사 장면 복붙이 되기 때문입니다. 이 논문은 둘을 묶어서, 어떤 장면을 꺼낼지(검색)와 왜 그렇게 행동해야 하는지(가치)를 하나의 입력으로 엮습니다. 그래서 겉으로는 철학 논문처럼 보이지만, 속을 들여다보면 기억 기반 의사결정 논문에 가깝습니다.

이 논문이 하지 않는 일을 먼저 짚어야 하는 이유

오해하기 쉬운 대목이 있어서 여기서 미리 선을 긋고 싶습니다. 이 논문은 논어 문장을 프롬프트 맨 위에 붙여 넣어 모델을 점잖게 만드는 실험이 아닙니다. 그런 방식이라면 고전을 인용한 멋진 프롬프트 엔지니어링에 불과했을 텐데, 실제 구조는 훨씬 더 손이 많이 갑니다. 고전 텍스트는 원재료일 뿐이고, 그 사이에는 추출과 선별과 장면 맞춤이라는 가공 단계가 들어갑니다.

또 하나 짚을 점은, 이 연구가 유교를 운전 규칙의 정답으로 주장하지 않는다는 것입니다. 논문이 말하는 것은 특정 문화권의 오랜 행동 규범 안에 차간 거리나 합류 예절 같은 문제와 연결할 수 있는 재료가 있으며, 그것을 운전과 관련 있는 원칙으로 다듬어 쓸 수 있다는 정도입니다. 이런 겸손한 위치 설정은 오히려 장점인데, 철학이 정답지가 아니라 사례집을 만드는 재료로만 쓰이기 때문입니다.

(참고로 저는 철학을 끌어온 AI 논문을 보면 늘 걱정부터 하는데, 추상적인 말로 구체적인 통계를 가리는 경우가 많기 때문입니다.) 그런데 이번에는 추상이 끝까지 추상으로 남지 않고, 뒤에서 설명할 장면별 사례라는 형태로 굳어집니다. 그래서 철학이라는 단어를 보고 등을 돌리기 전에, 그 단어가 실제 검색 인덱스 안에서 어떤 문장들로 존재하는지를 보는 편이 좋습니다.

고전 한 구절이 운전 원칙이 되기까지

이제 가공 과정을 따라가 보겠습니다. 출발점은 유교 관련 고전 텍스트인데, 연구진은 언어 모델을 이용해 여기서 운전과 연결될 만한 단서어(keyword)를 뽑아냅니다. 예컨대 절제나 배려나 질서 같은 말들이 후보로 올라오는데, 이 단계의 출력은 아직 운전과 직접 연결되지 않은 추상어에 가깝습니다. 그래서 다음 단계에서 사람이 개입해 운전과 관련 있는 가치 원칙으로 다듬고 검증합니다. 기계가 넓게 긁어모으고 사람이 운전 언어로 조율하는 분업인 셈입니다.

이 사람 손을 거치는 대목이 저는 마음에 들었습니다. 완전 자동 파이프라인이었다면 고전의 말이 운전과 무관하게 부풀려질 위험이 컸을 텐데, 수동 선별과 검증이라는 문턱을 두면서 원칙이 운전 장면과 만나는 접점을 확인하기 때문입니다. 물론 이 대목은 논문의 약점이기도 한데, 어떤 기준으로 골랐는지 바깥에서 완전히 재현하기는 어렵기 때문입니다. 그래도 방향 자체는 분명합니다. 고전을 숭배하는 게 아니라 고전에서 운전 언어를 건져 올리는 것입니다.

이렇게 다듬어진 원칙들은 아직 추상적이라서 바로 검색해 쓰기에는 헐겁습니다. 예컨대 신중하라는 말만 있으면 추월할 때도 신중하고 합류할 때도 신중할 뿐, 언제 속도를 얼마나 낮춰야 하는지는 알 수 없습니다. 그래서 다음 단계가 필요해지는데, 추상을 장면 속으로 밀어 넣는 작업입니다.

추상적인 미덕을 꺼내 쓸 수 있는 문장으로 만드는 법

연구진이 쓴 해법은 장면별 사례 scenario-specific cases라는 형태인데, 말이 어렵지만 아이디어는 단순합니다. 원칙 하나마다 그 원칙이 적용되는 전형적인 장면을 붙여주는 것입니다. 합류 구간에서 옆 차에 공간을 내어주는 장면, 빽빽한 차로에서 무리한 차선 변경을 참는 장면처럼요. 이렇게 되면 가치 지침은 선언문이 아니라 reusable한 판단 재료가 됩니다.

이 변환이 중요한 이유는 검색 가능성 때문입니다. 벡터 검색이든 유사도 비교든, 기계가 꺼내기 좋은 단위는 짧은 선언이 아니라 장면이 딸린 문단이기 때문입니다. 지금 눈앞의 장면과 과거 장면을 견주려면 양쪽 모두에 차량 배치와 속도 같은 구체성이 있어야 합니다. 그래서 추상을 구체로 바꾸는 이 단계는 장식용 윤리 챕터가 아니라 검색 인덱스를 만드는 실무에 가깝습니다.

여기서는 조금 조심해서 읽을 필요가 있습니다. 장면별 사례가 풍부할수록 검색은 좋아지지만, 그 사례를 누가 어떤 분포로 만들었는지가 성능을 좌우하기 때문입니다. 고속도로 장면 위주로 사례가 쌓이면 고속도로에서는 잘 통하고, 도심 교차로에서는 힘을 못 쓸 수 있습니다. 논문이 평가하는 무대가 고속도로 시뮬레이터라는 점을 기억하면, 이 사례집의 유효 범위도 그 무대 근처로 보는 편이 정확합니다.

물리를 모르는 유사도는 왜 위험할까

이제 검색 쪽을 보겠습니다. 이름부터 눈길을 끄는데, 물리 인식 공간 유사도 검색 physics-aware spatial similarity retrieval이라는 장치입니다. 말이 거창하지만 속뜻은 분명합니다. 두 장면이 비슷하다는 말을 픽셀 비슷함이 아니라 차량 배치와 속도로 판단하겠다는 것입니다.

왜 이런 장치가 필요할까요. 운전에서 겉모습이 비슷한 장면은 물리적으로 전혀 다른 장면일 수 있기 때문입니다. 차량 다섯 대의 위치가 비슷해 보여도, 옆 차가 시속 90킬로로 오는지 시속 120킬로로 오는지에 따라 안전한 행동은 완전히 달라집니다. 그래서 이 검색은 현재 배치뿐 아니라 속도를 외삽한 미래 상태 velocity-extrapolated states까지 견주어 물리적으로 관련 있는 과거 사례를 꺼냅니다. 정지 화면끼리 비교하는 게 아니라, 짧은 미래를 겹쳐 보고 고르는 것입니다.

저희가 새로운 AI 아키텍처를 볼 때도 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이런 관점에서 보면 이 검색은 꽤 정직한 선택인데, 언어의 유사도가 아니라 운동 상태의 유사도를 기준으로 삼기 때문입니다. 언어 모델이 그럴듯한 말을 꺼내는 대신, 물리적으로 통했던 기억을 꺼내도록 강제하는 셈입니다.

매 스텝마다 과거를 꺼내 현재를 판단하는 고리

검색된 사례는 바로 행동으로 바뀌지 않고 언어 모델의 판단 입력으로 들어갑니다. 그래서 전체 이름이 폐쇄 루프 검색 증강 생성 closed-loop retrieval-augmented generation인데, 인식하고 꺼내고 판단하고 행동한 결과가 다시 다음 인식이 되는 고리가 매 스텝 돕니다. 한 번 잘 판단하고 끝나는 구조가 아니라, 틀어지면 다음 스텝에서 다른 사례를 꺼내 바로잡을 기회가 있습니다.

이 고리 구조가 주는 장점은 오류가 누적되는 방식이 달라진다는 데 있습니다. 열린 루프에서는 한 번의 잘못된 판단이 그대로 궤적을 틀어버리지만, 닫힌 고리에서는 다음 스텝의 검색이 바뀐 상황을 반영해 다른 과거를 꺼냅니다. 물론 이 말은 뒤집으면 약점이 되기도 하는데, 검색이 매번 흔들리면 운전 스타일도 함께 흔들릴 수 있기 때문입니다. 그래서 검색의 안정성과 판단의 일관성은 따로 봐야 할 문제로 남습니다.

좋은데, 이걸 실제로 어떻게 서빙할까요. 매 스텝 검색과 대형 언어 모델 호출이 함께 돈다면 지연 시간은 필연적으로 늘어납니다. 논문도 효율과 지연의 절충을 언급하고 있는데, 이 대목은 결과 숫자를 볼 때 함께 기억해야 합니다. 시뮬레이터에서는 통했던 고리가 실제 차량의 실시간 제약 안에서도 같은 속도로 돌 수 있는지는 별개의 질문이기 때문입니다.

숫자를 볼 때 어디부터 봐야 할까

이제 Highway-env의 다차선 고속도로 과제에서 나온 숫자를 보겠습니다. 논문이 보고한 성공률은 세 가지 교통 구성에서 93.0퍼센트와 86.0퍼센트와 72.0퍼센트인데, 교통이 빽빽해질수록 떨어지는 곡선 자체가 꽤 솔직하게 보입니다. 쉬운 조건에서만 통하는 기술이 아니라 어려운 조건에서도 버티는지 보여주려는 구성으로 읽히기 때문입니다.

더 눈에 띄는 쪽은 가장 강한 기준선 strongest baseline과의 차이인데, 각각 8.0포인트와 22.5포인트와 25.0포인트 앞섰다고 합니다. 쉬운 조건에서는 8포인트 차이에 그쳤지만 어려운 조건에서는 격차가 20포인트 이상으로 벌어지는데, 이 패턴은 해석할 여지가 있습니다. 어려울수록 기억의 힘이 커진다는 뜻일 수도 있고, 기준선이 어려움에 더 약했다는 뜻일 수도 있기 때문입니다. 저는 여기서 두 해석을 함께 들고 가는 편이 좋다고 봅니다. 어쨌든 어려운 장면에서 격차가 벌어졌다는 사실 자체는 검색이 할 일을 했다는 쪽에 힘을 싣습니다.

여기에 충돌 없는 스텝 수 collision-free step count가 모든 구성에서 가장 높았다는 결과와 차선 변경 빈도가 낮게 유지됐다는 결과가 겹칩니다. 자주 끼어들지 않고 오래 무사고로 버틴다는 것인데, 유교적 가치 지침이 의도한 점잖은 운전과 겉모습이 맞닿아 있습니다. 다만 이 숫자는 그대로 믿기 전에 조건을 봐야 합니다. 소극적인 운전도 충돌은 줄이고 차선 변경은 줄이기 때문입니다. 그래서 다음에 볼 효율 지표와 함께 읽어야 합니다.

점잖은 운전은 느린 운전과 어떻게 다를까

이 논문에서 제가 가장 오래 멈춘 대목은 바로 효율과 지연의 절충입니다. 점잖게 운전했다는 말이 단순히 느리게 운전했다는 말과 같아지면, 그 점잖음은 기술이 아니라 회피가 되기 때문입니다. 논문은 충돌 없는 스텝과 낮은 차선 변경 빈도를 앞세우면서도 효율과 지연 쪽의 비용을 함께 적고 있는데, 이런 양면 제시는 신뢰가 갑니다.

실제 도로를 떠올리면 점잖음의 가치는 속도와 함께 움직입니다. 퇴근길 경부고속도로에서 모두가 시속 30킬로로 기어가는데 혼자 점잖다고 멈춰 있으면, 그건 예의가 아니라 흐름을 끊는 행동이 됩니다. 그래서 낮은 차선 변경이 미덕이 되려면 평균 속도나 목적지 도달 같은 효율 지표가 함께 버텨줘야 합니다. 논문이 효율과 지연을 절충으로 명시한 만큼, 독자는 성공률만 보지 말고 그 성공이 어떤 속도와 어떤 계산 비용으로 달성됐는지를 물어야 합니다.

그렇다면 이 절충은 감수할 만할까요. 저는 조건부로 그렇다고 봅니다. 안전이 최우선인 고속도로 장면에서는 약간의 지연을 치르고라도 충돌을 줄이는 쪽이 합리적이기 때문입니다. 하지만 실시간성이 빡빡한 실제 차량에서는 매 스텝 대형 모델 호출과 검색이 병목이 될 수 있어서, 이 구조를 가볍게 만드는 일이 다음 과제로 남습니다. 좋은 기억이라도 꺼내는 데 너무 오래 걸리면 운전에는 쓸 수 없으니까요.

이 구조를 실제 차에 올리려면 무엇이 남을까

실제 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 이 기억집은 얼마나 커져야 하고, 어디에 살아야 할까요. 차량 안에서 다 들고 다니기에는 사례집이 무거울 수 있고, 클라우드에 두자니 매 스텝 왕복 지연이 부담됩니다. 캐시 계층을 두거나 자주 쓰는 사례를 차량에 복사해 두는 식의 설계가 필요해지는데, 논문의 평가 범위 안에서는 이 고민이 드러나지 않습니다.

또 하나는 검색 인덱스의 유지보수입니다. 새로운 도로와 새로운 운전 문화가 들어오면 사례집도 함께 자라야 하는데, 누가 어떤 장면을 추가하고 어떤 오래된 장면을 버릴지를 정하는 규칙이 필요합니다. 고전 텍스트에서 뽑은 원칙은 비교적 오래가겠지만, 장면별 사례는 유행처럼 낡습니다. 버전 하나가 올라가면 파이프라인이 멈추는 일이 생기지 않도록, 사례 추가와 검증과 롤백을 다루는 운영 장치가 따로 있어야 합니다.

그럼에도 저는 이 방향이 운영 친화적이라고 봅니다. 가중치를 다시 학습시키는 대신 문서를 고치는 방식으로 행동을 바꿀 수 있기 때문입니다. 특정 합류 구간에서 문제가 반복된다면 그 장면의 사례를 손보면 되고, 그 수정은 사람이 읽고 감사할 수 있는 형태로 남습니다. 블랙박스를 통째로 다시 학습시키는 것과 문서를 고치는 것은 운영하는 사람의 마음가짐이 다르죠.

제가 앞으로 보고 싶은 것은

제가 앞으로 보고 싶은 것은 세 가지인데, 모두 논문이 열어놓고 닫지 않은 문입니다. 첫째는 다른 문화권의 규범을 같은 파이프라인에 넣었을 때 어떤 운전 스타일이 나오는지입니다. 유교만 재료로 썼기 때문에 지금의 점잖음은 특정 문화의 점잖음인데, 같은 기계에 다른 규범 문서를 넣으면 운전이 어떻게 달라지는지 보는 실험은 이 구조의 일반화를 가늠하는 잣대가 됩니다.

둘째는 도심으로 무대를 옮겼을 때입니다. 신호와 횡단보도와 오토바이가 뒤엉킨 교차로에서도 물리 기반 검색과 가치 사례가 같은 힘을 낼까요. 고속도로는 비교적 질서가 있는 무대라서 기억이 잘 통하지만, 도심은 예외가 규칙보다 많은 무대이기 때문입니다. 셋째는 작은 모델과의 결합인데, 매 스텝 호출되는 언어 모델을 가볍게 바꾸거나 검색 주기를 조절해도 격차가 유지되는지가 실제 도입의 분기점이 됩니다.

이런 질문이 남는다는 점은 논문의 약점이라기보다 구조가 질문을 낳는 방식이라서 오히려 좋습니다. 기억과 가치를 바깥 문서로 빼두었기 때문에, 문서를 바꾸면 어떻게 되는지 묻는 실험이 자연스럽게 이어지기 때문입니다. 닫힌 모델 하나를 평가하는 논문이라면 나오기 어려운 종류의 다음 질문입니다.

운전의 예의를 문서로 남긴다는 발상

정리하면 이 논문은 운전을 잘하는 법을 가중치 안에 숨기지 않고 읽을 수 있는 문서로 남기자는 제안입니다. 고전에서 원칙을 뽑고 원칙을 장면에 붙이며, 물리적으로 통했던 과거를 매 스텝 꺼내 쓰는 고리는 철학 에세이가 아니라 기억 시스템의 설계도에 가깝습니다. 숫자로 보면 어려운 교통에서 벌어진 20포인트 이상의 격차와 가장 긴 무사고 스텝이 그 설계의 대가로 보입니다.

그렇다면 사람의 역할은 무엇일까요. 저는 이 논문을 읽으며 원칙을 고르고 사례를 다듬은 사람의 손이 자꾸 떠올랐습니다. 기계가 달리는 동안에도 어떤 점잖음을 남길지는 결국 사람이 문서로 정하고 있었기 때문입니다. 앞으로 자율주행이 더 많은 도로를 달리게 된다면, 모델 하나가 안전한지만 보는 것을 넘어 어떤 기억을 싣고 다니는지까지 함께 물어야 할 것 같습니다.