노시욱 (Patrick Rho) · AI 연구 해설
Why Better Models Can Create Riskier Systems: Evidence from LLM Agents in Financial Markets라는 제목의 작업은 arXiv 2609.04373 식별자로 안내되어 있습니다. 제가 확보한 자료에서는 저자 정보와 초록, 본문을 검증할 수 없었습니다. 원문 링크는 이 글의 제목 아래에 표시됩니다. 이 작업이 내세우는 주장은 한 문장으로 정리할 수 있습니다. 모델이 좋아질수록 개별 에이전트는 더 유능해지지만 시장 전체의 시스템 위험은 오히려 커질 수 있다는 것입니다.
이 첫 단락은 일부러 건조하게 썼습니다. 확인할 수 없는 내용을 확인한 것처럼 쓰고 싶지 않았기 때문입니다. 저는 이 논문에서 가장 흥미롭게 본 부분이 숫자 자체가 아니라 질문의 방향이라고 봅니다. 보통 모델이 좋아지면 시스템도 안전해진다고 믿습니다. 정확도가 오르고 실수가 줄면 위험도 줄 것이라는 기대입니다. 그런데 금융시장은 그 기대가 깨지기 쉬운 곳입니다. 참가자들이 서로를 보고 배우고 따라 하기 때문입니다. 저희가 새로운 AI 아키텍처를 볼 때도 benchmark 숫자만 보지는 않습니다. 실제로 무엇이 바뀌었고, 그 변화가 시스템에서 어떤 비용 구조를 만드는지를 함께 봅니다. 이 글도 같은 태도로 진행됩니다. 논문 본문의 세부 수치를 재인용하는 대신, 주장이 성립하려면 어떤 메커니즘이 필요하고, 어떤 조건에서 반박될 수 있으며, 엔지니어 관점에서 무엇을 점검해야 하는지를 차근차근 풀어보겠습니다.
제가 이 주제를 그냥 넘기지 못한 이유
금융시장 이야기는 AI 논의에서 자주 소모적으로 쓰입니다. 단타로 돈을 버는 봇이라든지, 곧 인간 트레이더가 사라진다는 식의 이야기입니다. 저는 그런 이야기를 하려는 것이 아닙니다. 제가 이 주제를 그냥 넘기지 못한 이유는 시장이 멀티에이전트 문제를 가장 정직하게 드러내는 환경이기 때문입니다. 혼자 잘하는 것과 함께 있을 때 안전한 것은 다른 문제입니다. 학교 시험은 혼자 잘하면 됩니다. 시장은 그렇지 않습니다. 내 주문이 가격을 바꾸고, 바뀐 가격이 다른 사람의 다음 입력이 됩니다. 이 되먹임 구조에서는 개별 지능과 집단 안정성이 같은 방향으로 움직인다는 보장이 없습니다.
비슷한 패턴은 다른 곳에서도 봅니다. 자율주행 차량이 개별적으로는 더 똑똑해져도, 같은 방식으로 판단하는 차량이 한 도로에 몰리면 새로운 병목이 생길 수 있습니다. 추천 시스템도 개별 클릭 예측이 정확해질수록 전체 피드의 다양성이 무너질 때가 있습니다. 금융시장은 이 현상을 돈이라는 숫자로 가장 빨리 보여줍니다. 변동성이 커지고, 유동성이 마르고, 평소에는 없던 상관관계가 갑자기 나타납니다. 그래서 저는 이 주장을 단순한 역설로 소비하지 않으려 합니다. 모델이 좋아지는 과정이 시장 구조와 맞물릴 때 어디에서 위험이 자라는지를 구체적으로 따져보고 싶습니다.
잘 만든 모델이 왜 더 위험해질 수 있을까
표면적으로 보면 단순합니다. 좋은 모델은 더 정확한 예측을 하고, 더 나은 판단을 하고, 실수를 덜 합니다. 그런데 시스템 관점에서 보면 다음 질문이 바로 생깁니다. 좋아진 모델들이 서로 비슷해졌다면 어떻게 될까요. 개별 성능 향상과 행동 다양성 감소가 동시에 일어나면 전체 결과는 달라질 수 있습니다.
여기서 재미있는 질문이 생깁니다. 위험은 모델 한 개의 실수에서 오는 것일까요, 아니면 여러 모델이 같은 순간에 같은 판단을 하는 데서 오는 것일까요. 금융시장의 큰 사고를 보면 후자의 비중이 큽니다. 2008년 전후의 구조화 상품, 2010년의 플래시 크래시, 변동성 연계 상품이 무너지던 시기의 움직임을 떠올려보시면 됩니다. 각 주체는 나름의 합리적인 규칙을 따랐습니다. 문제는 그 규칙이 서로 닮아 있었다는 점입니다. 모두가 위험을 줄이려고 같은 버튼을 누르는 순간, 그 버튼이 시장 전체를 흔드는 버튼이 됩니다.
LLM 에이전트 이야기도 같은 틀에서 읽을 수 있습니다. 모델이 좋아진다는 것은 보통 몇 가지를 함께 의미합니다. 문맥을 더 길게 보고, 지시를 더 정확히 따르고, 도구를 더 능숙하게 쓰고, 불확실한 상황에서 더 자신 있게 행동한다는 뜻입니다. 각각은 개별적으로는 좋은 변화입니다. 그러나 여러 에이전트가 같은 종류의 개선을 같은 방향으로 받으면, 시장은 더 빠르고 더 자신감 있고 더 닮은 판단들로 채워집니다. 다양성이 줄고 속도가 붙고 확신이 커지는 조합은 시장이 충격을 흡수하는 능력을 약하게 만듭니다.
금융시장에서 에이전트가 실제로 부딪히는 구조
시장을 처음 접하는 분들을 위해 구조를 짧게 정리하겠습니다. 주식이나 선물 시장에는 호가창이라는 것이 있습니다. 사고 싶은 사람과 팔고 싶은 사람이 가격별로 줄을 서 있는 장부입니다. 누군가 시장가로 주문을 내면 그 장부에 있던 대기 주문과 즉시 체결됩니다. 지정가로 주문을 내면 장부에 새로운 줄이 추가됩니다. 가격은 이 장부가 비워지고 채워지는 과정에서 틱 단위로 움직입니다.
에이전트 관점에서 보면 시장은 고정된 퀴즈가 아닙니다. 문제를 풀면 끝나는 시험지가 아니라, 답을 쓰는 행위가 다음 문제를 바꾸는 환경입니다. 에이전트가 매수하면 가격이 오릅니다. 가격이 오르면 다른 에이전트의 화면에 보이는 지표가 바뀝니다. 이동평균이 꺾이고, 호가 불균형이 달라지고, 변동성 추정치가 올라갑니다. 그러면 다른 에이전트가 반응합니다. 추세를 따르는 에이전트는 더 사고, 변동성을 피하는 에이전트는 팔고, 마켓메이커 역할을 하는 에이전트는 스프레드를 넓힙니다. 한 에이전트의 출력이 모든 에이전트의 입력이 되는 구조입니다.
제가 앞으로 보고 싶은 것은 이 상호작용을 시간 단위로 쪼갠 기록입니다. 누가 먼저 움직였고, 그 움직임이 호가창의 어느 부분을 비웠으며, 그 빈자리가 다음 에이전트의 판단을 어떻게 바꿨는지 말입니다. 개별 모델의 정답률만 보면 이 과정이 보이지 않습니다. 정답률은 혼자 푼 시험 점수이고, 시장은 단체 움직임의 기록이기 때문입니다. 그래서 저는 이 숫자보다 그 뒤의 구조가 더 중요하다고 봅니다. 좋은 모델이 무엇을 더 잘하게 되었는지보다, 그 잘하게 된 행동이 시장의 어느 통로를 통해 증폭되는지가 위험을 가릅니다.
똑똑해진다는 말이 트레이딩에서는 다르게 들린다
일반적인 언어모델 평가에서 똑똑하다는 말은 대체로 긍정적입니다. 긴 지시를 끝까지 따르고, 복잡한 조건을 놓치지 않고, 계산 실수를 덜 하고, 도구를 순서대로 잘 씁니다. 트레이딩 환경에 같은 정의를 그대로 가져오면 의미가 미묘하게 바뀝니다.
예를 들어 설명해보겠습니다. 실제로 측정된 사례가 아니라, 구조를 이해하기 위한 가상의 장면입니다. 열 개의 에이전트가 같은 시장을 보고 있다고 가정합니다. 예전 모델들은 뉴스를 읽고도 해석이 엇갈렸습니다. 셋은 매수, 셋은 관망, 넷은 소량 매도 같은 식입니다. 주문이 분산되니 호가창은 천천히 소진되고 가격은 완만하게 움직입니다. 새 모델들은 같은 뉴스를 훨씬 정확하게 읽습니다. 모두가 같은 문장에서 같은 방향을 읽어냅니다. 열 개가 동시에 매수를 누릅니다. 호가창의 매도 물량은 순식간에 비워지고 가격은 점프합니다. 예측 정확도는 올랐는데 시장은 더 거칠어진 셈입니다. 이 장면은 실제 실험 결과가 아니라 메커니즘을 이해하기 위한 예시입니다. 다시 말하면, 정확도 향상이 곧 안정성 향상이라는 직관을 깨는 방식을 보여주는 예시입니다.
여기서 조금 조심해서 읽을 필요가 있습니다. 정확도가 문제라는 말이 아닙니다. 정확도와 동조화가 함께 움직일 때 시스템이 받는 압력이 문제라는 뜻입니다. 같은 정보를 같은 방식으로 읽는 능력이 좋아질수록, 시장은 한 방향으로 쏠리는 속도가 빨라집니다. 여기에 실행 능력까지 좋아지면 효과가 커집니다. 주문 분할을 더 영리하게 하고, 여러 상품을 동시에 다루고, 파생상품으로 방향성 베팅을 키울 수 있게 됩니다. 개별 포트폴리오 관점에서는 효율적인 실행입니다. 시장 전체 관점에서는 충격을 키우는 실행입니다.
또 하나 짚을 부분은 확신도입니다. 좋은 모델은 보통 더 잘 캘리브레이션되기를 기대받지만, 실전에서는 반대가 나타날 때가 있습니다. 긴 문맥을 매끄럽게 엮어내는 모델은 자신의 판단에 대한 서사를 더 설득력 있게 만듭니다. 스스로에게도, 로그를 읽는 사람에게도 그렇습니다. 확신이 커지면 포지션이 커지고, 포지션이 커지면 되돌리기 어려워집니다. 저는 여기서 조금 의심했습니다. 모델이 좋아졌다는 보고를 볼 때마다, 그 보고가 개별 수익률 위주인지, 아니면 포지션 크기와 청산 비용까지 포함한 시스템 기준인지를 묻게 됩니다. 전자는 좋아졌는데 후자는 나빠졌다는 결과가 충분히 나올 수 있기 때문입니다.
개별적으로는 합리적인데 모아놓으면 흔들린다
문제는 그다음입니다. 각 에이전트가 합리적으로 보여도 시장이 흔들릴 수 있다는 점을 어떻게 받아들여야 할까요. 경제학에서는 오래된 이야기입니다. 개별 은행이 위험을 줄이려고 자산을 팔면, 모두가 같이 팔아서 가격이 무너지고, 결국 각 은행의 건전성이 더 나빠지는 현상입니다. 유동성이 필요할 때 유동성이 사라지는 이유입니다.
LLM 에이전트 환경에서는 이 오래된 이야기가 새로운 옷을 입습니다. 과거에는 비슷한 전략이 퍼지는 데 시간이 걸렸습니다. 사람이 보고서를 읽고, 회의에서 설득하고, 시스템을 고치는 과정이 필요했습니다. 모델 기반 에이전트는 복제와 배포가 빠릅니다. 좋은 프롬프트 하나, 좋은 설정 하나가 수십 개, 수백 개의 인스턴스에 그대로 복사됩니다. 파운데이션 모델을 공유하면 그 아래의 판단 습관까지 공유됩니다. 서로 다른 회사에서 만든 에이전트라도 같은 계열의 모델을 쓰면 뉴스 해석, 위험 문구 반응, 도구 사용 패턴이 닮아갈 수 있습니다.
속도도 달라집니다. 사람이 개입하던 시장에서는 누군가 당황해서 멈추는 시간이 완충 장치가 되었습니다. 망설임, 확인 전화, 승인 절차 같은 마찰이 변동성의 속도를 늦췄습니다. 에이전트 비중이 커지면 그 마찰이 줄어듭니다. 모두가 같은 신호에 같은 속도로 반응합니다. 평소에는 효율적입니다. 호가가 촘촘하고 체결이 빠릅니다. 그런데 충격이 오면 효율이 독이 됩니다. 빠져나가는 문은 좁은데 모두가 동시에 그 문으로 향합니다.
저는 이 대목을 읽을 때 과도한 일반화를 경계하려 합니다. 모든 동조화가 나쁜 것은 아닙니다. 마켓메이커들이 비슷한 방식으로 호가를 촘촘히 내면 평소 유동성은 좋아집니다. 추세 추종이 적당히 섞이면 가격 발견도 빨라집니다. 위험해지는 지점은 동조화의 종류와 타이밍입니다. 평온할 때의 동조화는 비용을 낮추고, 스트레스 상황에서의 동조화는 비용을 폭발시킵니다. 그래서 좋은 모델이 위험한 시스템이 되는지 묻는 것은, 모델 점수 하나만 보고 답할 수 있는 질문이 아닙니다. 어떤 상황에서 어떤 행동이 겹치는지를 봐야 답할 수 있는 질문입니다.
시뮬레이션으로 시장을 재현한다는 것의 의미와 한계
이런 주장을 검증하려면 실제 시장에 에이전트를 풀어볼 수는 없습니다. 그래서 연구자들은 보통 시뮬레이션 시장을 만듭니다. 호가창을 흉내 낸 가상 거래소, 가격 움직임을 만드는 규칙, 뉴스를 흉내 낸 텍스트 신호, 여러 에이전트가 동시에 주문을 내는 환경을 코드로 짭니다. 일반 사전 연구에서도 LLM 트레이딩 에이전트는 이런 식의 가상 호가창과 멀티에이전트 환경에서 다뤄진 경우가 많았습니다. 다만 이번 작업의 구체적인 환경 구성과 수치는 제가 확보한 자료에서 확인할 수 없었으므로, 이 글에서는 특정 실험 설정을 단정하지 않겠습니다.
시뮬레이션은 장점이 분명합니다. 같은 충격을 여러 번 반복할 수 있고, 에이전트 구성을 바꿔가며 비교할 수 있고, 사고 과정을 로그로 남길 수 있습니다. 현실에서는 절대 허락되지 않는 개입도 가능합니다. 특정 에이전트만 늦게 반응하게 하거나, 특정 모델만 구버전으로 바꿔 끼우는 식의 비교가 가능합니다. 시스템 질문을 던지기에는 좋은 실험실입니다.
한계도 분명합니다. 시뮬레이션 시장은 실제 시장의 거친 부분을 덜어내기 쉽습니다. 실제 시장에는 예측 불가능한 인간, 규제 개입, 거래소 중단, 결제 실패, 소문과 오보, 정치적 발언 같은 것들이 뒤섞여 있습니다. 수수료와 세금, 자금 조달 비용, 포지션 한도 같은 현실적인 마찰도 있습니다. 가상 환경이 이런 것들을 단순화하면 에이전트의 행동이 실제보다 더 깔끔하게 겹쳐 보일 수도 있고, 반대로 실제보다 더 안정적으로 보일 수도 있습니다. 저는 시뮬레이션 결과를 볼 때 항상 같은 질문을 던집니다. 이 환경에서 사라진 마찰이 결과를 어느 방향으로 밀었을까. 마찰을 덜어낸 결과가 더 위험하게 나왔다면 실제는 다를 수 있고, 마찰을 덜어냈는데도 안정적이었다면 실제의 마찰이 그것을 뒤집을 수도 있습니다.
또 하나, 시뮬레이션에서는 에이전트가 시장의 전부인 경우가 많습니다. 현실에서는 에이전트 바깥에 거대한 인간 자금과 기관의 규칙 기반 시스템이 있습니다. 시뮬레이션에서 동조화가 크게 나왔다고 해서 현실에서도 같은 크기로 나타난다고 단정할 수 없습니다. 반대로 시뮬레이션에서 작은 동조화가 현실의 레버리지와 결합하면 더 크게 증폭될 수도 있습니다. 조건을 봐야 합니다. 저는 이 숫자는 그대로 믿기 전에 조건을 봐야 한다고 봅니다. 어떤 유동성 규칙을 썼는지, 포지션 한도는 있었는지, 충격의 크기는 어떻게 넣었는지, 에이전트에게 주어진 목표 함수가 수익인지 변동성 조절인지에 따라 해석이 달라집니다.
숫자를 믿기 전에 조건부터 따져야 하는 이유
이번 작업의 구체적인 수치는 자료 부족으로 이 글에서 재인용하지 않겠습니다. 대신 이런 주장을 평가할 때 어떤 숫자를 요구해야 하는지를 정리하겠습니다. 이 목록은 논문을 깎아내리려는 것이 아니라, 좋은 주장일수록 어떤 증거 위에서야 단단해지는지를 밝히려는 것입니다.
먼저 개별 성능과 시스템 결과는 다른 축으로 보고되어야 합니다. 개별적으로는 수익률이 올랐는데 시스템 전체의 변동성이나 최대 낙폭이 커졌다는 식의 대비가 필요합니다. 한쪽만 오르면 이야기가 반쪽이 됩니다. 다음으로 동조화 지표가 필요합니다. 같은 시점에 같은 방향을 본 에이전트 비중, 주문 상관관계, 포지션 겹침 같은 측정입니다. 이게 없으면 위험 증가가 정말 동조화 때문인지, 아니면 단순히 거래량이 늘어서인지 구분할 수 없습니다.
비교 설계도 중요합니다. 좋은 모델과 이전 모델을 비교할 때 거래 빈도, 포지션 크기, 허용 레버리지를 그대로 두었는지가 관건입니다. 좋은 모델이 더 자주 거래하고 더 크게 베팅하도록 허용되었다면, 위험 증가의 원인은 모델 지능이 아니라 허용된 행동 반경일 수 있습니다. Ablation 관점에서 보면 무엇을 제거하거나 바꿨는지가 해석을 가릅니다. 모델만 바꾸었는지, 프롬프트와 도구와 한도까지 함께 바꾸었는지에 따라 결론이 달라집니다.
측정 구간도 봐야 합니다. 평온한 구간에서만 잘되고 스트레스 구간에서 무너지는 패턴은 금융에서 흔합니다. 전체 평균만 보면 위험이 가려집니다. 구간별 분해가 필요합니다. 같은 맥락에서 표본 수도 중요합니다. 시뮬레이션 몇 회 평균인지, 시드와 충격 시나리오를 바꿔도 결과가 유지되는지가 필요합니다. 저는 이런 조건들을 에이전트 시스템의 기본 점검표처럼 봅니다. 모델이 바뀌면 매번 같은 질문을 던지는 것입니다. 무엇이 매칭된 비교인지, 무엇을 실제로 매칭했는지 말입니다. 같은 연산량이라는 말이 같은 하드웨어 비용을 뜻하지 않듯이, 같은 모델 계열이라는 말이 같은 행동 분포를 뜻하지 않습니다.
모델이 좋아질 때 시스템 비용 구조는 어떻게 바뀌나
좋은데, 이걸 어디에 올릴까요. 실제 시스템 관점에서 보면 모델 업그레이드는 단순한 교체가 아닙니다. 비용 구조와 운영 가정이 함께 바뀝니다.
첫째, 추론 비용과 지연이 바뀝니다. 좋은 모델은 대체로 더 크거나 더 많은 생각을 합니다. 생각 과정이 길어지면 판단은 좋아질 수 있지만 주문까지의 지연이 늘어납니다. 지연이 늘면 호가창에서 좋은 자리를 놓치기 쉽습니다. 그래서 운영자는 더 빠른 하드웨어를 붙이거나, 병렬 호출을 늘리거나, 판단 주기를 쪼개는 선택을 합니다. 각각은 돈을 쓰고 복잡도를 키웁니다. 시장이 빠를 때는 이 지연 차이가 손익을 가릅니다.
둘째, 메모리와 문맥이 바뀝니다. 긴 문맥을 보는 모델은 더 많은 과거 가격과 뉴스와 포지션 기록을 입력으로 씹습니다. 좋아 보이지만 입력이 길어질수록 서로 다른 에이전트가 보는 화면이 닮아갑니다. 같은 긴 과거를 공유하면 해석도 닮아갑니다. 다양성을 지키려면 의도적으로 다른 입력 창을 주거나 다른 목표를 섞어야 합니다. 그것도 설계 비용입니다.
셋째, 도구 사용이 바뀝니다. 좋은 모델은 주문 분할, 헤지, 다중 상품 집행 같은 도구를 더 적극적으로 씁니다. 개별적으로는 정교한 실행이지만 시스템 전체에서는 레버리지와 연결성이 커지는 통로가 됩니다. 선물과 옵션과 현물을 한 번에 다루는 에이전트가 많아지면 한 시장의 충격이 다른 시장으로 건너가는 속도가 빨라집니다. 평소에는 가격 차이가 빨리 메워져서 좋아 보입니다. 충격 국면에서는 전염이 빨라집니다.
넷째, 모니터링 부담이 바뀝니다. 모델이 좋아지면 사람이 로그를 읽고 이해하는 속도가 모델의 판단 속도를 못 따라갑니다. 사후 설명은 매끄러운데 사전 통제는 어려워지는 상태가 됩니다. 그래서 서킷브레이커, 포지션 한도, 속도 제한, 킬 스위치 같은 바깥 장치가 더 중요해집니다. 모델이 똑똑할수록 바깥 장치를 더 촘촘히 해야 한다는 말은 역설처럼 들리지만 운영 현장에서는 상식입니다. 저희 팀 관점에서도 모델 교체는 성능 그래프 하나 보고 끝내는 일이 아닙니다. 지연 분포, 메모리 사용량, 동시 호출 수, 장애 시 수동 개입까지 다시 그리는 일입니다. 시장에서는 거기에 유동성 고갈 시나리오까지 얹어야 합니다.
한 줄 요약이 놓치는 지점
이 주장은 한 줄로 줄이면 오해를 부릅니다. 좋은 모델이 위험하다는 식으로 읽히기 때문입니다. 제가 보기에 정확한 문장은 다릅니다. 좋아진 방식이 닮은꼴일 때, 그리고 그 닮은 판단이 빠른 실행과 큰 포지션을 만나면 시스템이 흔들릴 수 있다는 것입니다. 조건이 붙어야 합니다.
흔한 오해 하나는 정확도가 문제라는 해석입니다. 정확도가 문제가 아닙니다. 같은 정보를 같은 타이밍에 같은 방향으로 읽는 정도가 문제입니다. 정확도는 유지하면서 다양성을 지키는 설계는 가능합니다. 다른 데이터 창, 다른 목표 함수, 다른 반응 속도, 다른 위험 한도를 섞는 식입니다. 앙상블이 괜히 있는 것이 아닙니다. 두 번째 오해는 속도가 문제라는 해석입니다. 속도 자체보다 같은 속도로 같은 방향을 보는 것이 문제입니다. 속도가 달라도 방향이 같으면 결국 같은 곳에 모입니다. 다만 속도가 빠를수록 모이는 시간이 짧아지고 개입할 틈이 줄어듭니다.
세 번째 오해는 에이전트를 쓰지 않으면 된다는 해석입니다. 현실적으로 되돌리기 어렵습니다. 효율이 좋아지는 기술을 안 쓰기는 어렵습니다. 질문은 쓸 것인가 말 것인가가 아니라 어떻게 섞을 것인가입니다. 어떤 비중으로, 어떤 한도로, 어떤 감시 아래 둘 것인가 말입니다. 네 번째 오해는 규제로 다 막을 수 있다는 기대입니다. 규제는 속도가 느리고 시장은 빠릅니다. 포지션 한도와 공시 의무는 필요하지만, 같은 모델을 쓰는 것만으로 생기는 보이지 않는 상관관계까지 잡아내기는 어렵습니다. 그래서 저는 이 논의를 모델 점수 논쟁이 아니라 시스템 설계 논쟁으로 읽습니다. 무엇을 최적화할 것인가가 아니라 무엇을 겹치지 않게 할 것인가의 문제입니다.
앞으로 무엇을 확인해야 할까
여기까지가 해석이라면, 이제부터는 숙제입니다. 제가 앞으로 보고 싶은 것은 구체적인 검증 목록입니다. 이 목록이 채워질수록 주장의 윤곽이 선명해질 것입니다.
첫째, 모델 계열과 규모를 바꿨을 때 동조화가 어떻게 움직이는지 보고 싶습니다. 좋은 모델이라고 다 같은 방식으로 닮아지는 것은 아닐 수 있습니다. 어떤 훈련 방식이 다양성을 더 빨리 갉아먹는지, 어떤 설정이 다양성을 지켜주는지가 궁금합니다. 둘째, 프롬프트와 목표 함수의 역할을 분리한 결과가 필요합니다. 같은 모델이라도 수익만 보라는 지시와 변동성 조절까지 보라는 지시는 다른 행동을 만들 수 있습니다. 모델 탓인지 지시 탓인지 가르지 못하면 처방이 어긋납니다.
셋째, 시장 조건별 분해가 필요합니다. 평온할 때와 충격이 있을 때, 유동성이 풍부할 때와 마를 때 결과가 같은지 봐야 합니다. 위험 이야기는 꼬리에서 갈립니다. 평균만 보면 놓칩니다. 넷째, 실제 마찰을 얹었을 때 결과가 어떻게 달라지는지 보고 싶습니다. 수수료, 지연, 포지션 한도, 강제 청산 규칙 같은 것들입니다. 이런 마찰은 동조화를 키울 수도 있고 끊을 수도 있습니다. 어느 쪽인지 측정해야 합니다.
다섯째, 혼합 구성의 효과입니다. 좋은 모델만 가득 채운 시장과 구버전과 신버전을 섞은 시장, 인간 규칙 기반 주체를 섞은 시장의 안정성을 비교하면 설계 힌트가 나옵니다. 다양성이 정말 완충 장치라면 혼합 시장에서 변동성이 가라앉아야 합니다. 여섯째, 시간 스케일입니다. 초단타 구간에서 보이는 동조화와 일간 포지션에서 보이는 동조화는 다른 이야기일 수 있습니다. 어떤 주기에서 위험이 자라는지가 운영 대책을 정합니다.
저는 이 질문들이 단순한 후속 연구 목록이 아니라 제품을 만드는 사람들의 점검표라고 봅니다. 에이전트 트레이딩 시스템을 만지거나 평가하는 분이라면 모델을 올리기 전에 같은 질문을 던질 수 있습니다. 동조화 지표를 재는가, 스트레스 구간을 따로 보는가, 한도를 모델 수준이 아니라 시스템 수준에서 거는가 말입니다. 이 글은 특정 논문의 수치를 확정하는 글이 아니라 그 질문들을 정리하는 글입니다. 자료가 제한된 상태에서는 그것이 정직한 형태라고 판단했습니다.
마무리하며 가져갈 한 가지
마지막으로 한 가지만 남기겠습니다. 모델이 좋아졌다는 말과 시스템이 안전해졌다는 말은 다른 문장입니다. 평소에는 함께 움직이는 것처럼 보여서 헷갈립니다. 개별 테스트에서 점수가 오르고, 데모에서 실수가 줄고, 운영 지표가 매끈해집니다. 그런데 시장처럼 되먹임이 강한 환경에서는 좋아진 능력이 같은 방향으로 모일 때 전체를 흔들 수 있습니다. 이 간극을 메우는 일은 모델을 더 좋게 만드는 일과 다른 종류의 일입니다. 다양성을 설계하고, 한도를 바깥에 두고, 스트레스 구간을 따로 재는 일입니다.
저는 이 주장을 비관으로 읽지 않습니다. 에이전트를 쓰지 말자는 말이 아니라, 쓰는 방식에 시스템 관점을 얹자는 말로 읽습니다. 좋은 모델을 쓰는 팀일수록 개별 성능 그래프 옆에 시스템 그래프를 붙여야 합니다. 수익률 옆에 동조화 지표, 평균 옆에 꼬리 구간, 정확도 옆에 청산 비용 같은 것들입니다. 모델이 좋아질수록 그 옆의 그래프를 더 자주 봐야 합니다. 그것이 이번 작업이 던진 질문 앞에서 제가 가져가는 태도입니다. 원문 링크는 제목 아래에 표시되어 있으니, 본문에 접근할 수 있는 독자라면 제가 정리한 점검표와 대조하며 읽어보시기를 권합니다.