LLM에게 무엇을 기대하는가? 벤치마크 설계도를 읽는 법
1만 4,767편의 평가 자원 논문을 지도로 펼친 연구를 통해 행동과 상호작용으로 이동하는 LLM 평가의 기대, 공존하는 설계, 그리고 모델이 채점에 참여할 때의 함정을 정리합니다.
블로그
AI 기술, 연구, 제품, 그리고 그 곁에서 일하는 사람들의 이야기
기술과 제품을 설계하고 검증하는 과정, 주목할 논문과 AI 동향에 대한 해설, Patty의 새로운 시도와 일하는 문화까지 깊이 있게 전합니다.
최신 글
페이지 16
대화형 LLM 에이전트는 웹 검색을 어떻게 쓸까: 검색 결정부터 답변까지
ChatGPT와 Claude, Grok, DeepSeek의 실제 대화와 통제 실험을 따라가며 검색 호출 결정과 질의 전략, 결과 편향과 답변 grounding의 간극을 살펴봅니다.
현재 체계적 일반화 평가는 무엇을 놓치고 있을까
행동 조합이 선형이라는 가정과 길이 늘리기 중심 시험을 걷어내고 연역과 귀납과 가추를 한판에 묶은 TranSGrid 연구를 따라가며 진짜 추론 부담을 다시 묻습니다.
모델을 직접 다루지 말고 가상화하자는 제안이 던진 질문
단일 모델에서 복합 에이전트 시스템으로 넘어간 뒤에도 프레임워크마다 흩어진 상태와 메모리와 가드레일을 어떻게 다룰지, FMOS라는 자기 진화 운영체제 층 제안을 따라가며 읽는다.
평균은 맞는데 걸음은 흔들릴 때, 강조 학습을 다시 고정하는 법
평균 업데이트는 안정돼 보이는데 표본 경로는 고정된 걸음 크기에서 흔들리는 ETD의 틈을 두 상태 반례와 리아푸노프 부호로 짚고, 흔적은 그대로 둔 채 새는 상태에 신호를 담았다가 늦게 보정하는 RETD의 구조와 읽기 방식, 조건부 안정 결과와 만 번의 짝지은 실행을 따라간다.
물리식으로 생물학을 읽는 AI를 어떻게 시험할까, BioPhys-Bridge가 던진 질문
데이터와 물리 모델과 생물학적 메커니즘을 함께 묶어 묻는 500개 케이스, 1517개 과제 벤치마크 BioPhys-Bridge를 찬찬히 읽어봅니다.
같은 증거를 두 번 만나면 왜 더 확실해 보일까
GraphEcho가 그래프 에이전트의 구조적 중복과 출처 provenance 문제를 어떻게 분리해 측정했는지, 그리고 반복을 줄이는 학습이 왜 정확과 엇갈리는지 해설합니다.
보지 못하게 했더니 더 잘 배웠다
네 개 셀로 이루어진 60개 시스템으로 사전등록 확인까지 마친 증거 가림 실험이 합성 일반화를 어떻게 바꾸는지 해설합니다.
물리 법칙으로 센서를 지키는 디지털 트윈이 도시 보행 흐름 속 숨은 조작을 찾는 법
멜버른 6년 데이터로 검증된 물리 제약 디지털 트윈이 희소한 보행 센서망에서 스텔스 데이터 조작을 가려내고 컨포멀 보정으로 경보 기준을 잡는 과정을 따라갑니다.