AlphaDiana: 답을 넘어 과정을 재는 에이전트 측정 시스템
도구를 쥐여줘도 점수가 오르지 않는 이유를 실행 과정과 자원 기록까지 묶어 설명하는 측정 시스템 AlphaDiana를 해설합니다.
블로그
AI 기술, 연구, 제품, 그리고 그 곁에서 일하는 사람들의 이야기
기술과 제품을 설계하고 검증하는 과정, 주목할 논문과 AI 동향에 대한 해설, Patty의 새로운 시도와 일하는 문화까지 깊이 있게 전합니다.
최신 글
페이지 2
만점이 된 벤치마크 이후에도 모델 실력을 가늠할 수 있을까
포화된 벤치마크의 풀이 기록에서 남은 신호를 읽어내는 Transcript 분석 방법과 pairwise judging의 효과를 해설합니다.
세상은 기다려주지 않는다, 흐르는 시간 속에서 에이전트를 평가하고 가르치는 법
멈춘 시험에서는 강했던 에이전트가 왜 흐르는 시간에서는 무너지는지, RealtimeBench와 TORSI가 보여준 추론 지연의 대가와 느린 복기를 빠른 실행으로 옮기는 가르침을 따라갑니다.
끼어들 타이밍을 배우는 가드레일, StepSafe가 묻는 것
궤적이 끝난 뒤 점수를 매기는 대신 매 스텝에서 계속할지 물을지 멈출지를 고르는 가드레일 StepSafe를 단계 정렬 학습과 개입 창, 자기 증류, 다섯 개 벤치마크 결과 중심으로 읽는다.
말로 풀리지 않는 부등식을 증명하는 법
말로 설득하는 추론과 정확히 계산하는 기호 엔진을 함께 쓰는 IneqAgent를 해설합니다. 보조정리 단위 탐색이 목표를 나누고 도구를 고르는 과정, 세 가지 증명 엔진의 분업, Lean 검증으로 이어지는 흐름과 186문제 중 175문제라는 결과를 따라갑니다.
매번 개입하지 않고도 거의 같은 결과에 도달하는 법
모든 디노이징 스텝에 SMC 가이던스를 거는 대신 예산 안에서 고른 타이밍에만 개입하는 VISTA의 발상과 그 대가를 해설합니다.
도구 선택은 이름이 아니라 스키마가 바꾼다
367,174개 MCP 도구 분석과 요인별 통제 실험으로 이름, 설명, 스키마 중 무엇이 LLM의 도구 선택을 움직이는지 풀어낸 연구 해설
ConicFlow, 흐름을 다스리는 법
Flow matching 모델에서 추론 시점에 제약과 보상을 함께 다루기 위해 샘플링을 최적 제어 문제로 다시 쓴 ConicFlow를 해설합니다.
같은 프롬프트에서 다른 그림을 꺼내는 법
같은 프롬프트로도 서로 다른 이미지를 뽑아내는 pullback 방향 기반의 training-free 다양한 샘플링 방법을 해설합니다.