긴 작업을 끝까지 본다는 것, AgentHorizon이 agentic judge에게 던진 질문
300개 화면에 걸친 컴퓨터 작업을 심판할 수 있을까. 1,373개 과제와 짝지은 함정으로 judge의 눈을 시험한 AgentHorizon을 읽습니다.
노시욱 (Patrick Rho)
작성한 글
페이지 6
고백하게 만드는 증류와 능력만 가져오는 증류
정렬 평가를 속일 수 있는 강한 모델을 직접 감사하는 대신, 약한 제자로 증류해 치우침을 드러내거나 능력만 안전하게 옮기는 두 갈래 증류 전략을 해설합니다.
서사로 감싸면 거부가 무너진다: 다언어 벤치마크와 방어를 읽다
직접적인 요청은 거절하던 모델이 서사로 감싸면 답을 내놓는 현상을 영어와 중국어와 고문체로 측정하고 표상 수준에서 방어까지 연결한 연구를 해설합니다
탐색을 외우는 법, 계획을 덜 저장하는 법
휴리스틱이 거의 완벽해도 상태가 기하급수적으로 쌓이는 문제를 도메인 단위 탐색 제어로 풀려는 시도와 indexical policy, 구조적 종료, 다항식 공간 탐색 절차를 따라가 봅니다.
가게를 맡기면 AI는 버틸 수 있을까, StoreBench가 묻는 운영의 문제
중규모 의류 쇼핑몰을 한 달 넘게 직접 운영하게 만드는 라이브 벤치마크 StoreBench를 해설합니다. 29개 운영 도구와 시뮬레이션 시간, 사람과 모델의 점수 차이, 그리고 짧은 훈련으로 달라진 일반화 결과를 따라갑니다.
분위기를 읽는다는 것의 조건과 한계
상호작용만으로 공동체의 규범을 가려내는 능력을 묻는 Reading the Room 연구를 풀어쓴 해설로, 합성 규범 토론장 설계와 베이스라인 실패, 스타일 민감성과 무차별 모방 문제를 따라갑니다.
시간을 지키는 AI 에이전트는 어떻게 만들까
프롬프트에 적힌 시간 예산이 왜 지켜지지 않는지, 하네스의 시계와 데드라인 강제, 강화학습이 punctuality와 productivity를 어떻게 가르는지 읽어봅니다.
누구의 정답인가: 인간 중심 AI에서 모호함을 끌어안는 법
정답 하나로 합치는 관행을 되짚고, 사람의 해석 다양성을 분포로 다루는 설계와 평가, 운영의 변화를 따라갑니다.
계획이 어긋날 때 통째로 버리지 않는 법
확산 언어 모델로 에이전트 계획을 세우고 어긋난 부분만 골라 고치는 Plan-and-Patch를 구조와 수리 방식, 53.7%와 27.0%의 차이, 훈련 뒤 39-46% 속도 변화 중심으로 읽는다.
바뀌는 것은 모델이 아니라 하네스여야 한다
신용 심사 파이프라인에서 LLM 에이전트의 자기 진화를 하네스로 묶고, 하나의 승인 게이트와 해시 연결 기록으로 통제하는 설계를 읽는다.
일하는 에이전트는 왜 잊는 법부터 배워야 할까
도구 관찰 기록을 통째로 들고 다니는 에이전트의 맥락을, 되돌릴 수 있게 정리하는 reversible context curation 방법을 해설합니다. OpenTelemetry 궤적에서의 토큰 절감과 비용 변화, 그리고 일이 길어질수록 달라지는 조건을 함께 봅니다.
아직 없는 설명까지 찾아 나서는 과학
증거가 쌓이는 동안 가설을 바꾸고 배경지식까지 되돌리며, 언제 멈춰도 타당성을 지키는 개방형 발견 프레임과 가능성 프론티어 탐색 해설