VETNET: 수의학 AI를 위한 벤치마크 데이터 생태계를 짓는 일
단발성 데이터셋이 아니라 살아 있는 평가 생태계로 수의학 AI를 바꾸려는 VETNET 제안을 해설합니다. 사람 의료와 벌어진 간격, 표준화와 협력과 다양성 문제를 따라갑니다.
연구 & 논문
논문에서 실무 판단까지
주요 논문의 질문과 방법, 결과와 한계를 읽고 기업 AI를 만드는 사람에게 무엇이 달라지는지 해설합니다.
글 목록
페이지 3
오래 일하는 에이전트를 재는 법, 터미널에서 세 시간 버티기
46개 과제를 고치고 31개를 더해 77개로 넓힌 LHTB 2.0이 재구성 파이프라인과 단계별 보상, 세 시간 평가로 에이전트의 지속력을 어떻게 측정하는지 해설합니다.
틀린 예측을 고치면서 그리는 법
학습과 생성 사이의 어긋남을 매 스텝에서 바로잡는 Correction Training을 해설합니다.
선생 없이 스스로 나아지는 에이전트, ClawLoop가 던진 질문
외부 선생 모델 없이 하네스 안에서 문제를 만들고 배우고 진단하는 ClawLoop의 자기 개선 루프를 따라가며 Task Synthesis와 진단 기반 커리큘럼의 의미를 읽어봅니다.
조용히 어긋나는 에이전트 데이터 사이언스
돌아가는 코드 뒤에 숨은 여섯 가지 방법론 실수와 220개 과제로 드러난 평가의 빈틈을 읽습니다.
MontageFlow: 물리적으로 틀리지 않는 EEG 생성을 향한 한 걸음
몽타주 항등식을 구조로 강제해 물리적 타당성과 통계적 충실도를 함께 끌어올린 생성 모델 MontageFlow를 해설합니다.
인공물의 첫 시험, 초지능을 재는 LLM 참조 C-test
사람도 최신 모델도 기준이 될 수 없을 때 시험의 난이도를 어디에 고정할지에 대한 논문을 풀어쓴 해설입니다. 역문제와 Levin의 Kt, LLM을 참조 기계로 쓰는 발상을 따라가며 초지능 구간을 인증하는 시험 파이프라인을 살펴봅니다.
점수만 보고 고르면 비싸집니다
86개 오픈 가중치 체크포인트를 일곱 개 벤치마크와 여섯 종 하드웨어에서 재고 실측 에너지와 점수를 함께 읽는 법을 정리했습니다.
ScarfBench로 보는 엔터프라이즈 자바 마이그레이션과 AI 에이전트 평가
IBM Research가 소개한 ScarfBench를 출발점으로 삼아 엔터프라이즈 자바 프레임워크 마이그레이션이 왜 AI 에이전트에게 어려운 시험대인지, 평가는 무엇을 봐야 하는지 차근차근 짚어봅니다.
같은 벤치마크를 다시 돌리면 같은 점수가 나올까요
영국 AI 안전 연구소의 배포 전 평가와 EvalEval의 고정 설정, 완전한 로그, 다중 시드 보고가 벤치마크 점수를 다시 믿을 수 있게 만드는 과정을 따라가 봅니다.
묻는 것도 실력이다, CLEAT가 가르쳐준 질문의 가치
언제 질문하고 언제 진행할지를 학습으로 알아내는 에이전트 정렬 방법 CLEAT를 구조와 실험으로 풀어봅니다.
통과만 보지 않고 과정을 읽는 법
테스트 통과라는 이분법 보상을 넘어 디버깅 과정 자체를 비교해 배우는 Behavioral Self-Rewarding 접근을 읽고, 왜 같은 결과에서도 배울 거리가 남는지 정리했습니다.