ScarfBench로 보는 엔터프라이즈 자바 마이그레이션과 AI 에이전트 평가
IBM Research가 소개한 ScarfBench를 출발점으로 삼아 엔터프라이즈 자바 프레임워크 마이그레이션이 왜 AI 에이전트에게 어려운 시험대인지, 평가는 무엇을 봐야 하는지 차근차근 짚어봅니다.
노시욱 (Patrick Rho)
작성한 글
페이지 4
토크나이저 v1, 인코딩과 디코딩과 확장을 직접 재다
Hugging Face의 tokenizers v1 측정 글을 따라 인코딩과 디코딩의 비대칭, 왕복 정확도, 길이와 배치와 동시성에 따른 병목을 살펴봅니다.
Transformers에서 llama.cpp 양자화 모델을 바로 돌린다
GGUF 파일을 변환 없이 from_pretrained로 불러오는 통합이 로컬 추론의 풍경을 어떻게 바꾸는지 해설합니다
Holo4, 컴퓨터를 직접 쓰는 에이전트를 받치는 법
Hcompany의 Holo4 글을 따라가며 화면 이해와 좌표 지정, 계획과 실행, 긴 작업의 신뢰성, 학습과 평가, 권한 문제를 함께 읽습니다.
같은 벤치마크를 다시 돌리면 같은 점수가 나올까요
영국 AI 안전 연구소의 배포 전 평가와 EvalEval의 고정 설정, 완전한 로그, 다중 시드 보고가 벤치마크 점수를 다시 믿을 수 있게 만드는 과정을 따라가 봅니다.
환경까지 허브에 올리면 강화학습이 달라진다
Hugging Face 허브의 강화학습 환경 공유를 에이전트와 데이터셋, 재현성 구조 중심으로 읽고 한 줄 공유와 버전 고정이 바꾸는 연구 흐름을 따라간다.
묻는 것도 실력이다, CLEAT가 가르쳐준 질문의 가치
언제 질문하고 언제 진행할지를 학습으로 알아내는 에이전트 정렬 방법 CLEAT를 구조와 실험으로 풀어봅니다.
통과만 보지 않고 과정을 읽는 법
테스트 통과라는 이분법 보상을 넘어 디버깅 과정 자체를 비교해 배우는 Behavioral Self-Rewarding 접근을 읽고, 왜 같은 결과에서도 배울 거리가 남는지 정리했습니다.
닻 없이 설명을 재는 일, 충실함 지표가 놓친 구조
설명이 모델을 얼마나 닮았는지를 재는 충실함 지표가 왜 흔들리는지, 특성 중요도의 단순화와 10년의 신뢰 연구, 디버깅 도구로서의 현실을 따라 읽는다.
SpireBench로 본 에이전트의 긴 호흡, 왜 끝까지 가면 무너질까
Slay the Spire를 처음부터 끝까지 플레이하게 만든 SpireBench를 통해 장기 전략, 위험 판단, 전투 실행력에서 에이전트 모델이 어디까지 왔고 어디서 무너지는지 살펴봅니다.
같은 예산으로 붙으면 무너지는 탐색의 환상
MCTS와 랜덤 재시작 리스트 스케줄링을 동일한 평가 횟수로 붙인 통제 실험을 해설합니다. 2048회 평가에서 2.88퍼센트 차이의 의미와 탐색 규칙의 함정을 풀어봅니다.
실행 가능한 제어 코드를 스스로 진화시키는 탐색
LLM이 직접 제어 코드를 제안하고 고치고 섞으면서 엘리트 테이블에 쌓아 올리는 EliteTable의 프로그램 탐색 방식을 해설합니다. 여섯 개 제어 과제에서 본 개선과 일반화의 갈림길을 함께 읽어봅니다.