ScarfBench로 보는 엔터프라이즈 자바 마이그레이션과 AI 에이전트 평가
IBM Research가 소개한 ScarfBench를 출발점으로 삼아 엔터프라이즈 자바 프레임워크 마이그레이션이 왜 AI 에이전트에게 어려운 시험대인지, 평가는 무엇을 봐야 하는지 차근차근 짚어봅니다.
블로그
AI 기술, 연구, 제품, 그리고 그 곁에서 일하는 사람들의 이야기
기술과 제품을 설계하고 검증하는 과정, 주목할 논문과 AI 동향에 대한 해설, Patty의 새로운 시도와 일하는 문화까지 깊이 있게 전합니다.
최신 글
페이지 5
토크나이저 v1, 인코딩과 디코딩과 확장을 직접 재다
Hugging Face의 tokenizers v1 측정 글을 따라 인코딩과 디코딩의 비대칭, 왕복 정확도, 길이와 배치와 동시성에 따른 병목을 살펴봅니다.
Transformers에서 llama.cpp 양자화 모델을 바로 돌린다
GGUF 파일을 변환 없이 from_pretrained로 불러오는 통합이 로컬 추론의 풍경을 어떻게 바꾸는지 해설합니다
Holo4, 컴퓨터를 직접 쓰는 에이전트를 받치는 법
Hcompany의 Holo4 글을 따라가며 화면 이해와 좌표 지정, 계획과 실행, 긴 작업의 신뢰성, 학습과 평가, 권한 문제를 함께 읽습니다.
같은 벤치마크를 다시 돌리면 같은 점수가 나올까요
영국 AI 안전 연구소의 배포 전 평가와 EvalEval의 고정 설정, 완전한 로그, 다중 시드 보고가 벤치마크 점수를 다시 믿을 수 있게 만드는 과정을 따라가 봅니다.
환경까지 허브에 올리면 강화학습이 달라진다
Hugging Face 허브의 강화학습 환경 공유를 에이전트와 데이터셋, 재현성 구조 중심으로 읽고 한 줄 공유와 버전 고정이 바꾸는 연구 흐름을 따라간다.
묻는 것도 실력이다, CLEAT가 가르쳐준 질문의 가치
언제 질문하고 언제 진행할지를 학습으로 알아내는 에이전트 정렬 방법 CLEAT를 구조와 실험으로 풀어봅니다.
통과만 보지 않고 과정을 읽는 법
테스트 통과라는 이분법 보상을 넘어 디버깅 과정 자체를 비교해 배우는 Behavioral Self-Rewarding 접근을 읽고, 왜 같은 결과에서도 배울 거리가 남는지 정리했습니다.
닻 없이 설명을 재는 일, 충실함 지표가 놓친 구조
설명이 모델을 얼마나 닮았는지를 재는 충실함 지표가 왜 흔들리는지, 특성 중요도의 단순화와 10년의 신뢰 연구, 디버깅 도구로서의 현실을 따라 읽는다.