벤치마크 설계 & 구축

기술 개요

도메인 벤치마크를 직접 설계하고 구축하는 역량. 문항 설계, 정답 추측 방지, 채점기 검증, ablation 방법론을 포함합니다.

도입 배경

벤치마크가 없으면 개선이 있었는지 아무도 증명할 수 없습니다. 더 나쁜 것은, 잘못 설계된 벤치마크가 "개선한 것처럼 보이게" 만드는 것입니다. 공개 벤치마크는 이미 오염되어 있고, 조직의 실제 작업 분포를 대표하지도 않습니다.

구현 및 검증

1,800문항 이상 규모의 벤치마크 구축 경험을 바탕으로, 문항 단위 설계 규율을 적용합니다. 정답이 문맥 추측만으로 맞히지 못하는 anti-guess 구조가 기본값입니다.

채점기(grader)는 seed 입력에서 실패하고 reference 입력에서 성공해야 한다는 fail-on-seed/pass-on-reference 규율로 검증합니다.

ablation 방법론으로 파이프라인 각 단계의 기여도를 분리 측정합니다. "전체가 좋아졌다"가 아니라 "어느 단계가 얼마나"를 말합니다.