모델 평가 & 레드팀

기술 개요

평가 하네스, 자동 채점기, 적대적 테스트, CI 회귀 게이트로 구성된 지속 평가 체계.

도입 배경

모델은 바꾸면 어딘가 반드시 망가집니다. 출시 전 손평가에 의존하면 회귀는 늦게, 고객 화면에서 발견됩니다. 평가가 CI에 있어야 변경이 안전해집니다.

구현 및 검증

자동 채점기 + 표본 사람 검증의 이중 구조로 대량 평가의 신뢰도를 유지합니다.

적대적 프롬프트 세트를 주기적으로 확충하고, 프롬프트 인젝션·탈옥 시도를 정규 회귀 항목으로 다룹니다.

회귀 게이트를 CI에 두어, 임계치 미달 변경은 배포되지 않습니다.