LLM 게이트웨이 & 정책 엔진
서버 사이드 모델 권한, 요청 단위 정책 결정.
모델 접근 권한은 서버에서 관리됩니다. 사용자는 자격(entitlement)에 따라 필터링된 모델 카탈로그만 보고, 요청마다 인프라 접촉 전에 정책 결정이 선행합니다.
핫 패스(hot path)와 정책 경로가 분리되어 있어, 정책 엔진 장애가 서비스 가용성으로 이어지지 않게 fail-safe 설계를 적용합니다.
서버 사이드 모델 권한, 요청 단위 정책 결정.
모델 접근 권한은 서버에서 관리됩니다. 사용자는 자격(entitlement)에 따라 필터링된 모델 카탈로그만 보고, 요청마다 인프라 접촉 전에 정책 결정이 선행합니다.
핫 패스(hot path)와 정책 경로가 분리되어 있어, 정책 엔진 장애가 서비스 가용성으로 이어지지 않게 fail-safe 설계를 적용합니다.