멀티모달 추론

기술 개요

텍스트를 넘어 이미지·음성 등 미디어를 다루는 추론 인프라. E/P/D(Encode/Prefill/Decode) 분리 토폴로지와 미디어 인지 라우팅을 포함합니다.

도입 배경

멀티모달 워크로드는 인코딩 단계의 자원 프로파일이 텍스트와 완전히 다릅니다. 텍스트용 풀에 섞어두면 상호 간섭으로 전체 처리량이 무너집니다.

구현 및 검증

E/P/D disaggregation 토폴로지로 인코더 워크로드를 독립 풀에서 실행합니다.

미디어 크기·타입을 라우팅 신호로 사용해, 무거운 인코딩 요청이 decode 슬롯을 굶기지 않게 합니다.