KV 캐시 아키텍처
KV 캐시는 메모리 최적화 항목이 아니라 라우팅, 격리, 재사용과 장애 복구를 좌우하는 서비스 상태입니다.
블록 수명주기, 접두어 재사용, 계층형 저장, 퇴거와 테넌트 경계를 워크로드에 맞춰 설계합니다.
§ 01
KV 캐시 아키텍처이 필요한 운영 조건
긴 문맥과 동시성이 커지면 캐시 단편화와 퇴거가 처리량보다 먼저 병목이 됩니다.
재사용률을 높이려는 라우팅이 테넌트 격리와 꼬리 지연을 악화시킬 수 있습니다.
- 공통 시스템 프롬프트나 긴 접두어가 반복될 때
- 긴 문맥 동시성에서 메모리 압력과 재계산 비용이 클 때
- 짧고 비반복적인 요청이 대부분일 때
- 캐시 키와 테넌트 격리 정책을 정의할 수 없을 때
KV 캐시 아키텍처 시스템 플레이트
- 01
상태 1
요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다.
- 02
상태 2
블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다.
- 03
상태 3
GPU·호스트·원격 계층 이동의 대역폭과 재계산 손익분기점을 측정합니다.
- 04
상태 4
캐시 오염과 교차 테넌트 누출을 포함한 실패 주입으로 격리를 검증합니다.
FEEDBACK수용 기준을 통과하지 못한 증거는 첫 통제 단계로 돌아갑니다: 접두어 적중률과 재계산 절감.
- 작업은 요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다.에서 시작합니다.
- 접두어 적중률과 재계산 절감을 통해 수용 여부를 결정합니다.
§ 03
구현보다 먼저 경계와 수용 기준을 고정합니다.
KV 캐시는 메모리 최적화 항목이 아니라 라우팅, 격리, 재사용과 장애 복구를 좌우하는 서비스 상태입니다.
- 01
1단계
요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다.
검토 산출물 1 - 02
2단계
블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다.
검토 산출물 2 - 03
3단계
GPU·호스트·원격 계층 이동의 대역폭과 재계산 손익분기점을 측정합니다.
검토 산출물 3 - 04
4단계
캐시 오염과 교차 테넌트 누출을 포함한 실패 주입으로 격리를 검증합니다.
검토 산출물 4
§ 04
가상의 업무 조건으로 적용 범위를 확인합니다.
공통 시스템 프롬프트나 긴 접두어가 반복될 때
긴 문맥과 동시성이 커지면 캐시 단편화와 퇴거가 처리량보다 먼저 병목이 됩니다.
- APPROACH
- 요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다.
- BOUNDARY
- 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다.
긴 문맥 동시성에서 메모리 압력과 재계산 비용이 클 때
재사용률을 높이려는 라우팅이 테넌트 격리와 꼬리 지연을 악화시킬 수 있습니다.
- APPROACH
- 블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다.
- BOUNDARY
- 민감한 접두어는 재사용 이득보다 격리를 우선합니다.
§ 05
이득과 비용을 같은 표에서 검토합니다.
| Decision | Gain | Cost | Watch |
|---|---|---|---|
| 공통 시스템 프롬프트나 긴 접두어가 반복될 때 | 요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다. | 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다. | 접두어 적중률과 재계산 절감 |
| 긴 문맥 동시성에서 메모리 압력과 재계산 비용이 클 때 | 블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다. | 민감한 접두어는 재사용 이득보다 격리를 우선합니다. | 캐시 점유·퇴거·단편화 |
KV 캐시 아키텍처 시스템 플레이트
- 긴 문맥과 동시성이 커지면 캐시 단편화와 퇴거가 처리량보다 먼저 병목이 됩니다.
- 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다.
- 블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다.
- 접두어 적중률과 재계산 절감
- 꼬리 지연과 격리
- 민감한 접두어는 재사용 이득보다 격리를 우선합니다.
- 작업은 요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다.에서 시작합니다.
- 접두어 적중률과 재계산 절감을 통해 수용 여부를 결정합니다.
§ 07
성과 수치보다 먼저 측정 조건을 합의합니다.
| Measure | Method | Pass condition | Caveat |
|---|---|---|---|
| 접두어 적중률과 재계산 절감 | 요청별 캐시 점유, 접두어 중복과 수명 분포를 추적합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다. |
| 캐시 점유·퇴거·단편화 | 블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
| 꼬리 지연과 격리 | GPU·호스트·원격 계층 이동의 대역폭과 재계산 손익분기점을 측정합니다. | 도입 검토에서 합의한 기준을 반복 측정으로 충족 | — |
§ 08
적용하지 말아야 할 조건도 설계의 일부입니다.
짧고 비반복적인 요청이 대부분일 때
적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다.
캐시 키와 테넌트 격리 정책을 정의할 수 없을 때
민감한 접두어는 재사용 이득보다 격리를 우선합니다.
§ 09
진단, 설계, 검증의 세 게이트로 진행합니다.
- 01
진단
Patty현행 구조와 실패 신호를 기술적으로 분석합니다.
Client대표 업무, 데이터 경계, 운영 제약을 제공합니다.
접두어 적중률과 재계산 절감 - 02
설계
Patty블록 할당·참조·복제·퇴거·복구 상태를 명시적 수명주기로 설계합니다.
Client소유자와 수용 기준을 확정합니다.
캐시 점유·퇴거·단편화 - 03
검증
PattyGPU·호스트·원격 계층 이동의 대역폭과 재계산 손익분기점을 측정합니다.
Client운영 전환 또는 중단 결정을 내립니다.
꼬리 지연과 격리
§ 10
프로젝트가 끝나도 운영 조직에 남아야 합니다.
- KV 캐시 아키텍처 의사결정 기록
- KV 캐시는 메모리 최적화 항목이 아니라 라우팅, 격리, 재사용과 장애 복구를 좌우하는 서비스 상태입니다.고객 소유 · Patty 검토
- 검증 하네스와 수용 기준
- 접두어 적중률과 재계산 절감 · 캐시 점유·퇴거·단편화 · 꼬리 지연과 격리공동 관리
- 운영·복구 런북
- 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다. · 민감한 접두어는 재사용 이득보다 격리를 우선합니다.운영 조직 소유
§ 11
같은 단어를 같은 운영 의미로 사용합니다.
- KV 캐시 아키텍처
- 블록 수명주기, 접두어 재사용, 계층형 저장, 퇴거와 테넌트 경계를 워크로드에 맞춰 설계합니다.
- 수용 기준
- 접두어 적중률과 재계산 절감
- 운영 경계
- 적중률 개선이 항상 종단 지연 개선을 의미하지 않습니다.
REFERENCES
참고 문헌과 1차 자료
- PagedAttention
방법과 용어를 확인하기 위한 1차 자료입니다.
- vLLM Automatic Prefix Caching
방법과 용어를 확인하기 위한 1차 자료입니다.
KV 캐시 아키텍처이 필요한 조건부터 함께 검토하겠습니다.
대표 업무, 데이터와 인프라 경계, 실패 조건을 기준으로 적용 범위와 검증 계획을 구체화합니다.