모델은 토큰을 하나 쓸 때마다 앞의 모든 토큰을 돌아봅니다. 이 돌아보기를 가볍게 만들어 주는 것이 KV 캐시입니다.
작동 방식
어텐션은 현재 토큰의 쿼리를 앞선 각 토큰의 키, 값과 비교합니다. 캐시가 없으면 모델은 단계마다 앞선 모든 키와 값을 다시 계산해야 합니다. Hugging Face의 캐싱 가이드는 이 교환 관계를 이렇게 요약합니다. 캐시를 쓰면 “attention cost per step is linear with sequence length”(번역: 단계당 어텐션 비용이 시퀀스 길이에 선형으로 비례합니다)이고, 메모리는 “grows linearly”(번역: 선형으로 늘어납니다).
그래서 추론은 두 단계로 나뉩니다.
- 프리필(prefill). 모델이 프롬프트 전체를 읽고 캐시를 채웁니다. 첫 토큰까지의 시간의 대부분이 여기서 나옵니다.
- 디코드(decode). 새 토큰마다 레이어당 키 하나와 값 하나를 추가한 뒤 캐시 전체를 읽습니다.
토큰당 캐시 크기는 대략 2 × layers × KV heads × head size × bytes per number입니다. 모델 설계자들은 이 모든 항을 줄이려 합니다. DeepSeek V4.1 Flash의 모델 카드는 FP4 저장 방식으로 전역 KV 캐시가 토큰당 890바이트라고 보고합니다. 최대 1,048,576토큰 컨텍스트에서는 890 × 1,048,576 = 933,232,640바이트, 요청 하나에 약 890MiB입니다.
왜 중요한가
- 동시 처리와 가격. PagedAttention 논문은 KV 캐시 메모리가 “is huge and grows and shrinks dynamically”(번역: 거대하며 동적으로 늘었다 줄었다 합니다)이기 때문에 여러 요청을 동시에 서빙하는 데 한계가 있다고 말합니다. vLLM은 이 메모리를 운영체제처럼 페이지 단위로 관리하며, 같은 지연 시간에서 2~4배 높은 처리량을 보고합니다.
- 긴 컨텍스트는 공짜가 아닙니다. 제공업체는 생성하는 동안 프롬프트 전체의 캐시를 유지해야 합니다. 긴 컨텍스트 요청이 시작까지 더 오래 걸리는 이유 중 하나입니다.
- 프롬프트 캐싱은 이 위에 만들어집니다. 요청이 끝난 뒤에도 접두부의 KV 상태를 보관하는 것이 제공업체가 캐시된 입력 토큰으로 청구하는 대상입니다. 접두부가 안정적일수록 캐시 적중이 잦아집니다. 캐싱을 위한 프롬프트 구조를 참고하세요.
- 양자화도 여기에 적용됩니다. 키와 값을 더 적은 비트로 저장하면 캐시가 작아지지만, 품질에 어느 정도 위험이 따릅니다.
BroadNet Inference에서는
BroadNet은 KV 캐시 메모리를 어떻게 관리하는지 공개하지 않습니다. API 레퍼런스가 문서화하는 것은 눈에 보이는 효과입니다. usage.prompt_tokens_details.cached_tokens는 캐시에서 읽은 프롬프트 토큰 수를 알려 주며, 이 토큰은 캐시된 입력 가격으로 청구됩니다. 예를 들어 DeepSeek V4.1 Flash에서는 100만 토큰당 $0.0055 요금이고, 새 입력은 $0.175 요금입니다. 이 모델과 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다.
흔한 실수
- 컨텍스트 길이를 가격 문제로만 보는 것. 캐시가 커지면 프리필도 느려집니다.
- 턴마다 시스템 프롬프트 순서를 바꾸는 것. 캐시된 접두부가 더는 일치하지 않아 제공업체가 다시 계산합니다.