BroadRouter
시작하기

KV 캐시(KV cache)

업데이트

KV 캐시(KV cache)는 트랜스포머 언어 모델이 이미 처리한 모든 토큰에 대해 계산한 어텐션 키와 값을 저장하는 메모리입니다. 새 토큰은 전체 시퀀스를 다시 계산하지 않고 이를 재사용합니다. 컨텍스트 길이에 따라 커지며, GPU 하나가 처리할 수 있는 요청 수를 제한하는 경우가 많습니다.

다른 이름: 키-값 캐시, 키 밸류 캐시, KV캐시, 어텐션 캐시, KV 메모리, key-value cache, KV cache, past_key_values, attention cache, KV memory

모델은 토큰을 하나 쓸 때마다 앞의 모든 토큰을 돌아봅니다. 이 돌아보기를 가볍게 만들어 주는 것이 KV 캐시입니다.

작동 방식

어텐션은 현재 토큰의 쿼리를 앞선 각 토큰의 키, 값과 비교합니다. 캐시가 없으면 모델은 단계마다 앞선 모든 키와 값을 다시 계산해야 합니다. Hugging Face의 캐싱 가이드는 이 교환 관계를 이렇게 요약합니다. 캐시를 쓰면 “attention cost per step is linear with sequence length”(번역: 단계당 어텐션 비용이 시퀀스 길이에 선형으로 비례합니다)이고, 메모리는 “grows linearly”(번역: 선형으로 늘어납니다).

그래서 추론은 두 단계로 나뉩니다.

  1. 프리필(prefill). 모델이 프롬프트 전체를 읽고 캐시를 채웁니다. 첫 토큰까지의 시간의 대부분이 여기서 나옵니다.
  2. 디코드(decode). 새 토큰마다 레이어당 키 하나와 값 하나를 추가한 뒤 캐시 전체를 읽습니다.

토큰당 캐시 크기는 대략 2 × layers × KV heads × head size × bytes per number입니다. 모델 설계자들은 이 모든 항을 줄이려 합니다. DeepSeek V4.1 Flash의 모델 카드는 FP4 저장 방식으로 전역 KV 캐시가 토큰당 890바이트라고 보고합니다. 최대 1,048,576토큰 컨텍스트에서는 890 × 1,048,576 = 933,232,640바이트, 요청 하나에 약 890MiB입니다.

왜 중요한가

  • 동시 처리와 가격. PagedAttention 논문은 KV 캐시 메모리가 “is huge and grows and shrinks dynamically”(번역: 거대하며 동적으로 늘었다 줄었다 합니다)이기 때문에 여러 요청을 동시에 서빙하는 데 한계가 있다고 말합니다. vLLM은 이 메모리를 운영체제처럼 페이지 단위로 관리하며, 같은 지연 시간에서 2~4배 높은 처리량을 보고합니다.
  • 긴 컨텍스트는 공짜가 아닙니다. 제공업체는 생성하는 동안 프롬프트 전체의 캐시를 유지해야 합니다. 긴 컨텍스트 요청이 시작까지 더 오래 걸리는 이유 중 하나입니다.
  • 프롬프트 캐싱은 이 위에 만들어집니다. 요청이 끝난 뒤에도 접두부의 KV 상태를 보관하는 것이 제공업체가 캐시된 입력 토큰으로 청구하는 대상입니다. 접두부가 안정적일수록 캐시 적중이 잦아집니다. 캐싱을 위한 프롬프트 구조를 참고하세요.
  • 양자화도 여기에 적용됩니다. 키와 값을 더 적은 비트로 저장하면 캐시가 작아지지만, 품질에 어느 정도 위험이 따릅니다.

BroadNet Inference에서는

BroadNet은 KV 캐시 메모리를 어떻게 관리하는지 공개하지 않습니다. API 레퍼런스가 문서화하는 것은 눈에 보이는 효과입니다. usage.prompt_tokens_details.cached_tokens는 캐시에서 읽은 프롬프트 토큰 수를 알려 주며, 이 토큰은 캐시된 입력 가격으로 청구됩니다. 예를 들어 DeepSeek V4.1 Flash에서는 100만 토큰당 $0.0055 요금이고, 새 입력은 $0.175 요금입니다. 이 모델과 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다.

흔한 실수

  • 컨텍스트 길이를 가격 문제로만 보는 것. 캐시가 커지면 프리필도 느려집니다.
  • 턴마다 시스템 프롬프트 순서를 바꾸는 것. 캐시된 접두부가 더는 일치하지 않아 제공업체가 다시 계산합니다.

자주 묻는 질문

KV 캐시와 프롬프트 캐싱은 같은 건가요?

완전히 같지는 않습니다. KV 캐시는 모델이 생성하는 동안 요청 하나 안에서만 존재합니다. 프롬프트 캐싱은 요청이 끝난 뒤에도 그 상태를 보관해, 같은 접두부를 가진 이후 요청이 재사용하게 하며, 제공업체는 그 토큰을 캐시된 입력으로 청구합니다.

긴 프롬프트는 왜 GPU 메모리를 그렇게 많이 쓰나요?

컨텍스트의 모든 토큰이 모든 레이어에서 캐시에 키와 값을 추가하기 때문입니다. 100만 토큰짜리 프롬프트는 응답이 끝날 때까지 100만 토큰 분량의 어텐션 상태를 메모리에 유지합니다.

KV 캐시는 얼마나 큰가요?

컨텍스트의 토큰마다 대략 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 숫자당 바이트입니다. DeepSeek의 모델 카드는 DeepSeek V4.1 Flash가 토큰당 890바이트라고 보고하며, 최대 1,048,576토큰 컨텍스트에서는 약 890MiB입니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기