---
title: "KV 캐시란? LLM이 어텐션 계산을 재사용하는 방법 | BroadRouter"
description: "KV 캐시는 LLM이 이미 읽은 토큰의 어텐션 키와 값을 저장해 새 토큰 계산을 가볍게 만듭니다. 작동 방식과 긴 컨텍스트를 제한하는 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/kv-cache/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/kv-cache/) (2026-11-14 업데이트).

# KV 캐시(KV cache)

업데이트 2026-11-14

KV 캐시(KV cache)는 트랜스포머 언어 모델이 이미 처리한 모든 토큰에 대해 계산한 어텐션 키와 값을 저장하는 메모리입니다. 새 토큰은 전체 시퀀스를 다시 계산하지 않고 이를 재사용합니다. 컨텍스트 길이에 따라 커지며, GPU 하나가 처리할 수 있는 요청 수를 제한하는 경우가 많습니다.

다른 이름: 키-값 캐시, 키 밸류 캐시, KV캐시, 어텐션 캐시, KV 메모리, key-value cache, KV cache, past\_key\_values, attention cache, KV memory

모델은 토큰을 하나 쓸 때마다 앞의 모든 토큰을 돌아봅니다. 이 돌아보기를 가볍게 만들어 주는 것이 KV 캐시입니다.

## 작동 방식

어텐션은 현재 토큰의 쿼리를 앞선 각 토큰의 키, 값과 비교합니다. 캐시가 없으면 모델은 단계마다 앞선 모든 키와 값을 다시 계산해야 합니다. Hugging Face의 캐싱 가이드는 이 교환 관계를 이렇게 요약합니다. 캐시를 쓰면 “attention cost per step is linear with sequence length”(번역: 단계당 어텐션 비용이 시퀀스 길이에 선형으로 비례합니다)이고, 메모리는 “grows linearly”(번역: 선형으로 늘어납니다).

그래서 추론은 두 단계로 나뉩니다.

1.  **프리필(prefill).** 모델이 프롬프트 전체를 읽고 캐시를 채웁니다. [첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)의 대부분이 여기서 나옵니다.
2.  **디코드(decode).** 새 토큰마다 레이어당 키 하나와 값 하나를 추가한 뒤 캐시 전체를 읽습니다.

토큰당 캐시 크기는 대략 `2 × layers × KV heads × head size × bytes per number`입니다. 모델 설계자들은 이 모든 항을 줄이려 합니다. DeepSeek V4.1 Flash의 모델 카드는 FP4 저장 방식으로 전역 KV 캐시가 토큰당 890바이트라고 보고합니다. 최대 1,048,576토큰 컨텍스트에서는 890 × 1,048,576 = 933,232,640바이트, 요청 하나에 약 890MiB입니다.

## 왜 중요한가

-   **동시 처리와 가격.** PagedAttention 논문은 KV 캐시 메모리가 “is huge and grows and shrinks dynamically”(번역: 거대하며 동적으로 늘었다 줄었다 합니다)이기 때문에 여러 요청을 동시에 서빙하는 데 한계가 있다고 말합니다. vLLM은 이 메모리를 운영체제처럼 페이지 단위로 관리하며, 같은 지연 시간에서 2~4배 높은 [처리량](https://broadrouter.com/ko/glossary/throughput/)을 보고합니다.
-   **긴 컨텍스트는 공짜가 아닙니다.** 제공업체는 생성하는 동안 프롬프트 전체의 캐시를 유지해야 합니다. 긴 컨텍스트 요청이 시작까지 더 오래 걸리는 이유 중 하나입니다.
-   **프롬프트 캐싱은 이 위에 만들어집니다.** 요청이 끝난 뒤에도 접두부의 KV 상태를 보관하는 것이 제공업체가 [캐시된 입력 토큰](https://broadrouter.com/ko/glossary/cached-input-tokens/)으로 청구하는 대상입니다. 접두부가 안정적일수록 캐시 적중이 잦아집니다. [캐싱을 위한 프롬프트 구조](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)를 참고하세요.
-   **[양자화](https://broadrouter.com/ko/glossary/quantization/)도 여기에 적용됩니다.** 키와 값을 더 적은 비트로 저장하면 캐시가 작아지지만, 품질에 어느 정도 위험이 따릅니다.

## BroadNet Inference에서는

BroadNet은 KV 캐시 메모리를 어떻게 관리하는지 공개하지 않습니다. API 레퍼런스가 문서화하는 것은 눈에 보이는 효과입니다. `usage.prompt_tokens_details.cached_tokens`는 캐시에서 읽은 프롬프트 토큰 수를 알려 주며, 이 토큰은 캐시된 입력 가격으로 청구됩니다. 예를 들어 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)에서는 100만 토큰당 $0.0055 요금이고, 새 입력은 $0.175 요금입니다. 이 모델과 GLM 5.3은 요청당 최대 1,048,576토큰을 받습니다.

## 흔한 실수

-   컨텍스트 길이를 가격 문제로만 보는 것. 캐시가 커지면 프리필도 느려집니다.
-   턴마다 시스템 프롬프트 순서를 바꾸는 것. 캐시된 접두부가 더는 일치하지 않아 제공업체가 다시 계산합니다.

## 자주 묻는 질문

### KV 캐시와 프롬프트 캐싱은 같은 건가요?

완전히 같지는 않습니다. KV 캐시는 모델이 생성하는 동안 요청 하나 안에서만 존재합니다. 프롬프트 캐싱은 요청이 끝난 뒤에도 그 상태를 보관해, 같은 접두부를 가진 이후 요청이 재사용하게 하며, 제공업체는 그 토큰을 캐시된 입력으로 청구합니다.

### 긴 프롬프트는 왜 GPU 메모리를 그렇게 많이 쓰나요?

컨텍스트의 모든 토큰이 모든 레이어에서 캐시에 키와 값을 추가하기 때문입니다. 100만 토큰짜리 프롬프트는 응답이 끝날 때까지 100만 토큰 분량의 어텐션 상태를 메모리에 유지합니다.

### KV 캐시는 얼마나 큰가요?

컨텍스트의 토큰마다 대략 2 × 레이어 수 × KV 헤드 수 × 헤드 크기 × 숫자당 바이트입니다. DeepSeek의 모델 카드는 DeepSeek V4.1 Flash가 토큰당 890바이트라고 보고하며, 최대 1,048,576토큰 컨텍스트에서는 약 890MiB입니다.

## 함께 보기

-   [캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/) (용어)
-   [컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/) (용어)
-   [첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/) (용어)
-   [처리량(throughput)](https://broadrouter.com/ko/glossary/throughput/) (용어)
-   [양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/) (용어)
-   [추측 디코딩(speculative decoding)](https://broadrouter.com/ko/glossary/speculative-decoding/) (용어)
-   [프리필과 디코드(prefill and decode)](https://broadrouter.com/ko/glossary/prefill-and-decode/) (용어)
-   [vLLM](https://broadrouter.com/ko/glossary/vllm/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가](https://broadrouter.com/ko/blog/million-token-context-window-guide/) (글)
-   [접두부가 캐시되도록 프롬프트를 구성하는 방법](https://broadrouter.com/ko/blog/prompt-structure-for-caching/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-kv-cache&utm_content=page-cta) ·

**출처**

-   [Kwon 외, Efficient Memory Management for LLM Serving with PagedAttention(vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, 캐싱 설명](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, DeepSeek-V4.1-Flash 모델 카드(토큰당 KV 캐시 바이트)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
