---
title: "KV キャッシュとは？LLM が注意の計算を再利用する仕組み | BroadRouter"
description: "KV キャッシュは、LLM が読み終えたトークンの attention のキーと値を保存し、新しいトークンの計算を安くします。仕組みと、長いコンテキストを制約する理由を解説します。"
url: https://broadrouter.com/ja/glossary/kv-cache/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/kv-cache/) (2026-11-14 更新).

# KV キャッシュ（KV cache）

更新日 2026-11-14

KV キャッシュとは、Transformer 言語モデルが処理済みの各トークンの attention のキーと値を保存するメモリです。新しいトークンはそれを再利用し、系列全体を再計算せずに済みます。コンテキスト長とともに大きくなり、GPU が同時に処理できるリクエスト数を制約しがちです。

別名： KV キャッシュ、KV Cache、キー・バリューキャッシュ、アテンションキャッシュ、KV メモリ、past\_key\_values、KV cache、key-value cache、attention cache、KV memory

モデルはトークンを 1 つ書くたびに、それより前のすべてのトークンを振り返ります。その振り返りを安くするのが KV キャッシュです。

## 仕組み

attention は、現在のトークンのクエリを、それ以前の各トークンのキーと値と比較します。キャッシュがなければ、モデルはステップごとに以前のキーと値をすべて計算し直すことになります。Hugging Face のキャッシュのガイドは、このトレードオフを次のようにまとめています。キャッシュがあれば “attention cost per step is linear with sequence length”（訳：ステップあたりの attention のコストは系列長に線形）で、メモリは “grows linearly”（訳：線形に増える）。

そのため、推論は 2 つのフェーズに分かれます。

1.  **プレフィル（prefill）。** モデルがプロンプト全体を読み込み、キャッシュを埋めます。これが[最初のトークンまでの時間](https://broadrouter.com/ja/glossary/time-to-first-token/)の大部分を占めます。
2.  **デコード（decode）。** 新しいトークンごとに、層ごとにキーと値を 1 つずつ追加し、キャッシュ全体を読みます。

トークンあたりのキャッシュサイズは、おおよそ `2 × layers × KV heads × head size × bytes per number` です。モデルの設計者は、このすべての項を小さくしようとしています。DeepSeek V4.1 Flash のモデルカードは、FP4 で保存した場合のグローバル KV キャッシュを 1 トークンあたり 890 バイトとしています。最大の 1,048,576 トークンのコンテキストでは 890 × 1,048,576 = 933,232,640 バイト、1 リクエストで約 890 MiB です。

## なぜ重要か

-   **同時実行数と料金。** PagedAttention の論文は、多数のリクエストを同時に処理することが制約されるのは、KV キャッシュのメモリが “is huge and grows and shrinks dynamically”（訳：巨大で、動的に増減する）ためだとしています。vLLM はこのメモリを OS のようにページ管理し、同じレイテンシで 2 ～ 4 倍の[スループット](https://broadrouter.com/ja/glossary/throughput/)を報告しています。
-   **長いコンテキストはタダではない。** プロバイダーは生成中、プロンプト全体のキャッシュを保持しなければなりません。長いコンテキストのリクエストで応答の開始が遅くなる理由の 1 つです。
-   **プロンプトキャッシュはこれを土台にしている。** リクエスト終了後もプレフィックスの KV の状態を保持したものが、プロバイダーが[キャッシュ入力トークン](https://broadrouter.com/ja/glossary/cached-input-tokens/)として課金する部分です。プレフィックスが安定しているほどキャッシュに当たりやすくなります。[キャッシュのためのプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)を参照してください。
-   **[量子化](https://broadrouter.com/ja/glossary/quantization/)もここに使える。** キーと値を少ないビット数で保存すればキャッシュは小さくなりますが、品質にいくらかリスクがあります。

## BroadNet Inference の場合

BroadNet は KV キャッシュのメモリをどう管理しているかを公開していません。API リファレンスに記載されているのは、目に見える効果のほうです。`usage.prompt_tokens_details.cached_tokens` はキャッシュから読まれたプロンプトトークンを示し、キャッシュ入力の単価で課金されます。たとえば [DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) では、新規入力の $0.175 に対して 100 万トークンあたり $0.0055 です。このモデルと GLM 5.3 は、1 リクエストあたり最大 1,048,576 トークンを受け付けます。

## よくある間違い

-   コンテキスト長を料金だけの問題と考える。キャッシュが大きければ、プレフィルも遅くなります。
-   ターンごとにシステムプロンプトの順序を入れ替える。キャッシュされたプレフィックスが一致しなくなり、プロバイダーは計算し直すことになります。

## よくある質問

### KV キャッシュとプロンプトキャッシュは同じものですか？

厳密には違います。KV キャッシュは、モデルが生成している間、1 つのリクエストの中に存在します。プロンプトキャッシュはその状態をリクエスト終了後も保持し、同じプレフィックスを持つ後のリクエストで再利用できるようにするもので、プロバイダーはそのトークンをキャッシュ入力として課金します。

### 長いプロンプトはなぜ GPU メモリをこれほど使うのですか？

コンテキスト内のすべてのトークンが、すべての層でキーと値をキャッシュに追加するからです。100 万トークンのプロンプトでは、返答が終わるまで 100 万トークン分の attention の状態をメモリに保持します。

### KV キャッシュの大きさはどれくらいですか？

コンテキスト内のトークン 1 つにつき、およそ 2 × 層数 × KV ヘッド数 × ヘッドの次元 × 数値 1 つのバイト数です。DeepSeek のモデルカードは DeepSeek V4.1 Flash について 1 トークンあたり 890 バイトとしており、最大の 1,048,576 トークンのコンテキストで約 890 MiB になります。

## 関連項目

-   [キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/) (用語)
-   [コンテキストウィンドウ（context window）](https://broadrouter.com/ja/glossary/context-window/) (用語)
-   [TTFT（最初のトークンまでの時間）](https://broadrouter.com/ja/glossary/time-to-first-token/) (用語)
-   [スループット（throughput）](https://broadrouter.com/ja/glossary/throughput/) (用語)
-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/) (用語)
-   [投機的デコーディング（speculative decoding）](https://broadrouter.com/ja/glossary/speculative-decoding/) (用語)
-   [プリフィルとデコード（prefill and decode）](https://broadrouter.com/ja/glossary/prefill-and-decode/) (用語)
-   [vLLM](https://broadrouter.com/ja/glossary/vllm/) (用語)
-   [chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/) (ガイド)
-   [100 万トークンのコンテキストウィンドウが役立つとき（役立たないとき）](https://broadrouter.com/ja/blog/million-token-context-window-guide/) (記事)
-   [プレフィックスがキャッシュされるプロンプトの組み立て方](https://broadrouter.com/ja/blog/prompt-structure-for-caching/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-kv-cache&utm_content=page-cta) ·

**出典**

-   [Kwon ほか、Efficient Memory Management for LLM Serving with PagedAttention（vLLM）、arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers、キャッシュの解説](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek、DeepSeek-V4.1-Flash のモデルカード（トークンあたりの KV キャッシュのバイト数）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
