BroadRouter
始める

KV キャッシュ(KV cache)

更新日

KV キャッシュとは、Transformer 言語モデルが処理済みの各トークンの attention のキーと値を保存するメモリです。新しいトークンはそれを再利用し、系列全体を再計算せずに済みます。コンテキスト長とともに大きくなり、GPU が同時に処理できるリクエスト数を制約しがちです。

別名: KV キャッシュ、KV Cache、キー・バリューキャッシュ、アテンションキャッシュ、KV メモリ、past_key_values、KV cache、key-value cache、attention cache、KV memory

モデルはトークンを 1 つ書くたびに、それより前のすべてのトークンを振り返ります。その振り返りを安くするのが KV キャッシュです。

仕組み

attention は、現在のトークンのクエリを、それ以前の各トークンのキーと値と比較します。キャッシュがなければ、モデルはステップごとに以前のキーと値をすべて計算し直すことになります。Hugging Face のキャッシュのガイドは、このトレードオフを次のようにまとめています。キャッシュがあれば “attention cost per step is linear with sequence length”(訳:ステップあたりの attention のコストは系列長に線形)で、メモリは “grows linearly”(訳:線形に増える)。

そのため、推論は 2 つのフェーズに分かれます。

  1. プレフィル(prefill)。 モデルがプロンプト全体を読み込み、キャッシュを埋めます。これが最初のトークンまでの時間の大部分を占めます。
  2. デコード(decode)。 新しいトークンごとに、層ごとにキーと値を 1 つずつ追加し、キャッシュ全体を読みます。

トークンあたりのキャッシュサイズは、おおよそ 2 × layers × KV heads × head size × bytes per number です。モデルの設計者は、このすべての項を小さくしようとしています。DeepSeek V4.1 Flash のモデルカードは、FP4 で保存した場合のグローバル KV キャッシュを 1 トークンあたり 890 バイトとしています。最大の 1,048,576 トークンのコンテキストでは 890 × 1,048,576 = 933,232,640 バイト、1 リクエストで約 890 MiB です。

なぜ重要か

  • 同時実行数と料金。 PagedAttention の論文は、多数のリクエストを同時に処理することが制約されるのは、KV キャッシュのメモリが “is huge and grows and shrinks dynamically”(訳:巨大で、動的に増減する)ためだとしています。vLLM はこのメモリを OS のようにページ管理し、同じレイテンシで 2 ~ 4 倍のスループットを報告しています。
  • 長いコンテキストはタダではない。 プロバイダーは生成中、プロンプト全体のキャッシュを保持しなければなりません。長いコンテキストのリクエストで応答の開始が遅くなる理由の 1 つです。
  • プロンプトキャッシュはこれを土台にしている。 リクエスト終了後もプレフィックスの KV の状態を保持したものが、プロバイダーがキャッシュ入力トークンとして課金する部分です。プレフィックスが安定しているほどキャッシュに当たりやすくなります。キャッシュのためのプロンプト構成を参照してください。
  • 量子化もここに使える。 キーと値を少ないビット数で保存すればキャッシュは小さくなりますが、品質にいくらかリスクがあります。

BroadNet Inference の場合

BroadNet は KV キャッシュのメモリをどう管理しているかを公開していません。API リファレンスに記載されているのは、目に見える効果のほうです。usage.prompt_tokens_details.cached_tokens はキャッシュから読まれたプロンプトトークンを示し、キャッシュ入力の単価で課金されます。たとえば DeepSeek V4.1 Flash では、新規入力の $0.175 に対して 100 万トークンあたり $0.0055 です。このモデルと GLM 5.3 は、1 リクエストあたり最大 1,048,576 トークンを受け付けます。

よくある間違い

  • コンテキスト長を料金だけの問題と考える。キャッシュが大きければ、プレフィルも遅くなります。
  • ターンごとにシステムプロンプトの順序を入れ替える。キャッシュされたプレフィックスが一致しなくなり、プロバイダーは計算し直すことになります。

よくある質問

KV キャッシュとプロンプトキャッシュは同じものですか?

厳密には違います。KV キャッシュは、モデルが生成している間、1 つのリクエストの中に存在します。プロンプトキャッシュはその状態をリクエスト終了後も保持し、同じプレフィックスを持つ後のリクエストで再利用できるようにするもので、プロバイダーはそのトークンをキャッシュ入力として課金します。

長いプロンプトはなぜ GPU メモリをこれほど使うのですか?

コンテキスト内のすべてのトークンが、すべての層でキーと値をキャッシュに追加するからです。100 万トークンのプロンプトでは、返答が終わるまで 100 万トークン分の attention の状態をメモリに保持します。

KV キャッシュの大きさはどれくらいですか?

コンテキスト内のトークン 1 つにつき、およそ 2 × 層数 × KV ヘッド数 × ヘッドの次元 × 数値 1 つのバイト数です。DeepSeek のモデルカードは DeepSeek V4.1 Flash について 1 トークンあたり 890 バイトとしており、最大の 1,048,576 トークンのコンテキストで約 890 MiB になります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く