モデルはトークンを 1 つ書くたびに、それより前のすべてのトークンを振り返ります。その振り返りを安くするのが KV キャッシュです。
仕組み
attention は、現在のトークンのクエリを、それ以前の各トークンのキーと値と比較します。キャッシュがなければ、モデルはステップごとに以前のキーと値をすべて計算し直すことになります。Hugging Face のキャッシュのガイドは、このトレードオフを次のようにまとめています。キャッシュがあれば “attention cost per step is linear with sequence length”(訳:ステップあたりの attention のコストは系列長に線形)で、メモリは “grows linearly”(訳:線形に増える)。
そのため、推論は 2 つのフェーズに分かれます。
- プレフィル(prefill)。 モデルがプロンプト全体を読み込み、キャッシュを埋めます。これが最初のトークンまでの時間の大部分を占めます。
- デコード(decode)。 新しいトークンごとに、層ごとにキーと値を 1 つずつ追加し、キャッシュ全体を読みます。
トークンあたりのキャッシュサイズは、おおよそ 2 × layers × KV heads × head size × bytes per number です。モデルの設計者は、このすべての項を小さくしようとしています。DeepSeek V4.1 Flash のモデルカードは、FP4 で保存した場合のグローバル KV キャッシュを 1 トークンあたり 890 バイトとしています。最大の 1,048,576 トークンのコンテキストでは 890 × 1,048,576 = 933,232,640 バイト、1 リクエストで約 890 MiB です。
なぜ重要か
- 同時実行数と料金。 PagedAttention の論文は、多数のリクエストを同時に処理することが制約されるのは、KV キャッシュのメモリが “is huge and grows and shrinks dynamically”(訳:巨大で、動的に増減する)ためだとしています。vLLM はこのメモリを OS のようにページ管理し、同じレイテンシで 2 ~ 4 倍のスループットを報告しています。
- 長いコンテキストはタダではない。 プロバイダーは生成中、プロンプト全体のキャッシュを保持しなければなりません。長いコンテキストのリクエストで応答の開始が遅くなる理由の 1 つです。
- プロンプトキャッシュはこれを土台にしている。 リクエスト終了後もプレフィックスの KV の状態を保持したものが、プロバイダーがキャッシュ入力トークンとして課金する部分です。プレフィックスが安定しているほどキャッシュに当たりやすくなります。キャッシュのためのプロンプト構成を参照してください。
- 量子化もここに使える。 キーと値を少ないビット数で保存すればキャッシュは小さくなりますが、品質にいくらかリスクがあります。
BroadNet Inference の場合
BroadNet は KV キャッシュのメモリをどう管理しているかを公開していません。API リファレンスに記載されているのは、目に見える効果のほうです。usage.prompt_tokens_details.cached_tokens はキャッシュから読まれたプロンプトトークンを示し、キャッシュ入力の単価で課金されます。たとえば DeepSeek V4.1 Flash では、新規入力の $0.175 に対して 100 万トークンあたり $0.0055 です。このモデルと GLM 5.3 は、1 リクエストあたり最大 1,048,576 トークンを受け付けます。
よくある間違い
- コンテキスト長を料金だけの問題と考える。キャッシュが大きければ、プレフィルも遅くなります。
- ターンごとにシステムプロンプトの順序を入れ替える。キャッシュされたプレフィックスが一致しなくなり、プロバイダーは計算し直すことになります。