BroadRouter

キャッシュ入力トークン(cached input tokens)

更新日

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

別名: キャッシュ入力、キャッシュトークン、プロンプトキャッシュ、プロンプトキャッシング、キャッシュヒット、コンテキストキャッシュ、cached input tokens、prompt caching、cache hits、cached tokens、context caching、cache read tokens

エージェントが送る内容の大部分は、毎ターン同じです。プロンプトキャッシュを使うと、プロバイダーは繰り返される部分の再計算を省き、その分を安く課金できます。

しくみ

モデルはプロンプトを読むとき、トークンごとに内部状態を計算します。プロバイダーはこの状態を短時間保持できます。次のリクエストが同じトークンで始まっていれば、再計算せずに保存した状態を読み込みます。こうしたトークンがキャッシュ入力トークンです。

キャッシュはプロンプトの先頭から一致を見ます。OpenAI のガイドには、再利用には「requires the entire rendered prefix to match.」(訳:レンダリングされたプレフィックス全体の一致が必要)とあります。プロンプトの前のほうで 1 文字でも変わると、それ以降はすべて新しい入力になります。

細かい点はプロバイダーによって異なります。

  • OpenAI は、対応モデルでキャッシュをデフォルトで有効にし、ヒットを usage ブロックで報告します。新しいモデルでは、プレフィックスの最小長を 1,024 トークンと記載しています。
  • Anthropic は、ほとんどのモデルでキャッシュの読み取りを基本入力単価の 0.1 倍で課金し、キャッシュの書き込みには割増料金をかけ、エントリをデフォルトで 5 分間保持します。

Chat Completions 形式では、ヒットは usage.prompt_tokens_details.cached_tokens に表示されます。キャッシュ率は、この数値を prompt_tokens で割った値です。

なぜ重要か

長いプロンプトを繰り返し送る場合、請求額はキャッシュ率で決まります。毎ターン 200,000 トークンのリポジトリを送り直すエージェントは、プレフィックスが変わらない限り、最初の 1 回だけ通常の入力単価を払い、以降はキャッシュ単価になります。生成開始前の処理が減るため、長いプロンプトでは最初のトークンまでの時間も短くなることがあります。

キャッシュ率を上げるには、変わらない内容(システムプロンプト、ツール定義、ドキュメント)を先に置き、変わる内容を最後に置いてください。タイムスタンプやリクエスト ID はプロンプトの先頭に入れず、ツールの一覧は固定の順序にしてください。公開料金にキャッシュ入力の単価があるプロバイダーの割合と典型的な割引率は、LLM API 料金インデックスにあります。

BroadNet Inference の場合

BroadNet は、3 つのチャットモデルでキャッシュ入力の単価を公開しています(100 万トークンあたり)。

モデル 新しい入力 キャッシュ入力
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

キャッシュされたトークンは自動的に安い単価で課金され、モデルが報告する場合は prompt_tokens_details.cached_tokens に表示されます。ストリームでは、ストリーミングのガイドにあるとおり stream_options で usage を要求してください。

定額プランにはトークンメーターがないため、キャッシュ率は請求額に影響しません。ヒット率を記録するコード付きの詳しい解説は、キャッシュ入力トークンの解説にあります。

よくある質問

キャッシュされたトークンもコンテキストウィンドウに数えられますか?

はい。キャッシュで変わるのはそのトークンの料金で、数えられるかどうかは変わりません。Anthropic のドキュメントにもそう明記されています。

キャッシュはどのくらい保持されますか?

プロバイダーによります。Anthropic のデフォルトの有効期間は 5 分で、キャッシュが使われるたびに更新され、1 時間の有効期間も選べます。固定の時間を公開していないプロバイダーもあるため、ヒット率を測ってください。

キャッシュで回答は変わりますか?

いいえ。キャッシュが保存するのはプロンプトに対する処理で、返答ではありません。モデルは毎回新しく回答を生成します。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く