エージェントが LLM に送る内容の大半は、毎ターン同じです。システムプロンプト、ツール定義、作業中のファイル、そしてそれまでの会話です。新しいのは最後のメッセージだけです。プロンプトキャッシュとは、この繰り返し部分をプロバイダーが満額で課金しない仕組みです。
キャッシュ入力トークンとは?
すべてのリクエストは入力トークンと出力トークンでできています。モデルは回答する前に、プロンプト全体を処理します。以前のリクエストがまったく同じトークンで始まっていれば、推論基盤はその処理をやり直さずに再利用できます。再利用された部分はキャッシュ入力トークンとして報告され、低い単価で課金されます。
この仕組みから、2 つのことが言えます。
- **キャッシュされるのはプレフィックスだけです。**照合は最初のトークンから順に進み、最初の違いで止まります。
- **回答は決してキャッシュされません。**モデルは新しい出力を生成し、それは出力の満額で課金されます。
BroadNet Inference のキャッシュトークンはいくらか?
公開されている料金ファイルより、100 万トークンあたりの料金です。
| モデル | 新規入力 | キャッシュ入力 | 出力 |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash では差が大きく、キャッシュトークンの 100 万あたり $0.0055 と、新規トークンの 100 万あたり $0.175 を比べてみてください。毎ターン 200,000 トークンのリポジトリを送り直すエージェントでは、キャッシュ率が請求額の大部分を左右します。
キャッシュでどれだけ節約できるか?計算例
あるコーディングエージェントが、1 営業日に 200,000 トークンのプロンプトを 100 回送るとします。1 日あたり 2,000 万入力トークンです。
| キャッシュ率 | 新規入力トークン | キャッシュ入力トークン |
|---|---|---|
| 0% | 20M(100 万あたり $0.175) | 0 |
| 50% | 10M(100 万あたり $0.175) | 10M(100 万あたり $0.0055) |
| 90% | 2M(100 万あたり $0.175) | 18M(100 万あたり $0.0055) |
1 日の入力料金の式は new tokens (M) × input price + cached tokens (M) × cached price です。キャッシュ率 90% では、入力 20M トークンのうち 18M が通常の入力単価ではなくキャッシュ単価で課金されます。そのため、2 つの単価の差が大きいほど、入力部分の請求額を多く節約できます。出力は変わりません。プロンプトキャッシュ計算ツールで自分の数字を試してみてください。
API レスポンスでキャッシュトークンを確認するには?
BroadNet の API リファレンスによると、モデルが報告する場合、usage オブジェクトに prompt_tokens_details.cached_tokens が含まれます。これはキャッシュから読まれ、キャッシュ単価で課金されたプロンプトトークンの数です。ストリーミングでは、最後のチャンクで usage を要求します。
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
この率をリクエストごとに 1 日記録してください。実際に払っている額がわかり、プロンプトキャッシュ計算ツールに入れるべき数字もわかります。ストリーミングでの usage についてはストリーミングガイドで詳しく説明しています。
OpenAI、Anthropic、DeepSeek のプロンプトキャッシュはどう違うか?
キャッシュは標準化されていません。2026 年 11 月 14 日に取得した時点で、公式ドキュメントには次のように書かれていました。
| OpenAI | Anthropic | DeepSeek(直接 API) | |
|---|---|---|---|
| 有効化 | 対応モデルではデフォルトで有効 | cache_control フィールドでオプトイン(自動またはブロック単位) |
全ユーザーでデフォルトで有効 |
| 最小プロンプト長 | GPT-5.6 以降は 1,024 トークン | モデルにより 512〜4,096 トークン | 最小値の記載なし |
| キャッシュの保持期間 | GPT-5.6 以降はデフォルト 30 分。12 時間のオプションあり | デフォルト 5 分、1 時間は追加料金 | ベストエフォート。使われなければ消去、“a few hours to a few days”(訳:数時間から数日) |
| 書き込み | GPT-5.6 以降は入力の 1.25×(30 分)または 2.5×(12 時間) | 5 分は入力の 1.25×、1 時間は 2× | 書き込み料金の記載なし |
| 読み込み | GPT-5.6 以降は入力の 0.1×(GPT-6.1 Sol と Terra は 0.05×) | ほとんどのモデルで入力の 0.1×、一部はさらに低い | 別建ての「キャッシュヒット」料金 |
| usage のフィールド | token details 内の cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
出典:OpenAI プロンプトキャッシュガイド、Anthropic プロンプトキャッシュのドキュメント、DeepSeek コンテキストキャッシュのドキュメント。書き込みに追加料金がかかる場合、書き込んだのに一度も読まれないキャッシュは、キャッシュなしより高くつきます。キャッシュが得になるのは、実際に繰り返すプロンプトだけです。モデルごとの定価を比べるには LLM API 料金表を参照してください。
キャッシュ率を下げる原因は?
キャッシュは完全一致のプレフィックスで照合するため、プロンプトの前のほうで何かが変わると、それ以降はすべて新規入力になります。よくある原因は次のとおりです。
- システムプロンプトの先頭付近にあるタイムスタンプ、リクエスト ID、ユーザー名
- 呼び出しごとにキーの順番が変わるツール定義や JSON のシリアライズ(トークンが変わります)
- 履歴に追記するのではなく、書き換えたり要約したりするエージェント
- 長い中断。その間にキャッシュが期限切れになります
対策は、層の順番(システムプロンプト、ツール、ドキュメント、履歴、新しいメッセージ)を固定し、各層を呼び出し間でバイト単位まで同一に保つことです。プレフィックスがキャッシュされるプロンプトの組み立て方では、このレイアウトをコードで説明し、プレフィックスが再利用されていることを確かめるテストも紹介しています。
キャッシュが重要でなくなるのはいつか?
定額プランでは、請求額はトークンにまったく依存しません。Full Moon はセッションあたり月 $60 で、DeepSeek V4.1 Flash を無制限に使えます。エージェントがすでに損益分岐点を超えているなら、キャッシュ率はもはやコストの問題ではありません。それでも長いプロンプトでは上記の習慣が速度の面で役立つので、どちらにしても続ける価値があります。
長いコンテキストでキャッシュがより重要になる理由は?
DeepSeek V4.1 Flash と GLM 5.3 は、1 リクエストで最大 1,048,576 トークンを受け付けます。トークン課金のキーで非常に長いプロンプトを現実的な料金にしているのがキャッシュです。コンテキストウィンドウの大きな繰り返し部分がキャッシュ単価で課金されるからです。100 万トークンのコンテキストウィンドウが役立つときを参照してください。
BroadNet Inference が向いているケース
BroadNet は、キャッシュ単価があるチャットモデルごとにその料金を公開し、モデルが報告する場合は usage にキャッシュトークン数を返すので、契約前に自分のキャッシュ率を計測できます。キャッシュの保持期間や最小プロンプト長は公開されていないので、自分のトラフィックで計測してください。エージェントが一日中動くなら、定額プランでこの問題自体がなくなります。
