智能体发给大模型的内容,大部分每一轮都一样:系统提示词、工具定义、正在处理的文件,以及之前的对话。只有最后一条消息是新的。提示词缓存的意思是,服务商不会对这部分重复内容收全价。
什么是缓存输入 token?
每个请求都由输入 token 和输出 token 构成。模型回答之前,要先处理整个提示词。如果之前某个请求的开头和它的 token 完全相同,推理服务系统就可以复用那次计算,而不必重算。被复用的部分会作为缓存输入 token 报告,并按更低的单价计费。
从这个原理可以推出两点:
- **只有前缀会被缓存。**匹配从第一个 token 开始往后走,遇到第一个不同之处就停止。
- **回答永远不会被缓存。**模型仍然要生成新的输出,按全额输出价计费。
在 BroadNet Inference 上,缓存 token 多少钱?
按每百万 token 计,来自公开的价格文件:
| 模型 | 新输入 | 缓存输入 | 输出 |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash 的差距很大:对比一下:缓存 token 每百万 $0.0055,新 token 每百万 $0.175。对于每一轮都重新发送 200,000 token 代码仓库的智能体来说,缓存命中率决定了账单的大部分。
缓存能省多少?一个实例
一个编程智能体在一个工作日里发送 100 次 200,000 token 的提示词,也就是每天 2,000 万输入 token。
| 缓存命中率 | 新输入 token | 缓存输入 token |
|---|---|---|
| 0% | 20M,每百万 $0.175 | 0 |
| 50% | 10M,每百万 $0.175 | 10M,每百万 $0.0055 |
| 90% | 2M,每百万 $0.175 | 18M,每百万 $0.0055 |
每日输入费用的公式是 new tokens (M) × input price + cached tokens (M) × cached price。命中率为 90% 时,20M 输入 token 中有 18M 按缓存价而不是完整的输入价计费,所以两种价格差距越大,输入部分的账单省得越多。输出部分不变。可以在提示词缓存计算器中试试你自己的数字。
怎么在 API 响应中看到缓存 token?
BroadNet 的 API 参考说明,模型报告缓存数据时,usage 对象会带有 prompt_tokens_details.cached_tokens:即从缓存读取、按缓存价计费的提示词 token。使用流式输出时,在最后一个数据块中请求 usage:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
把每个请求的命中率记录一天。它会告诉你实际付了多少钱,也正是该填进提示词缓存计算器的数字。关于流式输出中的 usage,详见流式输出指南。
OpenAI、Anthropic 和 DeepSeek 的提示词缓存有什么不同?
缓存没有统一标准。以下是我们在 2026 年 11 月 14 日获取官方文档时的说法:
| OpenAI | Anthropic | DeepSeek(官方 API) | |
|---|---|---|---|
| 是否开启 | 支持的模型默认开启 | 需用 cache_control 字段手动启用(自动或按块) |
对所有用户默认开启 |
| 最短提示词 | GPT-5.6 及之后为 1,024 token | 512 到 4,096 token,视模型而定 | 未说明最低要求 |
| 缓存有效期 | GPT-5.6 及之后默认 30 分钟;可选 12 小时 | 默认 5 分钟,1 小时需额外付费 | 尽力而为;不用时清除,“a few hours to a few days”(译文:几小时到几天) |
| 写入 | GPT-5.6 及之后为输入价的 1.25×(30 分钟)或 2.5×(12 小时) | 5 分钟为输入价的 1.25×,1 小时为 2× | 未提及写入费用 |
| 读取 | GPT-5.6 及之后为输入价的 0.1×(GPT-6.1 Sol 和 Terra 为 0.05×) | 多数模型为输入价的 0.1×,部分更低 | 单独的“缓存命中”价格 |
| usage 字段 | token details 中的 cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
来源:OpenAI 提示词缓存指南、Anthropic 提示词缓存文档和 DeepSeek 上下文缓存文档。在写入要额外收费的地方,一个写入后从未被读取的缓存,比不用缓存还贵。缓存只在你真正重复使用的提示词上才划算。要按模型比较标价,请看大模型 API 价格表。
什么会拉低缓存命中率?
缓存匹配的是精确前缀,所以提示词靠前的任何变化都会让后面的内容变成新输入。常见原因有:
- 系统提示词开头附近有时间戳、请求 ID 或用户名;
- 工具定义或 JSON 每次序列化时键的顺序不同,导致 token 变化;
- 智能体改写或总结历史,而不是直接追加;
- 停顿过久,缓存已经过期。
解决办法是固定层次顺序(系统提示词、工具、文档、历史、新消息),并让每一层在每次调用之间逐字节一致。我们的如何组织提示词,让前缀被缓存用代码演示了这种布局,并附有一个测试来证明前缀确实被复用。
什么时候缓存就不重要了?
在固定价格套餐上,账单与 token 完全无关。Full Moon 每个会话每月 $60,DeepSeek V4.1 Flash 不限量。如果你的智能体已经超过了盈亏平衡点,缓存命中率就不再是成本问题。不过在长提示词上,上述习惯仍然有助于提速,所以无论如何都值得保留。
为什么长上下文更需要缓存?
DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token。在按 token 计费的密钥上,正是缓存让超长提示词变得负担得起,因为上下文窗口中大量重复的部分按缓存价计费。参见什么时候值得用 100 万 token 上下文窗口。
BroadNet Inference 适合什么场景
BroadNet 为每个有缓存价格的对话模型公布缓存输入价,并在模型报告时于 usage 中给出缓存 token 数,因此你可以在投入之前先度量自己的命中率。它没有公布缓存有效期或最短提示词长度,请用你自己的流量去测量。如果你的智能体全天运行,固定价格套餐能让这个问题彻底消失。
