BroadRouter

缓存输入 token 详解:如何降低大模型 API 账单

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

缓存输入 token 是服务商已经处理过、可以复用的提示词 token,因此按更低的单价计费。在 BroadNet Inference 上,DeepSeek V4.1 Flash 的缓存输入每百万 token $0.0055,新输入则是 $0.175。把每个提示词中稳定的部分放在最前面,并在每次调用之间保持一致,就能享受这个折扣。

智能体发给大模型的内容,大部分每一轮都一样:系统提示词、工具定义、正在处理的文件,以及之前的对话。只有最后一条消息是新的。提示词缓存的意思是,服务商不会对这部分重复内容收全价。

什么是缓存输入 token?

每个请求都由输入 token 和输出 token 构成。模型回答之前,要先处理整个提示词。如果之前某个请求的开头和它的 token 完全相同,推理服务系统就可以复用那次计算,而不必重算。被复用的部分会作为缓存输入 token 报告,并按更低的单价计费。

从这个原理可以推出两点:

  • **只有前缀会被缓存。**匹配从第一个 token 开始往后走,遇到第一个不同之处就停止。
  • **回答永远不会被缓存。**模型仍然要生成新的输出,按全额输出价计费。

在 BroadNet Inference 上,缓存 token 多少钱?

按每百万 token 计,来自公开的价格文件:

模型 新输入 缓存输入 输出
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash 的差距很大:对比一下:缓存 token 每百万 $0.0055,新 token 每百万 $0.175。对于每一轮都重新发送 200,000 token 代码仓库的智能体来说,缓存命中率决定了账单的大部分。

缓存能省多少?一个实例

一个编程智能体在一个工作日里发送 100 次 200,000 token 的提示词,也就是每天 2,000 万输入 token。

缓存命中率 新输入 token 缓存输入 token
0% 20M,每百万 $0.175 0
50% 10M,每百万 $0.175 10M,每百万 $0.0055
90% 2M,每百万 $0.175 18M,每百万 $0.0055

每日输入费用的公式是 new tokens (M) × input price + cached tokens (M) × cached price。命中率为 90% 时,20M 输入 token 中有 18M 按缓存价而不是完整的输入价计费,所以两种价格差距越大,输入部分的账单省得越多。输出部分不变。可以在提示词缓存计算器中试试你自己的数字。

怎么在 API 响应中看到缓存 token?

BroadNet 的 API 参考说明,模型报告缓存数据时,usage 对象会带有 prompt_tokens_details.cached_tokens:即从缓存读取、按缓存价计费的提示词 token。使用流式输出时,在最后一个数据块中请求 usage:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

把每个请求的命中率记录一天。它会告诉你实际付了多少钱,也正是该填进提示词缓存计算器的数字。关于流式输出中的 usage,详见流式输出指南。

OpenAI、Anthropic 和 DeepSeek 的提示词缓存有什么不同?

缓存没有统一标准。以下是我们在 2026 年 11 月 14 日获取官方文档时的说法:

OpenAI Anthropic DeepSeek(官方 API)
是否开启 支持的模型默认开启 需用 cache_control 字段手动启用(自动或按块) 对所有用户默认开启
最短提示词 GPT-5.6 及之后为 1,024 token 512 到 4,096 token,视模型而定 未说明最低要求
缓存有效期 GPT-5.6 及之后默认 30 分钟;可选 12 小时 默认 5 分钟,1 小时需额外付费 尽力而为;不用时清除,“a few hours to a few days”(译文:几小时到几天)
写入 GPT-5.6 及之后为输入价的 1.25×(30 分钟)或 2.5×(12 小时) 5 分钟为输入价的 1.25×,1 小时为 2× 未提及写入费用
读取 GPT-5.6 及之后为输入价的 0.1×(GPT-6.1 Sol 和 Terra 为 0.05×) 多数模型为输入价的 0.1×,部分更低 单独的“缓存命中”价格
usage 字段 token details 中的 cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

来源:OpenAI 提示词缓存指南、Anthropic 提示词缓存文档和 DeepSeek 上下文缓存文档。在写入要额外收费的地方,一个写入后从未被读取的缓存,比不用缓存还贵。缓存只在你真正重复使用的提示词上才划算。要按模型比较标价,请看大模型 API 价格表。

什么会拉低缓存命中率?

缓存匹配的是精确前缀,所以提示词靠前的任何变化都会让后面的内容变成新输入。常见原因有:

  • 系统提示词开头附近有时间戳、请求 ID 或用户名;
  • 工具定义或 JSON 每次序列化时键的顺序不同,导致 token 变化;
  • 智能体改写或总结历史,而不是直接追加;
  • 停顿过久,缓存已经过期。

解决办法是固定层次顺序(系统提示词、工具、文档、历史、新消息),并让每一层在每次调用之间逐字节一致。我们的如何组织提示词,让前缀被缓存用代码演示了这种布局,并附有一个测试来证明前缀确实被复用。

什么时候缓存就不重要了?

在固定价格套餐上,账单与 token 完全无关。Full Moon 每个会话每月 $60,DeepSeek V4.1 Flash 不限量。如果你的智能体已经超过了盈亏平衡点,缓存命中率就不再是成本问题。不过在长提示词上,上述习惯仍然有助于提速,所以无论如何都值得保留。

为什么长上下文更需要缓存?

DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token。在按 token 计费的密钥上,正是缓存让超长提示词变得负担得起,因为上下文窗口中大量重复的部分按缓存价计费。参见什么时候值得用 100 万 token 上下文窗口。

BroadNet Inference 适合什么场景

BroadNet 为每个有缓存价格的对话模型公布缓存输入价,并在模型报告时于 usage 中给出缓存 token 数,因此你可以在投入之前先度量自己的命中率。它没有公布缓存有效期或最短提示词长度,请用你自己的流量去测量。如果你的智能体全天运行,固定价格套餐能让这个问题彻底消失。

常见问题

提示词缓存需要手动开启吗?

取决于服务商。OpenAI 和 DeepSeek 自动缓存;Anthropic 需要 cache_control 字段。在 BroadNet Inference 上请查看 usage 块:模型报告缓存 token 时,它们会出现在 prompt_tokens_details.cached_tokens 中,并按缓存输入价计费。

怎么检查提示词缓存有没有生效?

每个请求都获取 usage,用 cached_tokens 除以 prompt_tokens。如果一个长且重复的提示词在第二次调用时命中率仍接近零,说明提示词靠前的某处在每次调用之间发生了变化。

为什么我的缓存命中率很低?

通常是因为提示词靠前的某个内容每次调用都在变,比如时间戳、请求 ID 或顺序被打乱的工具列表。把变化的内容挪到最后。

提示词缓存和响应缓存有什么区别?

提示词缓存复用服务商对重复前缀已做的计算,模型仍会生成新的回答。响应缓存需要你自己实现:存下完整答案,遇到相同问题时直接返回,不再调用模型。

缓存 token 是免费的吗?

不是。它们按更低的单价计费,而不是零。DeepSeek V4.1 Flash 的缓存输入每百万 token $0.0055,输出则全价计费。

不限量套餐还需要在意缓存吗?

对账单没有影响,因为套餐会话没有 token 计量。但在许多推理服务系统中,缓存仍能缩短长提示词的首 token 时间,所以同样的习惯依然有用。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity