BroadRouter

缓存输入 token(cached input tokens)

更新于

缓存输入 token 是大模型服务商近期已处理过、可以直接从缓存中复用而无需重新计算的提示词 token,通常是重复的前缀,例如系统提示词或文档。服务商对它们按低于新输入 token 的单价计费。

又称: 缓存命中、缓存命中 token、提示词缓存、提示缓存、上下文缓存、缓存 token、prompt caching、cache hits、cached tokens、context caching、cache read tokens、cached input tokens

智能体每一轮发送的内容大部分都是一样的。提示词缓存让服务商跳过对重复部分的重新计算,并以更低的价格计费。

工作原理

模型读取提示词时,会为每个 token 计算内部状态。服务商可以把这些状态保存一小段时间。如果下一个请求以相同的 token 开头,服务商就直接读取已保存的状态,而不再重新计算。这些 token 就是缓存输入 token。

缓存从提示词的开头开始匹配。OpenAI 的指南说,复用 “requires the entire rendered prefix to match.”(译文:要求整个渲染后的前缀完全一致。)提示词前部只要改动一个字符,之后的所有内容都会变成新输入。

各家服务商在细节上有所不同:

  • OpenAI 在支持的模型上默认开启缓存,并在 usage 块中报告命中情况。它的文档说明,较新的模型要求前缀至少 1,024 个 token。
  • Anthropic 对大多数模型的缓存读取按基础输入价的 0.1 倍计费,缓存写入则要加价,缓存条目默认保留 5 分钟。

在 Chat Completions 格式中,命中数量显示为 usage.prompt_tokens_details.cached_tokens。缓存命中率就是这个数除以 prompt_tokens。

为什么重要

对于又长又重复的提示词,缓存命中率决定了账单。一个每轮都重发 200,000 token 代码仓库的智能体,只要前缀保持稳定,就只需第一次付全额输入价,之后都按缓存价计费。缓存还能缩短长提示词的首个 token 延迟,因为开始生成前要做的计算更少。

要提高命中率,就把稳定的内容放在前面(系统提示词、工具定义、文档),把变化的内容放在最后。不要把时间戳和请求 ID 放在提示词顶部,工具列表也要保持固定顺序。在各服务商公布的价格中有多大比例包含缓存输入价、典型折扣是多少,见 LLM API 价格指数。

在 BroadNet Inference 上

BroadNet 为三个对话模型公布了缓存输入价,按每百万 token 计:

模型 新输入 缓存输入
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

缓存的 token 会自动按较低的价格计费,在模型报告时,prompt_tokens_details.cached_tokens 会显示它们。在流式输出中,按流式输出指南所示,用 stream_options 请求用量信息。

在固定价格套餐上没有 token 计量,所以缓存命中率不影响账单。完整讲解及记录命中率的代码,见缓存输入 token 详解。

常见问题

缓存的 token 还占用上下文窗口吗?

占用。缓存改变的是这些 token 的价格,而不是它们是否计入窗口。Anthropic 的文档对此有明确说明。

缓存能保留多久?

取决于服务商。Anthropic 默认有效期为 5 分钟,每次使用缓存都会刷新,也可选择 1 小时有效期。其他服务商不一定公布固定时长,所以请实测你的命中率。

缓存会改变回答吗?

不会。缓存保存的是对提示词所做的计算,而不是回复。模型仍会重新生成回答。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity