智能体每一轮发送的内容大部分都是一样的。提示词缓存让服务商跳过对重复部分的重新计算,并以更低的价格计费。
工作原理
模型读取提示词时,会为每个 token 计算内部状态。服务商可以把这些状态保存一小段时间。如果下一个请求以相同的 token 开头,服务商就直接读取已保存的状态,而不再重新计算。这些 token 就是缓存输入 token。
缓存从提示词的开头开始匹配。OpenAI 的指南说,复用 “requires the entire rendered prefix to match.”(译文:要求整个渲染后的前缀完全一致。)提示词前部只要改动一个字符,之后的所有内容都会变成新输入。
各家服务商在细节上有所不同:
- OpenAI 在支持的模型上默认开启缓存,并在 usage 块中报告命中情况。它的文档说明,较新的模型要求前缀至少 1,024 个 token。
- Anthropic 对大多数模型的缓存读取按基础输入价的 0.1 倍计费,缓存写入则要加价,缓存条目默认保留 5 分钟。
在 Chat Completions 格式中,命中数量显示为 usage.prompt_tokens_details.cached_tokens。缓存命中率就是这个数除以 prompt_tokens。
为什么重要
对于又长又重复的提示词,缓存命中率决定了账单。一个每轮都重发 200,000 token 代码仓库的智能体,只要前缀保持稳定,就只需第一次付全额输入价,之后都按缓存价计费。缓存还能缩短长提示词的首个 token 延迟,因为开始生成前要做的计算更少。
要提高命中率,就把稳定的内容放在前面(系统提示词、工具定义、文档),把变化的内容放在最后。不要把时间戳和请求 ID 放在提示词顶部,工具列表也要保持固定顺序。在各服务商公布的价格中有多大比例包含缓存输入价、典型折扣是多少,见 LLM API 价格指数。
在 BroadNet Inference 上
BroadNet 为三个对话模型公布了缓存输入价,按每百万 token 计:
| 模型 | 新输入 | 缓存输入 |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
缓存的 token 会自动按较低的价格计费,在模型报告时,prompt_tokens_details.cached_tokens 会显示它们。在流式输出中,按流式输出指南所示,用 stream_options 请求用量信息。
在固定价格套餐上没有 token 计量,所以缓存命中率不影响账单。完整讲解及记录命中率的代码,见缓存输入 token 详解。