模型每写一个 token,都要回看它之前的所有 token。KV 缓存让这种回看变得便宜。
原理
注意力机制把当前 token 的 query 与之前每个 token 的 key 和 value 做比较。没有缓存,模型每一步都要重新计算之前所有的 key 和 value。Hugging Face 的缓存指南这样概括其中的取舍:有了缓存,“attention cost per step is linear with sequence length”(译文:每一步的注意力开销随序列长度线性增长),而显存 “grows linearly”(译文:线性增长)。
所以推理分为两个阶段:
- 预填充(prefill)。 模型读入整个提示词并填满缓存。这是首 token 时间的主要部分。
- 解码(decode)。 每个新 token 在每一层加入一个 key 和一个 value,然后读取整个缓存。
每个 token 的缓存大小大约是 2 × layers × KV heads × head size × bytes per number。模型设计者对其中每一项都在想办法压缩。DeepSeek 为 DeepSeek V4.1 Flash 发布的卡片报告,其全局 KV 缓存为每 token 890 字节,采用 FP4 存储。在完整的 1,048,576 token 上下文下,就是 890 × 1,048,576 = 933,232,640 字节,单个请求约 890 MiB。
为什么重要
- 并发与价格。 PagedAttention 论文说,同时服务大量请求之所以受限,是因为 KV 缓存的显存 “is huge and grows and shrinks dynamically”(译文:非常大,而且会动态地增长和收缩)。vLLM 像操作系统一样对这部分显存做分页管理,报告在相同延迟下吞吐量提高 2 到 4 倍。
- 长上下文不是免费的。 服务商在生成期间必须为你的整个提示词保留缓存。这也是长上下文请求启动较慢的原因之一。
- 提示词缓存建立在它之上。 请求结束后保留某个前缀的 KV 状态,就是服务商按缓存输入 token 计费的部分。前缀越稳定,命中缓存越频繁;参见为缓存设计提示词结构。
- 量化同样适用。 用更少的位数存储键和值可以缩小缓存,但会带来一定的质量风险。
在 BroadNet Inference 上
BroadNet 没有公布它如何管理 KV 缓存显存。它的 API 参考记录的是可见的效果:usage.prompt_tokens_details.cached_tokens 报告从缓存读取的提示词 token 数,按缓存输入价格计费。例如在 DeepSeek V4.1 Flash 上是每百万 token $0.0055,而新输入是 $0.175。该模型和 GLM 5.3 每个请求最多接受 1,048,576 个 token。
常见错误
- 把上下文长度只当成价格问题。缓存越大,预填充也越慢。
- 每一轮都调整系统提示词的顺序。缓存的前缀对不上,服务商就得重新计算。