大模型每次前向计算只写出一个 token。投机解码让它在一次计算中确认好几个 token。
工作原理
Leviathan 等人从一个朴素的事实出发:“decoding K tokens takes K serial runs of the model.”(译文:解码 K 个 token 需要串行运行模型 K 次。)他们的解法借鉴了 CPU 的推测执行:
- 一个小得多、快得多的草稿模型,猜出接下来的几个 token。
- 目标模型在一次前向计算中给所有猜测打分。正如 Chen 等人所观察到的,给一小串 token 打分的开销,和生成一个 token 差不多。
- 一个改进的拒绝采样步骤,保留目标模型认可的最长一段猜测,然后自己再采样一个 token。
- 从新的位置重复。
草稿经常猜对时,每次昂贵的计算都能产出好几个 token。猜错时损失也很小:目标模型至少仍会产出一个 token。Hugging Face 的指南补充说,草稿模型 “significantly smaller”(译文:明显更小)并且使用相同分词器时,这种方法效果最好。
有些变体去掉了独立的草稿模型。同一份指南介绍了多 token 预测(MTP)层:主检查点里的额外预测头负责起草候选。DeepSeek 在 DeepSeek V4.1 Flash 的模型卡中,把自己的方案 “DSpark speculative decoding”(DSpark 投机解码)列为架构的一部分。
为什么重要
对 API 调用方来说,投机解码体现为单个请求更高的每秒 token 数,从而缩短长回答的总延迟。它不会缩短首 token 延迟,因为后者主要花在读取提示词上。
收益并不均匀。代码修改、JSON、样板文字这类可预测的文本容易起草;创意性、高温度的文本更难,能留下的猜测更少。高负载时,额外的验证工作会和其他请求争抢资源,所以服务商可能会针对单用户速度或总吞吐量来调优。
它也是服务端的选择。你无法通过标准的 chat completions 请求开启它。
在 BroadNet Inference 上
BroadNet 的 API 参考文档没有提到投机解码。它的模型目录列出了生产环境的 Gemma 4 26B A4B 构建(在 API 上以 BroadNet Gemma 4 VL 26B 提供),标注为使用 MTP(k=2)运行,目录将其描述为投机解码的一种形式。BroadNet 的模型页给出这一构建的单流速度约为每秒 136 个 token。目录还报告,在 32 个并发请求下,EAGLE3 让吞吐量下降了 69%,这也是 BroadNet 保留 MTP 草稿头的原因;BroadNet 还发表了两篇关于自起草适配器 Uno 的研究:vLLM 中的 Uno 和 Gemma 4 26B 上的 Uno。对于运行 DeepSeek V4.1 Flash 的固定价格套餐,BroadNet 的套餐页给出的典型速度为 约每秒 100 个 token。请用流式输出实测你自己的输出速度,方法见大模型延迟指南。