BroadRouter
开始使用

投机解码(speculative decoding)

更新于

投机解码是一种推理技术:由一个小而快的草稿模型提出接下来的若干 token,大的目标模型在一次前向计算中验证它们,并保留被接受的部分。它能加快生成,而不改变输出的分布。

又称: 推测解码、投机采样、推测采样、辅助生成、草稿模型、MTP、speculative decoding、speculative sampling、assisted generation、assisted decoding、draft model decoding

大模型每次前向计算只写出一个 token。投机解码让它在一次计算中确认好几个 token。

工作原理

Leviathan 等人从一个朴素的事实出发:“decoding K tokens takes K serial runs of the model.”(译文:解码 K 个 token 需要串行运行模型 K 次。)他们的解法借鉴了 CPU 的推测执行:

  1. 一个小得多、快得多的草稿模型,猜出接下来的几个 token。
  2. 目标模型在一次前向计算中给所有猜测打分。正如 Chen 等人所观察到的,给一小串 token 打分的开销,和生成一个 token 差不多。
  3. 一个改进的拒绝采样步骤,保留目标模型认可的最长一段猜测,然后自己再采样一个 token。
  4. 从新的位置重复。

草稿经常猜对时,每次昂贵的计算都能产出好几个 token。猜错时损失也很小:目标模型至少仍会产出一个 token。Hugging Face 的指南补充说,草稿模型 “significantly smaller”(译文:明显更小)并且使用相同分词器时,这种方法效果最好。

有些变体去掉了独立的草稿模型。同一份指南介绍了多 token 预测(MTP)层:主检查点里的额外预测头负责起草候选。DeepSeek 在 DeepSeek V4.1 Flash 的模型卡中,把自己的方案 “DSpark speculative decoding”(DSpark 投机解码)列为架构的一部分。

为什么重要

对 API 调用方来说,投机解码体现为单个请求更高的每秒 token 数,从而缩短长回答的总延迟。它不会缩短首 token 延迟,因为后者主要花在读取提示词上。

收益并不均匀。代码修改、JSON、样板文字这类可预测的文本容易起草;创意性、高温度的文本更难,能留下的猜测更少。高负载时,额外的验证工作会和其他请求争抢资源,所以服务商可能会针对单用户速度或总吞吐量来调优。

它也是服务端的选择。你无法通过标准的 chat completions 请求开启它。

在 BroadNet Inference 上

BroadNet 的 API 参考文档没有提到投机解码。它的模型目录列出了生产环境的 Gemma 4 26B A4B 构建(在 API 上以 BroadNet Gemma 4 VL 26B 提供),标注为使用 MTP(k=2)运行,目录将其描述为投机解码的一种形式。BroadNet 的模型页给出这一构建的单流速度约为每秒 136 个 token。目录还报告,在 32 个并发请求下,EAGLE3 让吞吐量下降了 69%,这也是 BroadNet 保留 MTP 草稿头的原因;BroadNet 还发表了两篇关于自起草适配器 Uno 的研究:vLLM 中的 Uno 和 Gemma 4 26B 上的 Uno。对于运行 DeepSeek V4.1 Flash 的固定价格套餐,BroadNet 的套餐页给出的典型速度为 约每秒 100 个 token。请用流式输出实测你自己的输出速度,方法见大模型延迟指南。

常见问题

投机解码会改变模型的回答吗?

从分布上说不会。两篇原始论文都使用了一种保持目标模型输出分布的接受规则,所以质量与单独使用大模型一致。不过浮点细节仍可能让不同次运行略有差异。

投机解码能快多少?

原始论文报告,在 T5-XXL 上解码快 2 到 3 倍,在 70B 的 Chinchilla 模型上快 2 到 2.5 倍。实际收益取决于草稿模型猜对的频率。

能通过 API 开启投机解码吗?

标准的 chat completions 请求做不到。这是服务商在部署时做的选择,你只能从更快的输出中感受到它,所以请在自己的提示词上实测每秒 token 数。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity