---
title: "什么是投机解码？大模型推理加速原理详解 | BroadRouter"
description: "投机解码让小的草稿模型先猜出若干 token，再由大模型一次前向计算统一验证，从而加快生成。本文讲原理、加速幅度和局限。"
url: https://broadrouter.com/zh/glossary/speculative-decoding/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/speculative-decoding/) (2026-11-16 更新).

# 投机解码（speculative decoding）

更新于 2026-11-16

投机解码是一种推理技术：由一个小而快的草稿模型提出接下来的若干 token，大的目标模型在一次前向计算中验证它们，并保留被接受的部分。它能加快生成，而不改变输出的分布。

又称： 推测解码、投机采样、推测采样、辅助生成、草稿模型、MTP、speculative decoding、speculative sampling、assisted generation、assisted decoding、draft model decoding

大模型每次前向计算只写出一个 token。投机解码让它在一次计算中确认好几个 token。

## 工作原理

Leviathan 等人从一个朴素的事实出发：“decoding K tokens takes K serial runs of the model.”（译文：解码 K 个 token 需要串行运行模型 K 次。）他们的解法借鉴了 CPU 的推测执行：

1.  一个小得多、快得多的**草稿模型**，猜出接下来的几个 token。
2.  **目标模型**在一次前向计算中给所有猜测打分。正如 Chen 等人所观察到的，给一小串 token 打分的开销，和生成一个 token 差不多。
3.  一个改进的拒绝采样步骤，保留目标模型认可的最长一段猜测，然后自己再采样一个 token。
4.  从新的位置重复。

草稿经常猜对时，每次昂贵的计算都能产出好几个 token。猜错时损失也很小：目标模型至少仍会产出一个 token。Hugging Face 的指南补充说，草稿模型 “significantly smaller”（译文：明显更小）并且使用相同分词器时，这种方法效果最好。

有些变体去掉了独立的草稿模型。同一份指南介绍了多 token 预测（MTP）层：主检查点里的额外预测头负责起草候选。DeepSeek 在 DeepSeek V4.1 Flash 的模型卡中，把自己的方案 “DSpark speculative decoding”（DSpark 投机解码）列为架构的一部分。

## 为什么重要

对 API 调用方来说，投机解码体现为单个请求更高的[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)，从而缩短长回答的总[延迟](https://broadrouter.com/zh/glossary/latency/)。它不会缩短[首 token 延迟](https://broadrouter.com/zh/glossary/time-to-first-token/)，因为后者主要花在读取提示词上。

收益并不均匀。代码修改、JSON、样板文字这类可预测的文本容易起草；创意性、高温度的文本更难，能留下的猜测更少。高负载时，额外的验证工作会和其他请求争抢资源，所以服务商可能会针对单用户速度或总[吞吐量](https://broadrouter.com/zh/glossary/throughput/)来调优。

它也是服务端的选择。你无法通过标准的 chat completions 请求开启它。

## 在 BroadNet Inference 上

BroadNet 的 API 参考文档没有提到投机解码。它的模型目录列出了生产环境的 Gemma 4 26B A4B 构建（在 API 上以 [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 提供），标注为使用 MTP（k=2）运行，目录将其描述为投机解码的一种形式。BroadNet 的模型页给出这一构建的单流速度约为每秒 136 个 token。目录还报告，在 32 个并发请求下，EAGLE3 让吞吐量下降了 69%，这也是 BroadNet 保留 MTP 草稿头的原因；BroadNet 还发表了两篇关于自起草适配器 Uno 的研究：[vLLM 中的 Uno](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/) 和 [Gemma 4 26B 上的 Uno](https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/)。对于运行 DeepSeek V4.1 Flash 的固定价格套餐，BroadNet 的套餐页给出的典型速度为 约每秒 100 个 token。请用流式输出实测你自己的输出速度，方法见[大模型延迟指南](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。

## 常见问题

### 投机解码会改变模型的回答吗？

从分布上说不会。两篇原始论文都使用了一种保持目标模型输出分布的接受规则，所以质量与单独使用大模型一致。不过浮点细节仍可能让不同次运行略有差异。

### 投机解码能快多少？

原始论文报告，在 T5-XXL 上解码快 2 到 3 倍，在 70B 的 Chinchilla 模型上快 2 到 2.5 倍。实际收益取决于草稿模型猜对的频率。

### 能通过 API 开启投机解码吗？

标准的 chat completions 请求做不到。这是服务商在部署时做的选择，你只能从更快的输出中感受到它，所以请在自己的提示词上实测每秒 token 数。

## 另请参阅

-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/) (术语)
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/) (术语)
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/) (术语)
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/) (术语)
-   [混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/) (术语)
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/) (指南)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/) (文章)
-   [vLLM 中的 Uno：BroadNet 部署研究测了什么](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/) (文章)
-   [Gemma 4 26B 上的 Uno：BroadNet 的混合专家（MoE）研究](https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-speculative-decoding&utm_content=page-cta) ·

**来源**

-   [BroadNet Gemma 4 VL 26B 模型页：启用投机解码的单流速度（2026-11-15 获取） （英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan 等，Fast Inference from Transformers via Speculative Decoding，arXiv 2211.17192（2026-11-16 查阅）](https://arxiv.org/abs/2211.17192)
-   [Chen 等，Accelerating Large Language Model Decoding with Speculative Sampling，arXiv 2302.01318（2026-11-16 查阅）](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers，辅助解码（assisted decoding）指南（2026-11-16 查阅）](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek，DeepSeek-V4.1-Flash 模型卡（DSpark 投机解码）（2026-11-16 查阅）](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [BroadNet 模型目录（实验室实测，2026 年 9 月）（2026-11-16 查阅） （英文）](https://www.broadnet.ai/inference/models)
