Uno in vLLM 是 BroadNet 研究部门的一篇预印本,2026 年 9 月 8 日发布在 Zenodo 上,DOI 为 10.5281/zenodo.22652610。它报告了 Uno(IFM 开发的一种投机解码方法)的原生 vLLM 实现,并测量了它比普通 vLLM 快多少。Zenodo 记录中列出的作者是 Mohammad Al Zubaidi。
本页总结论文说了什么、怎么测的,以及它能告诉你什么、不能告诉你什么。数字来自 BroadNet;我们没有复现。
Uno 要解决什么问题?
语言模型通常每次前向计算生成一个 token。投机解码通过预先猜测几个 token、再用完整模型一次验证来加速。大多数方法使用一个单独的、更小的草稿模型。Uno 则在模型本身上挂一个经过训练的适配器,让模型自己起草 token,再用原始权重验证。基本思路见投机解码。
论文的问题很实际:在有批处理、缓存和大量并发请求的生产推理引擎里,这种加速还能保住吗?
BroadNet 做了什么?
BroadNet 的博客文章对功劳归属写得很清楚:“Uno, developed by IFM and collaborators”(译文:由 IFM 及合作者开发的 Uno)是方法本身,BroadNet 的贡献是 “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”(译文:原生 vLLM 集成、让各执行路径协同工作的工程实现,以及部署评估)。摘要列出了各个执行组件:条件式适配器路由、完整的草稿 key/value 状态、异步调度、CUDA graph 重放、重叠的适配器计算和种子行复用。
代码公开在 BroadNet 的 vllm-uno 代码库中,BroadNet 已将其作为 pull request 55947 提交给 vLLM 上游。
是怎么测量的?
主要测试是一项受控测试:
- 硬件和模型: 一张 NVIDIA H100,bfloat16 精度的 Qwen3-8B,使用已发布的 Qwen3-8B Uno 适配器。
- 工作负载: 八条数学提示词,循环使用以填满更大的批次,每条最多生成 512 个 token,关闭前缀缓存。
- 基线: 同一环境下普通的自回归 vLLM(“普通 vLLM”)。
- 并发: 1、8 和 32 个同时进行的流。
另一项独立的对比开启前缀缓存,使用 BroadNet 选定的部署设置,与 SGLang 参考实现做比较。
研究发现了什么?
| 测量项 | BroadNet 报告的结果 |
|---|---|
| 相对普通 vLLM 的吞吐量,1 流 | 2.58 倍 |
| 相对普通 vLLM 的吞吐量,8 流 | 2.20 倍 |
| 相对普通 vLLM 的吞吐量,32 流 | 1.74 倍 |
| 与 SGLang 参考实现的差距 | 1、8、32 流下均在 3% 以内 |
| 生产设置,32 流 | 每秒 7,657 个 token,SGLang 为 7,505(领先 2.0%) |
| 热启动首 token 延迟,vLLM 内部消融实验 | 用两个 API 进程代替一个,降低 25% |
对容量规划来说,关键是第一组的最后一行:同一张 GPU,在 32 个并发流下每秒输出多 74%。BroadNet 的博客称之为 “the central payoff”(译文:核心收益),因为一到负载下就消失的加速,对共享 API 几乎没有帮助。
BroadNet 的博客还介绍了后来的一个版本(v0.2.0,基于 vLLM 的 Model Runner V2):单流输出在 Blackwell 上为 2.1 到 2.4 倍,在 Ampere 上为 1.7 到 1.9 倍,在 Hopper 上为 2.6 倍。这些与论文主表的硬件和版本不同,所以数字也不同。
有哪些局限?
- 一个模型、一种工作负载。 受控结果是 Qwen3-8B 在数学提示词上的表现。代码、对话或长文档能接受的草稿 token 可能更少。
- 负载越高,提升越小。 从 2.58 倍到 1.74 倍的趋势符合预期:GPU 忙碌时,可用于起草的空闲算力就耗尽了。
- 是预印本。 论文存放在 Zenodo 上,未经同行评审。配套存档包含证据清单和图表数据,这正是他人能够核查它的依据。
- 自行报告。 两组实验都是 BroadNet 运行的。与参考实现 3% 以内的一致性,是论文对此的自我核查。
如果你只是调用 API,这有什么关系?
每张 GPU 的吞吐量决定了服务商能收多少钱,以及在负载下回答有多快。BroadNet 的目录报告,它会在真实并发下测量各种草稿方法后再做选择,并且在 EAGLE3 于 32 个并发请求时损失 69% 吞吐量后排除了它。关于 Gemma 4 26B 的后续研究把同样的方法用在了 BroadNet 以 Gemma 4 VL 26B 名义销售的混合专家模型上。这与 BroadNet 更广泛的部署选择有何关系,见 BroadNet 的 GPU 硬件与部署方式。
如果你自己运行 vLLM 服务器,实用的教训是:在你实际运行的并发水平下对任何草稿方法做基准测试,而不是只测单流。
