BroadRouter

vLLM 中的 Uno:BroadNet 部署研究测了什么

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于

Uno in vLLM 是 BroadNet 2026 年 9 月的预印本(DOI 10.5281/zenodo.22652610),把 Uno(一种让模型自己起草 token 的适配器)加入 vLLM。在 H100 和 Qwen3-8B 上,BroadNet 测得吞吐量为普通 vLLM 的 2.58 倍(单流)、2.20 倍(8 流)和 1.74 倍(32 流),与参考实现相差不到 3%。

Uno in vLLM 是 BroadNet 研究部门的一篇预印本,2026 年 9 月 8 日发布在 Zenodo 上,DOI 为 10.5281/zenodo.22652610。它报告了 Uno(IFM 开发的一种投机解码方法)的原生 vLLM 实现,并测量了它比普通 vLLM 快多少。Zenodo 记录中列出的作者是 Mohammad Al Zubaidi。

本页总结论文说了什么、怎么测的,以及它能告诉你什么、不能告诉你什么。数字来自 BroadNet;我们没有复现。

Uno 要解决什么问题?

语言模型通常每次前向计算生成一个 token。投机解码通过预先猜测几个 token、再用完整模型一次验证来加速。大多数方法使用一个单独的、更小的草稿模型。Uno 则在模型本身上挂一个经过训练的适配器,让模型自己起草 token,再用原始权重验证。基本思路见投机解码。

论文的问题很实际:在有批处理、缓存和大量并发请求的生产推理引擎里,这种加速还能保住吗?

BroadNet 做了什么?

BroadNet 的博客文章对功劳归属写得很清楚:“Uno, developed by IFM and collaborators”(译文:由 IFM 及合作者开发的 Uno)是方法本身,BroadNet 的贡献是 “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”(译文:原生 vLLM 集成、让各执行路径协同工作的工程实现,以及部署评估)。摘要列出了各个执行组件:条件式适配器路由、完整的草稿 key/value 状态、异步调度、CUDA graph 重放、重叠的适配器计算和种子行复用。

代码公开在 BroadNet 的 vllm-uno 代码库中,BroadNet 已将其作为 pull request 55947 提交给 vLLM 上游。

是怎么测量的?

主要测试是一项受控测试:

  • 硬件和模型: 一张 NVIDIA H100,bfloat16 精度的 Qwen3-8B,使用已发布的 Qwen3-8B Uno 适配器。
  • 工作负载: 八条数学提示词,循环使用以填满更大的批次,每条最多生成 512 个 token,关闭前缀缓存。
  • 基线: 同一环境下普通的自回归 vLLM(“普通 vLLM”)。
  • 并发: 1、8 和 32 个同时进行的流。

另一项独立的对比开启前缀缓存,使用 BroadNet 选定的部署设置,与 SGLang 参考实现做比较。

研究发现了什么?

测量项 BroadNet 报告的结果
相对普通 vLLM 的吞吐量,1 流 2.58 倍
相对普通 vLLM 的吞吐量,8 流 2.20 倍
相对普通 vLLM 的吞吐量,32 流 1.74 倍
与 SGLang 参考实现的差距 1、8、32 流下均在 3% 以内
生产设置,32 流 每秒 7,657 个 token,SGLang 为 7,505(领先 2.0%)
热启动首 token 延迟,vLLM 内部消融实验 用两个 API 进程代替一个,降低 25%

对容量规划来说,关键是第一组的最后一行:同一张 GPU,在 32 个并发流下每秒输出多 74%。BroadNet 的博客称之为 “the central payoff”(译文:核心收益),因为一到负载下就消失的加速,对共享 API 几乎没有帮助。

BroadNet 的博客还介绍了后来的一个版本(v0.2.0,基于 vLLM 的 Model Runner V2):单流输出在 Blackwell 上为 2.1 到 2.4 倍,在 Ampere 上为 1.7 到 1.9 倍,在 Hopper 上为 2.6 倍。这些与论文主表的硬件和版本不同,所以数字也不同。

有哪些局限?

  • 一个模型、一种工作负载。 受控结果是 Qwen3-8B 在数学提示词上的表现。代码、对话或长文档能接受的草稿 token 可能更少。
  • 负载越高,提升越小。 从 2.58 倍到 1.74 倍的趋势符合预期:GPU 忙碌时,可用于起草的空闲算力就耗尽了。
  • 是预印本。 论文存放在 Zenodo 上,未经同行评审。配套存档包含证据清单和图表数据,这正是他人能够核查它的依据。
  • 自行报告。 两组实验都是 BroadNet 运行的。与参考实现 3% 以内的一致性,是论文对此的自我核查。

如果你只是调用 API,这有什么关系?

每张 GPU 的吞吐量决定了服务商能收多少钱,以及在负载下回答有多快。BroadNet 的目录报告,它会在真实并发下测量各种草稿方法后再做选择,并且在 EAGLE3 于 32 个并发请求时损失 69% 吞吐量后排除了它。关于 Gemma 4 26B 的后续研究把同样的方法用在了 BroadNet 以 Gemma 4 VL 26B 名义销售的混合专家模型上。这与 BroadNet 更广泛的部署选择有何关系,见 BroadNet 的 GPU 硬件与部署方式。

如果你自己运行 vLLM 服务器,实用的教训是:在你实际运行的并发水平下对任何草稿方法做基准测试,而不是只测单流。

常见问题

Uno 是什么?

Uno 是 IFM 及合作者开发的一种投机解码方法。一个经过训练的小适配器让模型一次提出多个 token,再由模型自身的权重验证。不需要单独的草稿模型。

这种加速是无损的吗?

BroadNet 对其发布版是这样说的:只要普通 vLLM 能复现自己的输出,Uno 就与它的贪心解码 token 一致,采样分布测试也都通过。投机解码会用完整模型验证每个草稿 token,所以输出质量不应改变;请在你自己的提示词上验证。

Uno 在高并发下还有用吗?

效果不如低并发时。在论文的受控测试中,提升从单流的 2.58 倍降到 32 流的 1.74 倍。BroadNet 的目录还报告,另一种方法 EAGLE3 在 32 个并发请求时损失了 69% 的吞吐量,所以草稿方法需要在你的真实负载下测试。

我可以自己运行吗?

可以。BroadNet 在 vllm-uno 代码库中发布了实现,每个版本都附有容器镜像、锁定的依赖版本和验证记录,并已作为 pull request 55947 提交给 vLLM。

BroadNet Inference 的 API 模型用了 Uno 吗?

BroadNet 没有这样说。其目录列出 Gemma 4 26B 在生产中使用多 token 预测草稿模型(k=2)。Uno 是 BroadNet 发布的研究成果;如果你需要在私有端点上使用它,请询问 BroadNet。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity