---
title: "vLLM 中的 Uno：BroadNet 部署研究、DOI 与结果 | BroadRouter"
description: "BroadNet 把 Uno 自草稿适配器集成进 vLLM，并在 H100 上测量：单流吞吐量是普通 vLLM 的 2.58 倍，32 流时 1.74 倍。本文介绍方法、DOI 和局限。"
url: https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/uno-in-vllm-serving-study/)（2026-11-15 更新）。

# vLLM 中的 Uno：BroadNet 部署研究测了什么

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 2026-11-15

Uno in vLLM 是 BroadNet 2026 年 9 月的预印本（DOI 10.5281/zenodo.22652610），把 Uno（一种让模型自己起草 token 的适配器）加入 vLLM。在 H100 和 Qwen3-8B 上，BroadNet 测得吞吐量为普通 vLLM 的 2.58 倍（单流）、2.20 倍（8 流）和 1.74 倍（32 流），与参考实现相差不到 3%。

## 要点

-   论文是 Zenodo 上的预印本，DOI 10.5281/zenodo.22652610，2026 年 9 月 8 日以 CC BY 4.0 发布，未经同行评审。
-   Uno 是 IFM 的方法；BroadNet 的贡献是原生 vLLM 集成和部署测量。
-   在受控的 H100 + Qwen3-8B 数学工作负载上：单流为普通 vLLM 的 2.58 倍，8 流 2.20 倍，32 流 1.74 倍。
-   采用生产设置时，32 流下每秒 7,657 个 token，SGLang 参考实现为 7,505。
-   这些提升只针对一个模型、一种工作负载和特定设置。在依赖它们之前，请用你自己的流量测量。

**本页内容**

1.  Uno 要解决什么问题？
2.  BroadNet 做了什么？
3.  是怎么测量的？
4.  研究发现了什么？
5.  有哪些局限？
6.  如果你只是调用 API，这有什么关系？

Uno in vLLM 是 BroadNet 研究部门的一篇预印本，2026 年 9 月 8 日发布在 Zenodo 上，DOI 为 [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610)。它报告了 Uno（IFM 开发的一种投机解码方法）的原生 vLLM 实现，并测量了它比普通 vLLM 快多少。Zenodo 记录中列出的作者是 Mohammad Al Zubaidi。

本页总结论文说了什么、怎么测的，以及它能告诉你什么、不能告诉你什么。数字来自 BroadNet；我们没有复现。

## Uno 要解决什么问题？

语言模型通常每次前向计算生成一个 token。投机解码通过预先猜测几个 token、再用完整模型一次验证来加速。大多数方法使用一个单独的、更小的草稿模型。Uno 则在模型本身上挂一个经过训练的适配器，让模型自己起草 token，再用原始权重验证。基本思路见[投机解码](https://broadrouter.com/zh/glossary/speculative-decoding/)。

论文的问题很实际：在有批处理、缓存和大量并发请求的生产推理引擎里，这种加速还能保住吗？

## BroadNet 做了什么？

BroadNet 的博客文章对功劳归属写得很清楚：“Uno, developed by IFM and collaborators”（译文：由 IFM 及合作者开发的 Uno）是方法本身，BroadNet 的贡献是 “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”（译文：原生 vLLM 集成、让各执行路径协同工作的工程实现，以及部署评估）。摘要列出了各个执行组件：条件式适配器路由、完整的草稿 key/value 状态、异步调度、CUDA graph 重放、重叠的适配器计算和种子行复用。

代码公开在 BroadNet 的 [vllm-uno 代码库](https://github.com/brntech/vllm-uno)中，BroadNet 已将其作为 pull request 55947 提交给 vLLM 上游。

## 是怎么测量的？

主要测试是一项受控测试：

-   **硬件和模型：** 一张 NVIDIA H100，bfloat16 精度的 Qwen3-8B，使用已发布的 Qwen3-8B Uno 适配器。
-   **工作负载：** 八条数学提示词，循环使用以填满更大的批次，每条最多生成 512 个 token，关闭前缀缓存。
-   **基线：** 同一环境下普通的自回归 vLLM（“普通 vLLM”）。
-   **并发：** 1、8 和 32 个同时进行的流。

另一项独立的对比开启前缀缓存，使用 BroadNet 选定的部署设置，与 SGLang 参考实现做比较。

## 研究发现了什么？

| 测量项 | BroadNet 报告的结果 |
| --- | --- |
| 相对普通 vLLM 的吞吐量，1 流 | 2.58 倍 |
| 相对普通 vLLM 的吞吐量，8 流 | 2.20 倍 |
| 相对普通 vLLM 的吞吐量，32 流 | 1.74 倍 |
| 与 SGLang 参考实现的差距 | 1、8、32 流下均在 3% 以内 |
| 生产设置，32 流 | 每秒 7,657 个 token，SGLang 为 7,505（领先 2.0%） |
| 热启动首 token 延迟，vLLM 内部消融实验 | 用两个 API 进程代替一个，降低 25% |

对容量规划来说，关键是第一组的最后一行：同一张 GPU，在 32 个并发流下每秒输出多 74%。BroadNet 的博客称之为 “the central payoff”（译文：核心收益），因为一到负载下就消失的加速，对共享 API 几乎没有帮助。

BroadNet 的博客还介绍了后来的一个版本（v0.2.0，基于 vLLM 的 Model Runner V2）：单流输出在 Blackwell 上为 2.1 到 2.4 倍，在 Ampere 上为 1.7 到 1.9 倍，在 Hopper 上为 2.6 倍。这些与论文主表的硬件和版本不同，所以数字也不同。

## 有哪些局限？

-   **一个模型、一种工作负载。** 受控结果是 Qwen3-8B 在数学提示词上的表现。代码、对话或长文档能接受的草稿 token 可能更少。
-   **负载越高，提升越小。** 从 2.58 倍到 1.74 倍的趋势符合预期：GPU 忙碌时，可用于起草的空闲算力就耗尽了。
-   **是预印本。** 论文存放在 Zenodo 上，未经同行评审。配套存档包含证据清单和图表数据，这正是他人能够核查它的依据。
-   **自行报告。** 两组实验都是 BroadNet 运行的。与参考实现 3% 以内的一致性，是论文对此的自我核查。

## 如果你只是调用 API，这有什么关系？

每张 GPU 的吞吐量决定了服务商能收多少钱，以及在负载下回答有多快。BroadNet 的目录报告，它会在真实并发下测量各种草稿方法后再做选择，并且在 EAGLE3 于 32 个并发请求时损失 69% 吞吐量后排除了它。[关于 Gemma 4 26B 的后续研究](https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/)把同样的方法用在了 BroadNet 以 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 名义销售的混合专家模型上。这与 BroadNet 更广泛的部署选择有何关系，见 [BroadNet 的 GPU 硬件与部署方式](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)。

如果你自己运行 vLLM 服务器，实用的教训是：在你实际运行的并发水平下对任何草稿方法做基准测试，而不是只测单流。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[vLLM](https://broadrouter.com/zh/glossary/vllm/)

vLLM 是一个用于 LLM 推理和服务部署的开源库，最初由加州大学伯克利分校 Sky Computing Lab 开发。它用 PagedAttention 管理 KV 缓存内存，对请求做连续批处理，支持多种量化格式，并提供 OpenAI 兼容的 HTTP 服务器。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/)

混合专家模型（MoE）是一种神经网络设计：一层中包含许多专家子网络，由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大，但每个 token 只使用一小部分激活参数。

[投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)

投机解码是一种推理技术：由一个小而快的草稿模型提出接下来的若干 token，大的目标模型在一次前向计算中验证它们，并保留被接受的部分。它能加快生成，而不改变输出的分布。

## 常见问题

### Uno 是什么？

Uno 是 IFM 及合作者开发的一种投机解码方法。一个经过训练的小适配器让模型一次提出多个 token，再由模型自身的权重验证。不需要单独的草稿模型。

### 这种加速是无损的吗？

BroadNet 对其发布版是这样说的：只要普通 vLLM 能复现自己的输出，Uno 就与它的贪心解码 token 一致，采样分布测试也都通过。投机解码会用完整模型验证每个草稿 token，所以输出质量不应改变；请在你自己的提示词上验证。

### Uno 在高并发下还有用吗？

效果不如低并发时。在论文的受控测试中，提升从单流的 2.58 倍降到 32 流的 1.74 倍。BroadNet 的目录还报告，另一种方法 EAGLE3 在 32 个并发请求时损失了 69% 的吞吐量，所以草稿方法需要在你的真实负载下测试。

### 我可以自己运行吗？

可以。BroadNet 在 vllm-uno 代码库中发布了实现，每个版本都附有容器镜像、锁定的依赖版本和验证记录，并已作为 pull request 55947 提交给 vLLM。

### BroadNet Inference 的 API 模型用了 Uno 吗？

BroadNet 没有这样说。其目录列出 Gemma 4 26B 在生产中使用多 token 预测草稿模型（k=2）。Uno 是 BroadNet 发布的研究成果；如果你需要在私有端点上使用它，请询问 BroadNet。

## 继续阅读

-   [Gemma 4 26B 上的 Uno：BroadNet 的混合专家（MoE）研究](https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [BroadNet 评估后淘汰了哪些模型，原因是什么](https://broadrouter.com/zh/blog/models-broadnet-ruled-out/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [把人工复核纳入文档 AI 工作流](https://broadrouter.com/zh/blog/document-review-queues/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**来源**

-   [Al Zubaidi，Uno in vLLM: An Independent Implementation and Empirical Serving Study，Zenodo 预印本 v1.0，2026-09-08（记录于 2026-11-15 获取）](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research：已发表论文与主要发现（2026-11-15 获取）（英文）](https://www.broadnet.ai/research)
-   [BroadNet 博客：Bringing Uno to vLLM（2026 年 9 月 8 日；2026-11-15 获取）（英文）](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno 代码库，BroadNet（2026-11-15 获取）](https://github.com/brntech/vllm-uno)
-   [IFM：Uno 项目代码库（2026-11-15 获取）](https://github.com/ifm-ai/uno)
