---
title: "Gemma 4 26B MoE 上的 Uno：BroadNet 研究与 DOI | BroadRouter"
description: "BroadNet 首次为混合专家模型 Gemma 4 26B A4B 训练了 Uno 自草稿适配器。本文介绍它测了什么、自草稿何时划算，以及论文 DOI。"
url: https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/)（2026-11-16 更新）。

# Gemma 4 26B 上的 Uno：BroadNet 的混合专家（MoE）研究

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

BroadNet 2026 年 9 月的预印本（DOI 10.5281/zenodo.22820511）首次为混合专家模型 Gemma 4 26B A4B（4-bit 部署）训练了 Uno 适配器。在 72 条生产提示词上，它比普通解码快 1.166 倍，落后于两个独立草稿模型的 1.474 和 1.553；但在约 10,500 token 的上下文中，它超过了生产用的草稿模型。

## 要点

-   Zenodo 预印本，DOI 10.5281/zenodo.22820511，2.3 版，2026 年 9 月 18 日，CC BY 4.0。未经同行评审。
-   目标模型：Gemma 4 26B A4B，即 BroadNet Gemma 4 VL 26B 的基座，以 4-bit 权重部署。
-   在 965 行数据上训练的秩 16 适配器，把草稿接受率从 42.4% 提高到 48.9%。
-   相对普通解码的加速比：Uno 适配器 1.166 倍，多 token 预测草稿模型 1.474 倍，块草稿模型 1.553 倍。
-   在约 10,500 token 的上下文中，适配器超过了生产用的草稿模型：1.089 倍对 1.011 倍。

**本页内容**

1.  要回答的问题是什么？
2.  BroadNet 是怎么测试的？
3.  发现了什么？
4.  实际意味着什么？
5.  有哪些局限？

BroadNet 的第二篇 Uno 预印本首次把自草稿（self-drafting）用在[混合专家](https://broadrouter.com/zh/glossary/mixture-of-experts/)模型上。它于 2026 年 9 月 18 日发布在 Zenodo 上，DOI 为 [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511)，以 4-bit 部署 Gemma 4 26B A4B，并为它训练了一个 Uno 适配器。目标模型与 BroadNet Inference 上的 [BroadNet Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 是同一个基座模型。

它是 [Uno 在 vLLM 中的部署研究](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)的后续，那项研究测试的是一个 8B 稠密模型。下面的数字都来自 BroadNet；我们没有复现。

## 要回答的问题是什么？

投机解码先起草若干 token，再一次性验证。在混合专家模型上还有一个额外的担忧：草稿中的各行可能被路由到不同的专家，所以起草四个 token 读取的专家权重可能远多于生成一个 token。论文要回答的是：这种 “专家扇出”（expert fan-out）是否会让自草稿代价过高，以及自草稿什么时候能胜过独立的草稿模型。

## BroadNet 是怎么测试的？

根据论文摘要和 BroadNet 的方法说明：

-   **模型：** Gemma 4 26B A4B，每个 token 激活约 4B 参数，4-bit 权重。
-   **硬件：** 24 GB 级 GPU，一次一个序列。
-   **工作负载：** 来自 BroadNet 生产流量的 72 条提示词；每个加速比都除以同一会话中普通解码的结果。
-   **长上下文：** 另一组 5 条约 10,500 token 的提示词。
-   **适配器：** 秩 16，在 965 行数据上训练，训练时使用的就是部署用的同一个 4-bit 检查点，单张 24 GB GPU，全程不使用全精度权重。

## 发现了什么？

| Gemma 4 26B A4B 的解码方式 | 相对普通解码的加速比 |
| --- | --- |
| 普通解码 | 1.000 |
| Uno 试点适配器，宽度 4 | 1.166 |
| 多 token 预测草稿模型，宽度 2 | 1.474 |
| 块草稿模型，宽度 8 | 1.553 |
| 约 10,500 token 上下文中的 Uno | 1.089（MTP 草稿模型：1.011） |

BroadNet 报告的其他结果：

-   **训练有效。** 经过 1,500 次更新，接受比例从 42.4% 升到 48.9%；更大的 2,000 行语料让每个验证步多接受 0.49 个草稿 token。
-   **专家扇出确实存在，但代价很低。** 四个草稿行触及 22 个不同的专家，而单行只触及 8 个；但在约 2.4 步的周期中，与行相关的全部开销上限为 0.53 步。BroadNet 的结论是，在这类硬件上路由开销 “worth under a fifth of a cycle”（译文：不到一个周期的五分之一）。
-   **无损。** 对于一个普通输出在不同会话间本身就无法完全复现的配置，BroadNet 专门构建了检查，并报告 Uno “as close to plain as plain is to itself”（译文：与普通解码的接近程度，等同于普通解码与其自身的接近程度）。
-   **五种语言。** 论文给出了它所称的首次跨五种语言测量该适配器接受率的结果。

## 实际意味着什么？

论文自己的规则很简单：如果你的模型有好用的小草稿模型，就用它；自草稿的用武之地在长上下文，以及没有草稿模型的模型上。这与 BroadNet 自称的实际做法一致：其模型目录列出 Gemma 4 26B 在生产中使用多 token 预测草稿模型（k=2），“90%+ acceptance on structured prompts”（译文：结构化提示词上接受率 90% 以上）。

草稿模型在生产中能带来多少提升？BroadNet 的目录报告，多 token 预测在 RTX 3090 上提升了 48.8%；其 Gemma 4 VL 26B 页面给出开启投机解码时单流约每秒 136 个 token。这两个都是 BroadNet 在其模型页所描述的部署配置上测得的，所以你通过 API 得到的速度还取决于负载，以及提示词和回答的长度。

对 API 买家来说，有用的是方法，而不是适配器本身。BroadNet 说，它部署的每个模型在交付给客户之前都要过这一遍计算：先测出一个草稿周期的成本，再挑出在实际工作负载上胜出的草稿模型。同样的原则也让它在饱和部署场景下[排除了 EAGLE3](https://broadrouter.com/zh/blog/models-broadnet-ruled-out/)。

## 有哪些局限？

-   **仅限单流。** 一次一个序列，每组只跑一次。批量部署的表现不同，稠密模型研究已经说明了这一点。
-   **只有一个模型。** 结果针对 24 GB 级显卡上 4-bit 的 Gemma 4 26B A4B。
-   **是预印本。** Zenodo 上的 2.3 版，未经同行评审，附有配套的证据存档。

[vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) 的 v0.3.0 发布版提供了部署配置、容器镜像和验证记录，这些数字可以核查。想直接试用已部署的模型，BroadNet 的[浏览器 Playground](https://broadrouter.com/zh/guides/try-broadnet-inference-playground/) 无需账户即可运行 Gemma 4。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)

投机解码是一种推理技术：由一个小而快的草稿模型提出接下来的若干 token，大的目标模型在一次前向计算中验证它们，并保留被接受的部分。它能加快生成，而不改变输出的分布。

[混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/)

混合专家模型（MoE）是一种神经网络设计：一层中包含许多专家子网络，由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大，但每个 token 只使用一小部分激活参数。

[vLLM](https://broadrouter.com/zh/glossary/vllm/)

vLLM 是一个用于 LLM 推理和服务部署的开源库，最初由加州大学伯克利分校 Sky Computing Lab 开发。它用 PagedAttention 管理 KV 缓存内存，对请求做连续批处理，支持多种量化格式，并提供 OpenAI 兼容的 HTTP 服务器。

## 常见问题

### 什么是混合专家（MoE）模型？

这种模型的每一层包含许多 “专家” 子网络，每个 token 只运行其中少数几个。Gemma 4 26B A4B 总参数 26B，每个 token 激活约 4B，所以就其规模而言部署成本很低。

### 为什么这里 Uno 适配器比其他草稿模型慢？

论文认为这是结构性的：一个自草稿周期需要完整模型做两次前向计算，而独立草稿模型用一个小网络替代了其中一次。所以只要有专用的小草稿模型，它通常会胜出。

### 自草稿什么时候划算？

按论文的说法，在长上下文中，更宽的草稿每个周期能提交更多 token（约 10,500 token 时为 1.089 倍对 1.011 倍）；以及在根本没有小草稿模型的模型上。

### BroadNet 的 Gemma 4 API 用的是这个适配器吗？

BroadNet 的模型页说，其 Gemma 4 26B 版本采用多 token 预测投机解码（k=2）部署。Uno 适配器是作为研究成果发布的；BroadNet 没有说它用这个适配器处理 API 流量。

### 可以下载这个适配器吗？

可以。BroadNet 在 Hugging Face 上以 Broadnet/gemma-4-26B-A4B-uno-pilot-adapter 发布，部署配置和容器镜像在 vllm-uno 的 v0.3.0 发布版中。

## 继续阅读

-   [vLLM 中的 Uno：BroadNet 部署研究测了什么](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [BroadNet 评估后淘汰了哪些模型，原因是什么](https://broadrouter.com/zh/blog/models-broadnet-ruled-out/)
-   [百万 token 上下文窗口什么时候值得用（什么时候不值得）](https://broadrouter.com/zh/blog/million-token-context-window-guide/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [把人工复核纳入文档 AI 工作流](https://broadrouter.com/zh/blog/document-review-queues/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**来源**

-   [Al Zubaidi，Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B，Zenodo 预印本 v2.3，2026-09-18（记录于 2026-11-15 获取）](https://doi.org/10.5281/zenodo.22820511)
-   [BroadNet 博客：Uno for vLLM now runs mixture-of-experts models（2026 年 9 月 17 日；2026-11-15 获取）（英文）](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research：主要发现（2026-11-15 获取）（英文）](https://www.broadnet.ai/research)
-   [vllm-uno v0.3.0 发布版（2026-11-15 获取）](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [BroadNet Gemma 4 VL 26B 模型页：部署配置（2026-11-15 获取）（英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
