BroadRouter

Gemma 4 26B 上的 Uno:BroadNet 的混合专家(MoE)研究

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于 · 更新于

BroadNet 2026 年 9 月的预印本(DOI 10.5281/zenodo.22820511)首次为混合专家模型 Gemma 4 26B A4B(4-bit 部署)训练了 Uno 适配器。在 72 条生产提示词上,它比普通解码快 1.166 倍,落后于两个独立草稿模型的 1.474 和 1.553;但在约 10,500 token 的上下文中,它超过了生产用的草稿模型。

BroadNet 的第二篇 Uno 预印本首次把自草稿(self-drafting)用在混合专家模型上。它于 2026 年 9 月 18 日发布在 Zenodo 上,DOI 为 10.5281/zenodo.22820511,以 4-bit 部署 Gemma 4 26B A4B,并为它训练了一个 Uno 适配器。目标模型与 BroadNet Inference 上的 BroadNet Gemma 4 VL 26B 是同一个基座模型。

它是 Uno 在 vLLM 中的部署研究的后续,那项研究测试的是一个 8B 稠密模型。下面的数字都来自 BroadNet;我们没有复现。

要回答的问题是什么?

投机解码先起草若干 token,再一次性验证。在混合专家模型上还有一个额外的担忧:草稿中的各行可能被路由到不同的专家,所以起草四个 token 读取的专家权重可能远多于生成一个 token。论文要回答的是:这种 “专家扇出”(expert fan-out)是否会让自草稿代价过高,以及自草稿什么时候能胜过独立的草稿模型。

BroadNet 是怎么测试的?

根据论文摘要和 BroadNet 的方法说明:

  • 模型: Gemma 4 26B A4B,每个 token 激活约 4B 参数,4-bit 权重。
  • 硬件: 24 GB 级 GPU,一次一个序列。
  • 工作负载: 来自 BroadNet 生产流量的 72 条提示词;每个加速比都除以同一会话中普通解码的结果。
  • 长上下文: 另一组 5 条约 10,500 token 的提示词。
  • 适配器: 秩 16,在 965 行数据上训练,训练时使用的就是部署用的同一个 4-bit 检查点,单张 24 GB GPU,全程不使用全精度权重。

发现了什么?

Gemma 4 26B A4B 的解码方式 相对普通解码的加速比
普通解码 1.000
Uno 试点适配器,宽度 4 1.166
多 token 预测草稿模型,宽度 2 1.474
块草稿模型,宽度 8 1.553
约 10,500 token 上下文中的 Uno 1.089(MTP 草稿模型:1.011)

BroadNet 报告的其他结果:

  • 训练有效。 经过 1,500 次更新,接受比例从 42.4% 升到 48.9%;更大的 2,000 行语料让每个验证步多接受 0.49 个草稿 token。
  • 专家扇出确实存在,但代价很低。 四个草稿行触及 22 个不同的专家,而单行只触及 8 个;但在约 2.4 步的周期中,与行相关的全部开销上限为 0.53 步。BroadNet 的结论是,在这类硬件上路由开销 “worth under a fifth of a cycle”(译文:不到一个周期的五分之一)。
  • 无损。 对于一个普通输出在不同会话间本身就无法完全复现的配置,BroadNet 专门构建了检查,并报告 Uno “as close to plain as plain is to itself”(译文:与普通解码的接近程度,等同于普通解码与其自身的接近程度)。
  • 五种语言。 论文给出了它所称的首次跨五种语言测量该适配器接受率的结果。

实际意味着什么?

论文自己的规则很简单:如果你的模型有好用的小草稿模型,就用它;自草稿的用武之地在长上下文,以及没有草稿模型的模型上。这与 BroadNet 自称的实际做法一致:其模型目录列出 Gemma 4 26B 在生产中使用多 token 预测草稿模型(k=2),“90%+ acceptance on structured prompts”(译文:结构化提示词上接受率 90% 以上)。

草稿模型在生产中能带来多少提升?BroadNet 的目录报告,多 token 预测在 RTX 3090 上提升了 48.8%;其 Gemma 4 VL 26B 页面给出开启投机解码时单流约每秒 136 个 token。这两个都是 BroadNet 在其模型页所描述的部署配置上测得的,所以你通过 API 得到的速度还取决于负载,以及提示词和回答的长度。

对 API 买家来说,有用的是方法,而不是适配器本身。BroadNet 说,它部署的每个模型在交付给客户之前都要过这一遍计算:先测出一个草稿周期的成本,再挑出在实际工作负载上胜出的草稿模型。同样的原则也让它在饱和部署场景下排除了 EAGLE3。

有哪些局限?

  • 仅限单流。 一次一个序列,每组只跑一次。批量部署的表现不同,稠密模型研究已经说明了这一点。
  • 只有一个模型。 结果针对 24 GB 级显卡上 4-bit 的 Gemma 4 26B A4B。
  • 是预印本。 Zenodo 上的 2.3 版,未经同行评审,附有配套的证据存档。

vllm-uno 的 v0.3.0 发布版提供了部署配置、容器镜像和验证记录,这些数字可以核查。想直接试用已部署的模型,BroadNet 的浏览器 Playground 无需账户即可运行 Gemma 4。

常见问题

什么是混合专家(MoE)模型?

这种模型的每一层包含许多 “专家” 子网络,每个 token 只运行其中少数几个。Gemma 4 26B A4B 总参数 26B,每个 token 激活约 4B,所以就其规模而言部署成本很低。

为什么这里 Uno 适配器比其他草稿模型慢?

论文认为这是结构性的:一个自草稿周期需要完整模型做两次前向计算,而独立草稿模型用一个小网络替代了其中一次。所以只要有专用的小草稿模型,它通常会胜出。

自草稿什么时候划算?

按论文的说法,在长上下文中,更宽的草稿每个周期能提交更多 token(约 10,500 token 时为 1.089 倍对 1.011 倍);以及在根本没有小草稿模型的模型上。

BroadNet 的 Gemma 4 API 用的是这个适配器吗?

BroadNet 的模型页说,其 Gemma 4 26B 版本采用多 token 预测投机解码(k=2)部署。Uno 适配器是作为研究成果发布的;BroadNet 没有说它用这个适配器处理 API 流量。

可以下载这个适配器吗?

可以。BroadNet 在 Hugging Face 上以 Broadnet/gemma-4-26B-A4B-uno-pilot-adapter 发布,部署配置和容器镜像在 vllm-uno 的 v0.3.0 发布版中。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity