---
title: "Gemma 4 26B MoE での Uno：BroadNet の研究と DOI | BroadRouter"
description: "BroadNet は Mixture of Experts モデル Gemma 4 26B A4B 向けに初めて Uno 自己ドラフトアダプターを学習させました。測定内容、自己ドラフトが有利な場面、DOI を紹介します。"
url: https://broadrouter.com/ja/blog/uno-mixture-of-experts-gemma-4-study/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/)（2026-11-16 更新）。

# Gemma 4 26B での Uno：BroadNet の Mixture of Experts 研究

BroadNet Inference チーム · 約 3 分で読めます · 公開日 2026-11-15 · 更新日 2026-11-16

BroadNet の 2026 年 9 月のプレプリント（DOI 10.5281/zenodo.22820511）は、4-bit で提供する MoE モデル Gemma 4 26B A4B 向けに初めて Uno アダプターを学習させました。72 件の本番プロンプトで通常デコードの 1.166 倍と、2 つの独立ドラフターの 1.474 倍・1.553 倍に及びませんが、約 10,500 トークンの文脈では本番ドラフターを上回りました。

## 要点

-   Zenodo のプレプリント、DOI 10.5281/zenodo.22820511、バージョン 2.3、2026 年 9 月 18 日、CC BY 4.0。査読は受けていません。
-   対象：Gemma 4 26B A4B。BroadNet Gemma 4 VL 26B のベースモデルで、4-bit の重みで提供されています。
-   965 行で学習したランク 16 のアダプターにより、受理されるドラフトの割合が 42.4% から 48.9% に上がりました。
-   通常デコードに対する高速化：Uno アダプター 1.166 倍、マルチトークン予測ドラフター 1.474 倍、ブロックドラフター 1.553 倍。
-   約 10,500 トークンの文脈では、アダプターが本番ドラフターを上回りました（1.089 倍対 1.011 倍）。

**このページの内容**

1.  何を明らかにしようとしたのですか？
2.  BroadNet はどう検証したのですか？
3.  何がわかったのですか？
4.  実際には何を意味しますか？
5.  限界は何ですか？

BroadNet の 2 本目の Uno プレプリントは、自己ドラフト（self-drafting）を初めて [Mixture of Experts](https://broadrouter.com/ja/glossary/mixture-of-experts/) モデルに適用したものです。2026 年 9 月 18 日に DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511) で Zenodo に公開され、Gemma 4 26B A4B を 4-bit で提供し、そのための Uno アダプターを学習させています。対象モデルは、BroadNet Inference の [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) と同じベースモデルです。

これは、密な 8B モデルを検証した [vLLM での Uno サービング研究](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/)の続編です。以下の数値は BroadNet のもので、当サイトでは再現していません。

## 何を明らかにしようとしたのですか？

投機的デコーディングは、複数のトークンを下書きし、1 回のパスでまとめて検証します。Mixture of Experts モデルには追加の懸念があります。ドラフトの各行が別々のエキスパートにルーティングされる可能性があるため、4 トークンを下書きすると、1 トークンを生成するよりはるかに多くのエキスパートの重みを読むかもしれません。論文は、この「エキスパートのファンアウト」で自己ドラフトのコストが高くなりすぎないか、そして自己ドラフトが独立したドラフターに勝つのはいつかを問うています。

## BroadNet はどう検証したのですか？

論文の要旨と BroadNet の手法の説明によると、次のとおりです。

-   **モデル：** Gemma 4 26B A4B。トークンあたりのアクティブパラメーターは約 4B、重みは 4-bit。
-   **ハードウェア：** 24 GB クラスの GPU、1 度に 1 シーケンス。
-   **ワークロード：** BroadNet の本番トラフィックから取った 72 件のプロンプト。各高速化率は、同じセッションの通常デコードの結果で割っています。
-   **長い文脈：** 約 10,500 トークンのプロンプト 5 件からなる別セット。
-   **アダプター：** ランク 16。965 行で、提供時と同じ 4-bit チェックポイントを通して、24 GB の GPU 1 枚で学習。ループ内でフル精度の重みは一切使っていません。

## 何がわかったのですか？

| Gemma 4 26B A4B のデコード方法 | 通常デコードに対する高速化 |
| --- | --- |
| 通常デコード | 1.000 |
| Uno パイロットアダプター、幅 4 | 1.166 |
| マルチトークン予測ドラフター、幅 2 | 1.474 |
| ブロックドラフター、幅 8 | 1.553 |
| 約 10,500 トークンの文脈での Uno | 1.089（MTP ドラフター：1.011） |

BroadNet が報告しているその他の結果：

-   **学習は効果があった。** 1,500 回の更新で受理率は 42.4% から 48.9% に上がり、同じレシピで学習した、より大きな 2,000 行のコーパスでは、条件をそろえたアンカー実行より検証ステップあたりの受理ドラフトトークンが 0.49 増えました。
-   **エキスパートのファンアウトは実在するが安い。** 4 行のドラフトは 22 個の異なるエキスパートに触れ、1 行では 8 個でしたが、行に関するコスト全体は約 2.4 ステップのサイクルのうち 0.53 ステップ以内に収まりました。BroadNet は、このクラスのハードウェアではルーティングのコストは “worth under a fifth of a cycle”（訳：1 サイクルの 5 分の 1 未満）だと結論づけています。
-   **ロスレス。** 通常出力自体がセッション間で再現しないプロファイルに対して BroadNet は専用のチェックを作り、Uno は “as close to plain as plain is to itself”（訳：通常デコードが自分自身と一致するのと同程度に通常デコードと一致する）と報告しています。
-   **5 言語。** 論文は、このアダプターの受理率を 5 言語にわたって測定した初の結果だとしています。

## 実際には何を意味しますか？

論文自身のルールは単純です。モデルに優れた小さなドラフターがあればそれを使い、自己ドラフトは長い文脈と、ドラフターのないモデルで真価を発揮します。これは BroadNet が実際に運用していると述べている内容と一致します。同社のカタログでは、Gemma 4 26B は本番でマルチトークン予測ドラフター（k=2）を使い、“90%+ acceptance on structured prompts”（訳：構造化プロンプトで 90% 以上の受理率）とされています。

本番でドラフターはどれだけ効くのでしょうか。BroadNet のカタログによると、マルチトークン予測は RTX 3090 で 48.8% の向上をもたらし、Gemma 4 VL 26B のページでは投機的デコーディング有効時のシングルストリームで毎秒約 136 トークンとされています。どちらも BroadNet 自身の測定で、モデルページに記載のサービング構成によるものなので、API 経由で得られる速度は負荷や、プロンプトと回答の長さにも左右されます。

API の購入者にとって役立つのは、アダプターではなく手法です。BroadNet によれば、提供するすべてのモデルは顧客に届く前にこの計算を経ます。ドラフト 1 サイクルのコストを測り、実際のワークロードで勝つドラフターを選ぶ、というものです。同じ規律から、飽和状態のサービングでは [EAGLE3 を除外](https://broadrouter.com/ja/blog/models-broadnet-ruled-out/)しています。

## 限界は何ですか？

-   **シングルストリームのみ。** 1 度に 1 シーケンス、各条件 1 回の実行です。密モデルの研究が示したとおり、バッチでのサービングは挙動が異なります。
-   **モデルは 1 つ。** 結果は 24 GB クラスのカード上の 4-bit Gemma 4 26B A4B に関するものです。
-   **プレプリント。** Zenodo のバージョン 2.3 で、査読は受けておらず、付属のエビデンスアーカイブが添付されています。

[vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) のリリース v0.3.0 には、サービング用プロファイル、コンテナイメージ、検証記録が含まれているので、数値を確認できます。提供中のモデルそのものを試すなら、BroadNet の[ブラウザー Playground](https://broadrouter.com/ja/guides/try-broadnet-inference-playground/) でアカウントなしに Gemma 4 を動かせます。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[プリフィルとデコード（prefill and decode）](https://broadrouter.com/ja/glossary/prefill-and-decode/)

プリフィルとデコードは LLM 推論の 2 つのフェーズです。プリフィルではプロンプト全体を並列に処理して KV キャッシュを埋め、デコードではそのキャッシュを使って 1 トークンずつ生成します。前者は主に初回トークンまでの時間、後者は出力速度を決めます。

[混合エキスパート（MoE）](https://broadrouter.com/ja/glossary/mixture-of-experts/)

混合エキスパート（MoE）とは、層の中に多数のエキスパート（サブネットワーク）を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。

[vLLM](https://broadrouter.com/ja/glossary/vllm/)

vLLM とは、LLM の推論とサービングのためのオープンソースライブラリで、UC バークレーの Sky Computing Lab で開発が始まりました。PagedAttention で KV キャッシュのメモリを管理し、リクエストを連続的にバッチ処理し、多くの量子化形式に対応し、OpenAI 互換の HTTP サーバーを提供します。

[投機的デコーディング（speculative decoding）](https://broadrouter.com/ja/glossary/speculative-decoding/)

投機的デコーディングとは、小さく高速なドラフトモデルが次のトークンを複数提案し、大きなターゲットモデルが 1 回のフォワードパスでそれを検証して受け入れた分を残す推論手法です。出力の分布を変えずに生成を速くします。

## よくある質問

### Mixture of Experts（MoE）モデルとは何ですか？

各層に多数のエキスパート（部分ネットワーク）を持ち、トークンごとにそのうち少数だけを動かすモデルです。Gemma 4 26B A4B は総パラメーター 26B、トークンあたりのアクティブパラメーターは約 4B で、そのため規模の割に安く提供できます。

### ここで Uno アダプターが他のドラフターより遅いのはなぜですか？

論文は構造的な理由だと説明しています。自己ドラフトの 1 サイクルにはフルモデルのフォワードパスが 2 回必要ですが、独立したドラフターはそのうち 1 回を小さなネットワークに置き換えます。そのため、専用の小さなドラフターがあれば、たいていそちらが勝ちます。

### 自己ドラフトが有利になるのはどんなときですか？

論文によれば、長い文脈で、幅の広いドラフトが 1 サイクルあたりにより多くのトークンを確定できるとき（約 10,500 トークンで 1.089 倍対 1.011 倍）と、小さなドラフターがそもそも存在しないモデルの場合です。

### BroadNet の Gemma 4 API はこのアダプターを使っていますか？

BroadNet のモデルページによると、同社の Gemma 4 26B はマルチトークン予測による投機的デコーディング（k=2）で提供されています。Uno アダプターは研究成果として公開されたもので、BroadNet はこれで API トラフィックを処理しているとは述べていません。

### アダプターはダウンロードできますか？

できます。BroadNet は Hugging Face で Broadnet/gemma-4-26B-A4B-uno-pilot-adapter として公開しており、サービング用プロファイルとコンテナイメージは vllm-uno のリリース v0.3.0 に含まれています。

## 続けて読む

-   [vLLM での Uno：BroadNet のサービング研究は何を測ったか](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [BroadNet が評価して不採用にしたモデルとその理由](https://broadrouter.com/ja/blog/models-broadnet-ruled-out/)
-   [100 万トークンのコンテキストウィンドウが役立つとき（役立たないとき）](https://broadrouter.com/ja/blog/million-token-context-window-guide/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [文書 AI のワークフローに人手のレビューを組み込む](https://broadrouter.com/ja/blog/document-review-queues/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**出典**

-   [Al Zubaidi、Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B、Zenodo プレプリント v2.3、2026-09-18（レコードを 2026-11-15 取得）](https://doi.org/10.5281/zenodo.22820511)
-   [BroadNet ブログ：Uno for vLLM now runs mixture-of-experts models（2026 年 9 月 17 日、2026-11-15 取得）（英語）](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research：主な知見（2026-11-15 取得）（英語）](https://www.broadnet.ai/research)
-   [vllm-uno リリース v0.3.0（2026-11-15 取得）](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [BroadNet Gemma 4 VL 26B モデルページ：サービング構成（2026-11-15 取得）（英語）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
