---
title: "Uno auf Gemma 4 26B MoE: BroadNet-Studie und DOI | BroadRouter"
description: "BroadNet hat den ersten Uno-Self-Drafting-Adapter für ein Mixture-of-Experts-Modell trainiert, Gemma 4 26B A4B. Messungen, Nutzen von Self-Drafting und DOI."
url: https://broadrouter.com/de/blog/uno-mixture-of-experts-gemma-4-study/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (aktualisiert am 2026-11-16).

# Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht 2026-11-15 · Aktualisiert 2026-11-16

Das Preprint von BroadNet vom September 2026 (DOI 10.5281/zenodo.22820511) trainiert den ersten Uno-Adapter für ein Mixture-of-Experts-Modell, Gemma 4 26B A4B mit 4-Bit-Gewichten. Der Adapter dekodiert auf einem Produktions-Workload mit 72 Prompts 1,166-mal schneller als normales Dekodieren und liegt damit hinter zwei separaten Draftern (1,474 und 1,553), führt aber bei etwa 10.500 Tokens Kontext vor dem Produktions-Drafter.

## Das Wichtigste in Kürze

-   Preprint auf Zenodo, DOI 10.5281/zenodo.22820511, Version 2.3, 18. September 2026, CC BY 4.0. Nicht peer-reviewed.
-   Zielmodell: Gemma 4 26B A4B, die Basis von BroadNet Gemma 4 VL 26B, mit 4-Bit-Gewichten betrieben.
-   Ein Rank-16-Adapter, trainiert auf 965 Zeilen, hob den Anteil akzeptierter Drafts von 42,4 % auf 48,9 %.
-   Beschleunigung gegenüber normalem Dekodieren: 1,166x für den Uno-Adapter, 1,474x für einen Multi-Token-Prediction-Drafter, 1,553x für einen Block-Drafter.
-   Bei etwa 10.500 Tokens Kontext lag der Adapter vor dem Produktions-Drafter, 1,089x gegenüber 1,011x.

**Auf dieser Seite**

1.  Was war die Frage?
2.  Wie hat BroadNet das getestet?
3.  Was kam dabei heraus?
4.  Was bedeutet das in der Praxis?
5.  Wo liegen die Grenzen?

Das zweite Uno-Preprint von BroadNet wendet Self-Drafting erstmals auf ein [Mixture-of-Experts](https://broadrouter.com/de/glossary/mixture-of-experts/)\-Modell an. Es wurde am 18. September 2026 unter der DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511) auf Zenodo veröffentlicht, betreibt Gemma 4 26B A4B mit 4 Bit und trainiert dafür einen Uno-Adapter. Das Zielmodell ist dasselbe Basismodell wie [BroadNet Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) auf BroadNet Inference.

Es folgt auf die [Studie zu Uno im vLLM-Serving](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/), die ein dichtes 8B-Modell getestet hat. Die Zahlen unten stammen von BroadNet; wir haben sie nicht nachgemessen.

## Was war die Frage?

Speculative Decoding entwirft mehrere Tokens und verifiziert sie in einem Durchgang. Bei einem Mixture-of-Experts-Modell kommt eine zusätzliche Sorge hinzu: Draft-Zeilen können an verschiedene Experten geroutet werden, sodass vier Draft-Tokens viel mehr Expertengewichte lesen könnten als ein einzelnes generiertes Token. Das Paper fragt, ob dieser „Experten-Fan-out“ Self-Drafting zu teuer macht und wann Self-Drafting einen separaten Drafter schlägt.

## Wie hat BroadNet das getestet?

Laut Abstract des Papers und Methodenangabe von BroadNet:

-   **Modell:** Gemma 4 26B A4B, etwa 4B aktive Parameter pro Token, mit 4-Bit-Gewichten.
-   **Hardware:** GPUs der 24-GB-Klasse, eine Sequenz gleichzeitig.
-   **Workload:** 72 Prompts aus dem Produktions-Traffic von BroadNet; jede Beschleunigung ist durch einen Lauf mit normalem Dekodieren in derselben Session geteilt.
-   **Langer Kontext:** ein separater Satz von fünf Prompts mit etwa 10.500 Tokens.
-   **Adapter:** Rank 16, trainiert auf 965 Zeilen über denselben 4-Bit-Checkpoint, mit dem er betrieben wird, auf einer einzelnen 24-GB-GPU, ohne Gewichte in voller Präzision.

## Was kam dabei heraus?

| Wie Gemma 4 26B A4B dekodiert wurde | Beschleunigung gegenüber normalem Dekodieren |
| --- | --- |
| Normales Dekodieren | 1,000 |
| Uno-Pilot-Adapter, Breite 4 | 1,166 |
| Multi-Token-Prediction-Drafter, Breite 2 | 1,474 |
| Block-Drafter, Breite 8 | 1,553 |
| Uno bei etwa 10.500 Tokens Kontext | 1,089 (MTP-Drafter: 1,011) |

Weitere Ergebnisse, die BroadNet meldet:

-   **Training half.** Der akzeptierte Anteil stieg über 1.500 Updates von 42,4 % auf 48,9 %, und ein größeres Korpus mit 2.000 Zeilen, mit demselben Rezept trainiert, ergab 0,49 akzeptierte Draft-Tokens mehr pro Verifikationsschritt als der passende Vergleichslauf.
-   **Experten-Fan-out ist real, aber billig.** Vier Draft-Zeilen berührten 22 verschiedene Experten gegenüber 8 bei einer Zeile, doch die gesamten zeilenbezogenen Kosten blieben unter 0,53 Schritten in einem Zyklus von etwa 2,4. BroadNet folgert, dass die Routing-Kosten auf dieser Hardwareklasse „worth under a fifth of a cycle“ (Übersetzung: „weniger als ein Fünftel eines Zyklus wert“) sind.
-   **Verlustfrei.** BroadNet hat eine Prüfung für ein Profil gebaut, dessen normale Ausgabe sich über Sessions hinweg nicht selbst reproduziert, und meldet Uno als „as close to plain as plain is to itself“ (Übersetzung: „so nah an normal, wie normal an sich selbst ist“).
-   **Fünf Sprachen.** Das Paper liefert nach eigenen Worten die erste Messung der Akzeptanz dieses Adapters über fünf Sprachen.

## Was bedeutet das in der Praxis?

Die Regel des Papers ist einfach: Gibt es einen guten kleinen Drafter für Ihr Modell, nutzen Sie ihn; Self-Drafting lohnt sich bei langem Kontext und bei Modellen ohne Drafter. Das passt zu dem, was BroadNet nach eigenen Angaben betreibt: Sein Katalog führt Gemma 4 26B in Produktion mit einem Multi-Token-Prediction-Drafter (k=2) und „90%+ acceptance on structured prompts“ (Übersetzung: „über 90 % Akzeptanz bei strukturierten Prompts“).

Wie viel bringt ein Drafter in der Produktion? Laut Katalog von BroadNet brachte Multi-Token-Prediction auf einer RTX 3090 48,8 % mehr, und die Seite zu Gemma 4 VL 26B nennt etwa 136 Tokens pro Sekunde bei einem einzelnen Stream mit aktivem Speculative Decoding. Beides sind eigene Messungen von BroadNet auf der Serving-Konfiguration, die die Modellseite beschreibt; Ihre Geschwindigkeit über die API hängt also auch von der Last und von der Länge Ihres Prompts und der Antwort ab.

Für API-Kunden ist die Methode der nützliche Teil, nicht der Adapter. BroadNet sagt, dass jedes Modell, das es betreibt, diese Rechnung durchläuft, bevor es Kunden erreicht: Kosten eines Draft-Zyklus messen, dann den Drafter wählen, der auf dem tatsächlichen Workload gewinnt. Dieselbe Disziplin führte dazu, [EAGLE3 auszuschließen](https://broadrouter.com/de/blog/models-broadnet-ruled-out/), wenn das Serving ausgelastet ist.

## Wo liegen die Grenzen?

-   **Nur ein Stream.** Eine Sequenz gleichzeitig, ein Lauf pro Variante. Serving mit Batches verhält sich anders, wie die Studie zum dichten Modell gezeigt hat.
-   **Ein Modell.** Die Ergebnisse gelten für Gemma 4 26B A4B mit 4 Bit auf Karten der 24-GB-Klasse.
-   **Ein Preprint.** Version 2.3 auf Zenodo, nicht peer-reviewed, mit einem begleitenden Evidenzarchiv.

Release v0.3.0 von [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) liefert das Serving-Profil, ein Container-Image und das Validierungsprotokoll, sodass sich die Zahlen prüfen lassen. Um das betriebene Modell selbst auszuprobieren, führt der [Browser-Playground](https://broadrouter.com/de/guides/try-broadnet-inference-playground/) von BroadNet Gemma 4 ohne Konto aus.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Speculative Decoding (spekulatives Dekodieren)](https://broadrouter.com/de/glossary/speculative-decoding/)

Speculative Decoding ist eine Inferenztechnik, bei der ein kleines, schnelles Draft-Modell mehrere nächste Tokens vorschlägt und das große Zielmodell sie in einem einzigen Forward Pass prüft und die akzeptierten behält. Das beschleunigt die Generierung, ohne die Verteilung der Ausgabe zu verändern.

[Mixture of Experts (MoE)](https://broadrouter.com/de/glossary/mixture-of-experts/)

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, bei der eine Schicht viele Experten-Teilnetze enthält und ein gelernter Router jedes Token nur an wenige davon schickt. Ein MoE-Sprachmodell hat eine große Gesamtzahl an Parametern, nutzt pro Token aber nur eine kleine aktive Teilmenge.

[Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/)

Tokens pro Sekunde (TPS) sind die Rate, mit der ein Sprachmodell Output-Tokens erzeugt, meist gemessen für eine Anfrage nach Ankunft ihres ersten Tokens. Sie bestimmen, wie schnell eine Antwort streamt, sobald sie begonnen hat. Über alle gleichzeitigen Anfragen addiert ergibt sich der Systemdurchsatz; die Wartezeit bis zum ersten Token wird getrennt gemessen.

## Häufige Fragen

### Was ist ein Mixture-of-Experts-Modell?

Ein Modell, dessen Schichten viele Experten-Teilnetze enthalten, von denen pro Token nur wenige laufen. Gemma 4 26B A4B hat insgesamt 26B Parameter, davon etwa 4B aktiv pro Token; deshalb ist es für seine Größe günstig zu betreiben.

### Warum ist der Uno-Adapter hier langsamer als die anderen Drafter?

Das Paper erklärt das als strukturell: Ein Self-Drafting-Zyklus kostet zwei Forward-Passes des vollen Modells, während ein separater Drafter einen davon durch ein kleines Netz ersetzt. Ein eigener kleiner Drafter gewinnt daher meist, wenn es einen gibt.

### Wann lohnt sich Self-Drafting?

Laut Paper bei langem Kontext, wo der breitere Draft pro Zyklus mehr Tokens festschreibt (1,089x gegenüber 1,011x bei etwa 10.500 Tokens), und bei Modellen, für die es gar keinen kleinen Drafter gibt.

### Nutzt BroadNet diesen Adapter für seine Gemma-4-API?

Laut Modellseite von BroadNet läuft sein Gemma-4-26B-Build mit Multi-Token-Prediction-Speculative-Decoding (k=2). Der Uno-Adapter ist als Forschungsartefakt veröffentlicht; BroadNet sagt nicht, dass er API-Traffic damit bedient.

### Kann ich den Adapter herunterladen?

Ja. BroadNet veröffentlicht ihn auf Hugging Face als Broadnet/gemma-4-26B-A4B-uno-pilot-adapter; Serving-Profil und Container-Image liegen im vllm-uno-Release v0.3.0.

## Weiterlesen

-   [Uno in vLLM: was die Serving-Studie von BroadNet gemessen hat](https://broadrouter.com/de/blog/uno-in-vllm-serving-study/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [Welche Modelle BroadNet getestet und aussortiert hat, und warum](https://broadrouter.com/de/blog/models-broadnet-ruled-out/)
-   [Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)](https://broadrouter.com/de/blog/million-token-context-window-guide/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Menschliche Prüfung als festen Teil Ihres Dokumenten-KI-Workflows](https://broadrouter.com/de/blog/document-review-queues/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Quellen**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, Zenodo-Preprint v2.3, 2026-09-18 (Eintrag abgerufen am 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [BroadNet-Blog, Uno for vLLM now runs mixture-of-experts models (17. September 2026; abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: zentrale Ergebnisse (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/research)
-   [vllm-uno, Release v0.3.0 (abgerufen am 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Modellseite von BroadNet Gemma 4 VL 26B: Serving-Konfiguration (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
