BroadRouter

Uno auf Gemma 4 26B: die Mixture-of-Experts-Studie von BroadNet

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht · Aktualisiert

Das Preprint von BroadNet vom September 2026 (DOI 10.5281/zenodo.22820511) trainiert den ersten Uno-Adapter für ein Mixture-of-Experts-Modell, Gemma 4 26B A4B mit 4-Bit-Gewichten. Der Adapter dekodiert auf einem Produktions-Workload mit 72 Prompts 1,166-mal schneller als normales Dekodieren und liegt damit hinter zwei separaten Draftern (1,474 und 1,553), führt aber bei etwa 10.500 Tokens Kontext vor dem Produktions-Drafter.

Das zweite Uno-Preprint von BroadNet wendet Self-Drafting erstmals auf ein Mixture-of-Experts-Modell an. Es wurde am 18. September 2026 unter der DOI 10.5281/zenodo.22820511 auf Zenodo veröffentlicht, betreibt Gemma 4 26B A4B mit 4 Bit und trainiert dafür einen Uno-Adapter. Das Zielmodell ist dasselbe Basismodell wie BroadNet Gemma 4 VL 26B auf BroadNet Inference.

Es folgt auf die Studie zu Uno im vLLM-Serving, die ein dichtes 8B-Modell getestet hat. Die Zahlen unten stammen von BroadNet; wir haben sie nicht nachgemessen.

Was war die Frage?

Speculative Decoding entwirft mehrere Tokens und verifiziert sie in einem Durchgang. Bei einem Mixture-of-Experts-Modell kommt eine zusätzliche Sorge hinzu: Draft-Zeilen können an verschiedene Experten geroutet werden, sodass vier Draft-Tokens viel mehr Expertengewichte lesen könnten als ein einzelnes generiertes Token. Das Paper fragt, ob dieser „Experten-Fan-out“ Self-Drafting zu teuer macht und wann Self-Drafting einen separaten Drafter schlägt.

Wie hat BroadNet das getestet?

Laut Abstract des Papers und Methodenangabe von BroadNet:

  • Modell: Gemma 4 26B A4B, etwa 4B aktive Parameter pro Token, mit 4-Bit-Gewichten.
  • Hardware: GPUs der 24-GB-Klasse, eine Sequenz gleichzeitig.
  • Workload: 72 Prompts aus dem Produktions-Traffic von BroadNet; jede Beschleunigung ist durch einen Lauf mit normalem Dekodieren in derselben Session geteilt.
  • Langer Kontext: ein separater Satz von fünf Prompts mit etwa 10.500 Tokens.
  • Adapter: Rank 16, trainiert auf 965 Zeilen über denselben 4-Bit-Checkpoint, mit dem er betrieben wird, auf einer einzelnen 24-GB-GPU, ohne Gewichte in voller Präzision.

Was kam dabei heraus?

Wie Gemma 4 26B A4B dekodiert wurde Beschleunigung gegenüber normalem Dekodieren
Normales Dekodieren 1,000
Uno-Pilot-Adapter, Breite 4 1,166
Multi-Token-Prediction-Drafter, Breite 2 1,474
Block-Drafter, Breite 8 1,553
Uno bei etwa 10.500 Tokens Kontext 1,089 (MTP-Drafter: 1,011)

Weitere Ergebnisse, die BroadNet meldet:

  • Training half. Der akzeptierte Anteil stieg über 1.500 Updates von 42,4 % auf 48,9 %, und ein größeres Korpus mit 2.000 Zeilen, mit demselben Rezept trainiert, ergab 0,49 akzeptierte Draft-Tokens mehr pro Verifikationsschritt als der passende Vergleichslauf.
  • Experten-Fan-out ist real, aber billig. Vier Draft-Zeilen berührten 22 verschiedene Experten gegenüber 8 bei einer Zeile, doch die gesamten zeilenbezogenen Kosten blieben unter 0,53 Schritten in einem Zyklus von etwa 2,4. BroadNet folgert, dass die Routing-Kosten auf dieser Hardwareklasse „worth under a fifth of a cycle“ (Übersetzung: „weniger als ein Fünftel eines Zyklus wert“) sind.
  • Verlustfrei. BroadNet hat eine Prüfung für ein Profil gebaut, dessen normale Ausgabe sich über Sessions hinweg nicht selbst reproduziert, und meldet Uno als „as close to plain as plain is to itself“ (Übersetzung: „so nah an normal, wie normal an sich selbst ist“).
  • Fünf Sprachen. Das Paper liefert nach eigenen Worten die erste Messung der Akzeptanz dieses Adapters über fünf Sprachen.

Was bedeutet das in der Praxis?

Die Regel des Papers ist einfach: Gibt es einen guten kleinen Drafter für Ihr Modell, nutzen Sie ihn; Self-Drafting lohnt sich bei langem Kontext und bei Modellen ohne Drafter. Das passt zu dem, was BroadNet nach eigenen Angaben betreibt: Sein Katalog führt Gemma 4 26B in Produktion mit einem Multi-Token-Prediction-Drafter (k=2) und „90%+ acceptance on structured prompts“ (Übersetzung: „über 90 % Akzeptanz bei strukturierten Prompts“).

Wie viel bringt ein Drafter in der Produktion? Laut Katalog von BroadNet brachte Multi-Token-Prediction auf einer RTX 3090 48,8 % mehr, und die Seite zu Gemma 4 VL 26B nennt etwa 136 Tokens pro Sekunde bei einem einzelnen Stream mit aktivem Speculative Decoding. Beides sind eigene Messungen von BroadNet auf der Serving-Konfiguration, die die Modellseite beschreibt; Ihre Geschwindigkeit über die API hängt also auch von der Last und von der Länge Ihres Prompts und der Antwort ab.

Für API-Kunden ist die Methode der nützliche Teil, nicht der Adapter. BroadNet sagt, dass jedes Modell, das es betreibt, diese Rechnung durchläuft, bevor es Kunden erreicht: Kosten eines Draft-Zyklus messen, dann den Drafter wählen, der auf dem tatsächlichen Workload gewinnt. Dieselbe Disziplin führte dazu, EAGLE3 auszuschließen, wenn das Serving ausgelastet ist.

Wo liegen die Grenzen?

  • Nur ein Stream. Eine Sequenz gleichzeitig, ein Lauf pro Variante. Serving mit Batches verhält sich anders, wie die Studie zum dichten Modell gezeigt hat.
  • Ein Modell. Die Ergebnisse gelten für Gemma 4 26B A4B mit 4 Bit auf Karten der 24-GB-Klasse.
  • Ein Preprint. Version 2.3 auf Zenodo, nicht peer-reviewed, mit einem begleitenden Evidenzarchiv.

Release v0.3.0 von vllm-uno liefert das Serving-Profil, ein Container-Image und das Validierungsprotokoll, sodass sich die Zahlen prüfen lassen. Um das betriebene Modell selbst auszuprobieren, führt der Browser-Playground von BroadNet Gemma 4 ohne Konto aus.

Häufige Fragen

Was ist ein Mixture-of-Experts-Modell?

Ein Modell, dessen Schichten viele Experten-Teilnetze enthalten, von denen pro Token nur wenige laufen. Gemma 4 26B A4B hat insgesamt 26B Parameter, davon etwa 4B aktiv pro Token; deshalb ist es für seine Größe günstig zu betreiben.

Warum ist der Uno-Adapter hier langsamer als die anderen Drafter?

Das Paper erklärt das als strukturell: Ein Self-Drafting-Zyklus kostet zwei Forward-Passes des vollen Modells, während ein separater Drafter einen davon durch ein kleines Netz ersetzt. Ein eigener kleiner Drafter gewinnt daher meist, wenn es einen gibt.

Wann lohnt sich Self-Drafting?

Laut Paper bei langem Kontext, wo der breitere Draft pro Zyklus mehr Tokens festschreibt (1,089x gegenüber 1,011x bei etwa 10.500 Tokens), und bei Modellen, für die es gar keinen kleinen Drafter gibt.

Nutzt BroadNet diesen Adapter für seine Gemma-4-API?

Laut Modellseite von BroadNet läuft sein Gemma-4-26B-Build mit Multi-Token-Prediction-Speculative-Decoding (k=2). Der Uno-Adapter ist als Forschungsartefakt veröffentlicht; BroadNet sagt nicht, dass er API-Traffic damit bedient.

Kann ich den Adapter herunterladen?

Ja. BroadNet veröffentlicht ihn auf Hugging Face als Broadnet/gemma-4-26B-A4B-uno-pilot-adapter; Serving-Profil und Container-Image liegen im vllm-uno-Release v0.3.0.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen