Ein dichtes Modell lässt für jedes Token jedes Gewicht laufen. Ein Mixture-of-Experts-Modell lässt nur die wenigen Experten laufen, die sein Router auswählt.
So funktioniert es
Shazeer et al. führten 2017 die Sparsely-Gated-MoE-Schicht ein: bis zu Tausende Feed-Forward-Teilnetze, wobei „a trainable gating network“ (Übersetzung: „ein trainierbares Gating-Netz“) für jede Eingabe „a sparse combination of these experts“ (Übersetzung: „eine dünn besetzte Kombination dieser Experten“) auswählt. In einem modernen Transformer wird der Feed-Forward-Block mancher Schichten zu einer Menge von Experten. Für jedes Token bewertet der Router die Experten und schickt das Token an die besten wenigen. Manche Architekturen ergänzen einen gemeinsamen Experten, den jedes Token nutzt.
Zwei Model Cards zeigen die Zahlen:
| Modell | Parameter gesamt | Aktiv pro Token | Experten |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2 Mrd. | 3,8 Mrd. | 8 aktive von 128, plus 1 gemeinsamer |
| DeepSeek V4.1 Flash (DeepSeek) | 552 Mrd. Backbone | 8 Mrd. im Prefill, 16 Mrd. im Decode | 6 geroutete von 384, plus 1 gemeinsamer |
Laut der Model Card von Google „runs almost as fast as a 4B-parameter model“ (Übersetzung: „läuft fast so schnell wie ein Modell mit 4 Mrd. Parametern“) das Modell 26B A4B.
Warum es wichtig ist
- Geschwindigkeit und Preis pro Token richten sich nach den aktiven Parametern, denn das ist der Rechenaufwand jedes Tokens. So kann ein MoE-Modell groß und trotzdem günstig zu betreiben sein.
- Speicher richtet sich nach den Gesamtparametern. Jeder Experte muss im GPU-Speicher liegen, ein MoE-Modell braucht für Gewichte also so viel Platz wie ein dichtes Modell gleicher Gesamtgröße. Quantisierung ist ein verbreiteter Weg, sie unterzubringen.
- Qualität folgt keiner der beiden Zahlen sauber. Vergleichen Sie Modelle bei Ihrer eigenen Aufgabe, nicht anhand der Parameterzahl.
Bei BroadNet Inference
BroadNet betreibt BroadNet Gemma 4 VL 26B unter der Modell-ID broadnet/gemma-4-26b-a4b und beschreibt es als auf Googles Gemma 4 basierend. Der Modellkatalog führt das produktive Build als Gemma 4 26B A4B mit AWQ-4-Bit-Gewichten und Multi-Token-Prediction. Es kostet $0.10 Input und $0.22 Output pro 1M Tokens und ist das Modell hinter dem Stundenschlüssel. Siehe Gemma 4 VL 26B.
DeepSeek V4.1 Flash ist BroadNets Modell mit einem Kontext von 1.048.576 Tokens und das einzige Modell in den Flatrate-Plänen. Seine MoE-Architektur ist von DeepSeek dokumentiert, nicht von BroadNet. Wie offene Modelle als Kategorie abschneiden, zeigen Open-Weight-Modelle und Open-Weight- vs. geschlossene Modelle.