BroadRouter

Mixture of Experts (MoE)

Aktualisiert

Mixture of Experts (MoE) ist eine Architektur neuronaler Netze, bei der eine Schicht viele Experten-Teilnetze enthält und ein gelernter Router jedes Token nur an wenige davon schickt. Ein MoE-Sprachmodell hat eine große Gesamtzahl an Parametern, nutzt pro Token aber nur eine kleine aktive Teilmenge.

Auch genannt: MoE, Mixture of Experts, Mixture-of-Experts-Modell, Expertenmischung, Sparse MoE, aktive Parameter, mixture of experts, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Ein dichtes Modell lässt für jedes Token jedes Gewicht laufen. Ein Mixture-of-Experts-Modell lässt nur die wenigen Experten laufen, die sein Router auswählt.

So funktioniert es

Shazeer et al. führten 2017 die Sparsely-Gated-MoE-Schicht ein: bis zu Tausende Feed-Forward-Teilnetze, wobei „a trainable gating network“ (Übersetzung: „ein trainierbares Gating-Netz“) für jede Eingabe „a sparse combination of these experts“ (Übersetzung: „eine dünn besetzte Kombination dieser Experten“) auswählt. In einem modernen Transformer wird der Feed-Forward-Block mancher Schichten zu einer Menge von Experten. Für jedes Token bewertet der Router die Experten und schickt das Token an die besten wenigen. Manche Architekturen ergänzen einen gemeinsamen Experten, den jedes Token nutzt.

Zwei Model Cards zeigen die Zahlen:

Modell Parameter gesamt Aktiv pro Token Experten
Gemma 4 26B A4B (Google) 25,2 Mrd. 3,8 Mrd. 8 aktive von 128, plus 1 gemeinsamer
DeepSeek V4.1 Flash (DeepSeek) 552 Mrd. Backbone 8 Mrd. im Prefill, 16 Mrd. im Decode 6 geroutete von 384, plus 1 gemeinsamer

Laut der Model Card von Google „runs almost as fast as a 4B-parameter model“ (Übersetzung: „läuft fast so schnell wie ein Modell mit 4 Mrd. Parametern“) das Modell 26B A4B.

Warum es wichtig ist

  • Geschwindigkeit und Preis pro Token richten sich nach den aktiven Parametern, denn das ist der Rechenaufwand jedes Tokens. So kann ein MoE-Modell groß und trotzdem günstig zu betreiben sein.
  • Speicher richtet sich nach den Gesamtparametern. Jeder Experte muss im GPU-Speicher liegen, ein MoE-Modell braucht für Gewichte also so viel Platz wie ein dichtes Modell gleicher Gesamtgröße. Quantisierung ist ein verbreiteter Weg, sie unterzubringen.
  • Qualität folgt keiner der beiden Zahlen sauber. Vergleichen Sie Modelle bei Ihrer eigenen Aufgabe, nicht anhand der Parameterzahl.

Bei BroadNet Inference

BroadNet betreibt BroadNet Gemma 4 VL 26B unter der Modell-ID broadnet/gemma-4-26b-a4b und beschreibt es als auf Googles Gemma 4 basierend. Der Modellkatalog führt das produktive Build als Gemma 4 26B A4B mit AWQ-4-Bit-Gewichten und Multi-Token-Prediction. Es kostet $0.10 Input und $0.22 Output pro 1M Tokens und ist das Modell hinter dem Stundenschlüssel. Siehe Gemma 4 VL 26B.

DeepSeek V4.1 Flash ist BroadNets Modell mit einem Kontext von 1.048.576 Tokens und das einzige Modell in den Flatrate-Plänen. Seine MoE-Architektur ist von DeepSeek dokumentiert, nicht von BroadNet. Wie offene Modelle als Kategorie abschneiden, zeigen Open-Weight-Modelle und Open-Weight- vs. geschlossene Modelle.

Häufige Fragen

Was bedeutet A4B in Gemma 4 26B A4B?

Laut der Model Card von Google steht das „A“ für aktive Parameter. Das Modell hat insgesamt 25,2 Mrd. Parameter, aktiviert pro Token aber etwa 3,8 Mrd.

Ist DeepSeek V4.1 Flash ein Mixture-of-Experts-Modell?

Ja. Die Model Card von DeepSeek bezeichnet es als multimodales MoE-Modell mit 552 Mrd. Backbone-Parametern, 1 gemeinsamen und 384 gerouteten Experten pro MoE-Schicht und 6 aktiven gerouteten Experten pro Token.

Braucht ein MoE-Modell weniger Speicher?

Nein. Alle Experten müssen geladen sein, weil jedes Token zu jedem von ihnen geroutet werden kann. MoE spart Rechenaufwand pro Token, nicht Speicher für Gewichte.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen