Un modello denso esegue tutti i pesi per ogni token. Un modello mixture of experts esegue solo i pochi esperti scelti dal suo router.
Come funziona
Shazeer et al. hanno introdotto il layer MoE a gating sparso nel 2017: fino a migliaia di sotto-reti feed-forward, con “a trainable gating network” (traduzione: una rete di gating addestrabile) che sceglie “a sparse combination of these experts” (traduzione: una combinazione sparsa di questi esperti) per ogni input. In un transformer moderno, il blocco feed-forward di alcuni layer diventa un insieme di esperti. Per ogni token il router assegna un punteggio agli esperti e manda il token ai primi della lista. Alcune architetture aggiungono un esperto condiviso usato da tutti i token.
Due model card mostrano i numeri:
| Modello | Parametri totali | Attivi per token | Esperti |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2B | 3,8B | 8 attivi su 128, più 1 condiviso |
| DeepSeek V4.1 Flash (DeepSeek) | 552B di backbone | 8B in prefill, 16B in decode | 6 instradati su 384, più 1 condiviso |
La scheda di Google dice che il modello 26B A4B “runs almost as fast as a 4B-parameter model.” (traduzione: gira quasi alla velocità di un modello da 4B parametri).
Perché è importante
- Velocità e prezzo per token seguono i parametri attivi, perché quello è il calcolo che serve a ogni token. È così che un modello MoE può essere grande e comunque economico da servire.
- La memoria segue i parametri totali. Ogni esperto deve stare nella memoria della GPU, quindi un modello MoE richiede per i pesi lo stesso spazio di un modello denso della stessa dimensione totale. La quantizzazione è un modo comune per farceli stare.
- La qualità non segue in modo netto nessuno dei due numeri. Confronta i modelli sul tuo compito, non sul numero di parametri.
Su BroadNet Inference
BroadNet serve BroadNet Gemma 4 VL 26B con l’ID di modello broadnet/gemma-4-26b-a4b e lo descrive come basato su Gemma 4 di Google. Il suo catalogo dei modelli indica come build di produzione Gemma 4 26B A4B con pesi AWQ a 4 bit e multi-token prediction. Costa $0.10 in input e $0.22 in output per 1M di token, ed è il modello dietro la chiave oraria. Vedi Gemma 4 VL 26B.
DeepSeek V4.1 Flash è il modello di BroadNet con contesto da 1.048.576 token e l’unico modello dei piani flat. La sua architettura MoE è documentata da DeepSeek, non da BroadNet. Per un confronto tra modelli aperti come categoria, vedi modelli open-weight e modelli open-weight o chiusi.