BroadRouter

Uno su Gemma 4 26B: lo studio di BroadNet sul mixture of experts

A cura del team di BroadNet Inference · 3 min di lettura · Pubblicato · Aggiornato

Il preprint di BroadNet di settembre 2026 (DOI 10.5281/zenodo.22820511) addestra il primo adapter Uno per un modello mixture of experts, Gemma 4 26B A4B, servito a 4 bit. L’adapter decodifica 1,166 volte più veloce della decodifica semplice su 72 prompt di produzione, dietro due drafter separati a 1,474 e 1,553, ma supera il drafter di produzione a circa 10.500 token di contesto.

Il secondo preprint di BroadNet su Uno applica per la prima volta il self-drafting a un modello mixture of experts. Pubblicato su Zenodo il 18 settembre 2026 con DOI 10.5281/zenodo.22820511, serve Gemma 4 26B A4B a 4 bit e addestra per lui un adapter Uno. Il modello target è la stessa base di BroadNet Gemma 4 VL 26B su BroadNet Inference.

Segue lo studio su Uno nel serving con vLLM, che aveva testato un modello denso da 8B. I numeri qui sotto sono di BroadNet; non li abbiamo riprodotti.

Qual era la domanda?

Lo speculative decoding propone in bozza diversi token e li verifica in un solo passaggio. Su un modello mixture of experts c’è un timore in più: le righe della bozza possono essere instradate verso esperti diversi, quindi proporre quattro token potrebbe leggere molti più pesi di esperti che generarne uno. Il paper si chiede se questo «expert fan-out» renda il self-drafting troppo costoso, e quando il self-drafting batte un drafter separato.

Come l’ha testato BroadNet?

Dall’abstract del paper e dalla descrizione dei metodi di BroadNet:

  • Modello: Gemma 4 26B A4B, circa 4B parametri attivi per token, con pesi a 4 bit.
  • Hardware: GPU di classe 24 GB, una sequenza alla volta.
  • Carico di lavoro: 72 prompt presi dal traffico di produzione di BroadNet; ogni accelerazione è divisa per un’esecuzione con decodifica semplice nella stessa sessione.
  • Contesto lungo: un set separato di cinque prompt da circa 10.500 token.
  • Adapter: rank 16, addestrato su 965 righe attraverso lo stesso checkpoint a 4 bit con cui viene servito, su una sola GPU da 24 GB, senza pesi a precisione piena nel ciclo.

Che cosa ha trovato?

Come è stato decodificato Gemma 4 26B A4B Accelerazione rispetto alla decodifica semplice
Decodifica semplice 1,000
Adapter pilota Uno, ampiezza 4 1,166
Drafter multi-token prediction, ampiezza 2 1,474
Drafter a blocchi, ampiezza 8 1,553
Uno a circa 10.500 token di contesto 1,089 (drafter MTP: 1,011)

Altri risultati riportati da BroadNet:

  • L’addestramento ha aiutato. La quota accettata è salita dal 42,4% al 48,9% in 1.500 aggiornamenti, e un corpus più grande da 2.000 righe, addestrato con la stessa ricetta, ha fatto accettare 0,49 token di bozza in più per passo di verifica rispetto all’esecuzione di riferimento corrispondente.
  • L’expert fan-out è reale ma costa poco. Quattro righe di bozza hanno toccato 22 esperti distinti contro gli 8 di una riga sola, eppure l’intero costo legato alle righe è rimasto entro 0,53 passi su un ciclo di circa 2,4. BroadNet conclude che il costo di instradamento vale “under a fifth of a cycle” (traduzione: «meno di un quinto di ciclo») su questa classe di hardware.
  • Senza perdite. BroadNet ha costruito un controllo per un profilo il cui output semplice non si riproduce identico da una sessione all’altra, e riporta Uno “as close to plain as plain is to itself” (traduzione: «vicino alla decodifica semplice quanto la decodifica semplice lo è a sé stessa»).
  • Cinque lingue. Il paper fornisce quella che definisce la prima misura dell’accettazione di questo adapter in cinque lingue.

Che cosa significa in pratica?

La regola del paper è semplice: se per il tuo modello esiste un buon piccolo drafter, usalo; il self-drafting si guadagna il posto con contesti lunghi e sui modelli che non hanno drafter. Coincide con ciò che BroadNet dice di usare: il suo catalogo indica Gemma 4 26B in produzione con un drafter multi-token prediction (k=2), con “90%+ acceptance on structured prompts” (traduzione: «oltre il 90% di accettazione sui prompt strutturati»).

Quanto aggiunge un drafter in produzione? Il catalogo di BroadNet riporta che la multi-token prediction ha aggiunto il 48,8% su una RTX 3090, e la sua pagina di Gemma 4 VL 26B indica circa 136 token al secondo su un singolo stream con lo speculative decoding attivo. Sono entrambe misure di BroadNet, sulla configurazione di serving descritta nella sua pagina del modello, quindi la velocità che ottieni tramite l’API dipende anche dal carico e dalla lunghezza del tuo prompt e della risposta.

Per chi compra un’API, la parte utile è il metodo, non l’adapter. BroadNet dice che ogni modello che serve passa da questo calcolo prima di arrivare a un cliente: misura il costo di un ciclo di bozza, poi scegli il drafter che vince sul carico di lavoro reale. La stessa disciplina l’ha portata a scartare EAGLE3 per il serving a pieno carico.

Quali sono i limiti?

  • Solo stream singolo. Una sequenza alla volta, una esecuzione per variante. Il serving in batch si comporta diversamente, come ha mostrato lo studio sul modello denso.
  • Un solo modello. I risultati valgono per Gemma 4 26B A4B a 4 bit su schede di classe 24 GB.
  • Un preprint. Versione 2.3 su Zenodo, non sottoposta a revisione paritaria, con un archivio di evidenze allegato.

La release v0.3.0 di vllm-uno include il profilo di serving, un’immagine del container e il registro di validazione, quindi i numeri si possono verificare. Per provare il modello servito, il playground nel browser di BroadNet esegue Gemma 4 senza bisogno di un account.

Domande frequenti

Che cos’è un modello mixture of experts?

Un modello i cui layer contengono molte sottoreti esperte, di cui solo poche si attivano per ogni token. Gemma 4 26B A4B ha 26B parametri in totale e circa 4B attivi per token, ed è per questo che costa poco da servire per la sua taglia.

Perché qui l’adapter Uno è più lento degli altri drafter?

Il paper lo spiega come un fatto strutturale: un ciclo di self-drafting costa due forward pass del modello completo, mentre un drafter separato ne sostituisce uno con una rete piccola. Per questo, quando esiste un piccolo drafter dedicato, di solito vince lui.

Quando conviene il self-drafting?

Secondo il paper, con contesti lunghi, dove la bozza più ampia conferma più token per ciclo (1.089x contro 1.011x a circa 10.500 token), e per i modelli che non hanno alcun piccolo drafter.

BroadNet usa questo adapter per la sua API Gemma 4?

La pagina del modello di BroadNet dice che la sua build di Gemma 4 26B è servita con speculative decoding multi-token prediction (k=2). L’adapter Uno è pubblicato come artefatto di ricerca; BroadNet non dice di usarlo per servire il traffico dell’API.

Posso scaricare l’adapter?

Sì. BroadNet lo pubblica su Hugging Face come Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, con il profilo di serving e l’immagine del container nella release v0.3.0 di vllm-uno.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity