Il secondo preprint di BroadNet su Uno applica per la prima volta il self-drafting a un modello mixture of experts. Pubblicato su Zenodo il 18 settembre 2026 con DOI 10.5281/zenodo.22820511, serve Gemma 4 26B A4B a 4 bit e addestra per lui un adapter Uno. Il modello target è la stessa base di BroadNet Gemma 4 VL 26B su BroadNet Inference.
Segue lo studio su Uno nel serving con vLLM, che aveva testato un modello denso da 8B. I numeri qui sotto sono di BroadNet; non li abbiamo riprodotti.
Qual era la domanda?
Lo speculative decoding propone in bozza diversi token e li verifica in un solo passaggio. Su un modello mixture of experts c’è un timore in più: le righe della bozza possono essere instradate verso esperti diversi, quindi proporre quattro token potrebbe leggere molti più pesi di esperti che generarne uno. Il paper si chiede se questo «expert fan-out» renda il self-drafting troppo costoso, e quando il self-drafting batte un drafter separato.
Come l’ha testato BroadNet?
Dall’abstract del paper e dalla descrizione dei metodi di BroadNet:
- Modello: Gemma 4 26B A4B, circa 4B parametri attivi per token, con pesi a 4 bit.
- Hardware: GPU di classe 24 GB, una sequenza alla volta.
- Carico di lavoro: 72 prompt presi dal traffico di produzione di BroadNet; ogni accelerazione è divisa per un’esecuzione con decodifica semplice nella stessa sessione.
- Contesto lungo: un set separato di cinque prompt da circa 10.500 token.
- Adapter: rank 16, addestrato su 965 righe attraverso lo stesso checkpoint a 4 bit con cui viene servito, su una sola GPU da 24 GB, senza pesi a precisione piena nel ciclo.
Che cosa ha trovato?
| Come è stato decodificato Gemma 4 26B A4B | Accelerazione rispetto alla decodifica semplice |
|---|---|
| Decodifica semplice | 1,000 |
| Adapter pilota Uno, ampiezza 4 | 1,166 |
| Drafter multi-token prediction, ampiezza 2 | 1,474 |
| Drafter a blocchi, ampiezza 8 | 1,553 |
| Uno a circa 10.500 token di contesto | 1,089 (drafter MTP: 1,011) |
Altri risultati riportati da BroadNet:
- L’addestramento ha aiutato. La quota accettata è salita dal 42,4% al 48,9% in 1.500 aggiornamenti, e un corpus più grande da 2.000 righe, addestrato con la stessa ricetta, ha fatto accettare 0,49 token di bozza in più per passo di verifica rispetto all’esecuzione di riferimento corrispondente.
- L’expert fan-out è reale ma costa poco. Quattro righe di bozza hanno toccato 22 esperti distinti contro gli 8 di una riga sola, eppure l’intero costo legato alle righe è rimasto entro 0,53 passi su un ciclo di circa 2,4. BroadNet conclude che il costo di instradamento vale “under a fifth of a cycle” (traduzione: «meno di un quinto di ciclo») su questa classe di hardware.
- Senza perdite. BroadNet ha costruito un controllo per un profilo il cui output semplice non si riproduce identico da una sessione all’altra, e riporta Uno “as close to plain as plain is to itself” (traduzione: «vicino alla decodifica semplice quanto la decodifica semplice lo è a sé stessa»).
- Cinque lingue. Il paper fornisce quella che definisce la prima misura dell’accettazione di questo adapter in cinque lingue.
Che cosa significa in pratica?
La regola del paper è semplice: se per il tuo modello esiste un buon piccolo drafter, usalo; il self-drafting si guadagna il posto con contesti lunghi e sui modelli che non hanno drafter. Coincide con ciò che BroadNet dice di usare: il suo catalogo indica Gemma 4 26B in produzione con un drafter multi-token prediction (k=2), con “90%+ acceptance on structured prompts” (traduzione: «oltre il 90% di accettazione sui prompt strutturati»).
Quanto aggiunge un drafter in produzione? Il catalogo di BroadNet riporta che la multi-token prediction ha aggiunto il 48,8% su una RTX 3090, e la sua pagina di Gemma 4 VL 26B indica circa 136 token al secondo su un singolo stream con lo speculative decoding attivo. Sono entrambe misure di BroadNet, sulla configurazione di serving descritta nella sua pagina del modello, quindi la velocità che ottieni tramite l’API dipende anche dal carico e dalla lunghezza del tuo prompt e della risposta.
Per chi compra un’API, la parte utile è il metodo, non l’adapter. BroadNet dice che ogni modello che serve passa da questo calcolo prima di arrivare a un cliente: misura il costo di un ciclo di bozza, poi scegli il drafter che vince sul carico di lavoro reale. La stessa disciplina l’ha portata a scartare EAGLE3 per il serving a pieno carico.
Quali sono i limiti?
- Solo stream singolo. Una sequenza alla volta, una esecuzione per variante. Il serving in batch si comporta diversamente, come ha mostrato lo studio sul modello denso.
- Un solo modello. I risultati valgono per Gemma 4 26B A4B a 4 bit su schede di classe 24 GB.
- Un preprint. Versione 2.3 su Zenodo, non sottoposta a revisione paritaria, con un archivio di evidenze allegato.
La release v0.3.0 di vllm-uno include il profilo di serving, un’immagine del container e il registro di validazione, quindi i numeri si possono verificare. Per provare il modello servito, il playground nel browser di BroadNet esegue Gemma 4 senza bisogno di un account.
