BroadRouter

Uno in vLLM: che cosa ha misurato lo studio di BroadNet

A cura del team di BroadNet Inference · 4 min di lettura · Pubblicato

Uno in vLLM è un preprint di BroadNet di settembre 2026 (DOI 10.5281/zenodo.22652610). Aggiunge a vLLM Uno, un adapter che permette a un modello di proporre da sé i propri token. Su una H100 con Qwen3-8B, BroadNet ha misurato 2,58 volte il throughput di vLLM semplice con uno stream, 2,20 volte con otto e 1,74 volte con 32, entro il 3% dall’implementazione di riferimento.

Uno in vLLM è un preprint della divisione di ricerca di BroadNet, pubblicato su Zenodo l’8 settembre 2026 con DOI 10.5281/zenodo.22652610. Descrive un’implementazione nativa in vLLM di Uno, un metodo di speculative decoding sviluppato da IFM, e misura quanto più velocemente serve rispetto a vLLM semplice. Il record su Zenodo indica come autore Mohammad Al Zubaidi.

Questa pagina riassume che cosa dice il paper, come l’ha misurato e che cosa ti dice e non ti dice. I numeri sono di BroadNet; non li abbiamo riprodotti.

Quale problema affronta Uno?

Un modello linguistico normalmente genera un token per forward pass. Lo speculative decoding accelera il processo indovinando diversi token in anticipo e verificandoli in un solo passaggio del modello completo. La maggior parte dei metodi usa un modello di bozza separato e più piccolo. Uno invece collega al modello stesso un adapter addestrato, così il modello propone da sé i propri token e poi li verifica con i pesi originali. Vedi speculative decoding per l’idea generale.

La domanda del paper è pratica: questa accelerazione sopravvive dentro un motore di serving di produzione, con batching, caching e molte richieste insieme?

Che cosa ha costruito BroadNet?

Il post sul blog di BroadNet è chiaro sui meriti: il metodo è “Uno, developed by IFM and collaborators” (traduzione: «Uno, sviluppato da IFM e collaboratori»), e il contributo di BroadNet è “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (traduzione: «l’integrazione nativa in vLLM, l’ingegneria che fa funzionare insieme i suoi percorsi di esecuzione e la valutazione del serving»). L’abstract elenca i pezzi dell’esecuzione: instradamento condizionale dell’adapter, stato key/value completo della bozza, scheduling asincrono, replay dei CUDA graph, calcolo dell’adapter sovrapposto e riuso delle righe seme.

Il codice è pubblico nel repository vllm-uno di BroadNet, che l’ha proposto upstream a vLLM come pull request 55947.

Come è stato misurato?

Il test principale è controllato:

  • Hardware e modello: una NVIDIA H100, Qwen3-8B in bfloat16, con l’adapter Uno pubblicato per Qwen3-8B.
  • Carico di lavoro: otto prompt di matematica, ripetuti a ciclo per riempire batch più grandi, ciascuno con fino a 512 token generati, con il prefix caching disattivato.
  • Baseline: vLLM autoregressivo ordinario («vLLM semplice») sulla stessa configurazione.
  • Concorrenza: 1, 8 e 32 stream simultanei.

Un secondo confronto, separato, attiva il prefix caching e usa le impostazioni di serving scelte da BroadNet, per confrontarsi con l’implementazione di riferimento in SGLang.

Che cosa ha trovato lo studio?

Misura Risultato riportato da BroadNet
Throughput rispetto a vLLM semplice, 1 stream 2,58x
Throughput rispetto a vLLM semplice, 8 stream 2,20x
Throughput rispetto a vLLM semplice, 32 stream 1,74x
Distanza dall’implementazione di riferimento SGLang entro il 3% con 1, 8 e 32 stream
Impostazioni di produzione, 32 stream 7.657 token/s, contro 7.505 di SGLang (2,0% avanti)
Latenza del primo token a caldo, ablazione dentro vLLM 25% più bassa con due processi API invece di uno

Il dato chiave per la pianificazione della capacità è l’ultima riga del primo blocco: il 74% di output in più al secondo con 32 stream concorrenti, dalla stessa GPU. È quello che il blog di BroadNet chiama “the central payoff” (traduzione: «il guadagno centrale»), perché un’accelerazione che sparisce sotto carico serve a poco per un’API condivisa.

Una release successiva (v0.2.0, su Model Runner V2 di vLLM) è descritta sul blog di BroadNet con un output su stream singolo da 2,1 a 2,4 volte su Blackwell, da 1,7 a 1,9 volte su Ampere e 2,6 volte su Hopper. Sono hardware e versioni diversi da quelli della tabella principale del paper, ed è per questo che le cifre differiscono.

Quali sono i limiti?

  • Un modello, un carico di lavoro. Il risultato controllato riguarda Qwen3-8B su prompt di matematica. Codice, chat o documenti lunghi possono far accettare meno token proposti.
  • I guadagni calano con il carico. L’andamento da 2,58x a 1,74x ha la forma attesa: quando la GPU è occupata, il calcolo libero per il drafting si esaurisce.
  • Un preprint. Il paper è depositato su Zenodo, non sottoposto a revisione paritaria. L’archivio allegato contiene l’inventario delle evidenze e i dati delle figure, ed è ciò che permette ad altri di verificarlo.
  • Dati autodichiarati. BroadNet ha eseguito entrambe le varianti. L’accordo entro il 3% con l’implementazione di riferimento è la verifica che il paper stesso fa su questo punto.

Perché conta se chiami solo un’API?

Il throughput per GPU determina quanto un provider può far pagare e quanto velocemente risponde sotto carico. Il catalogo di BroadNet riporta che misura i metodi di drafting alla concorrenza reale prima di sceglierne uno, e che ha scartato EAGLE3 dopo che è costato il 69% del throughput con 32 richieste concorrenti. Lo studio successivo su Gemma 4 26B applica lo stesso metodo al modello mixture of experts che BroadNet vende come Gemma 4 VL 26B. Per come questo si inserisce nelle scelte di serving più ampie di BroadNet, vedi l’hardware GPU di BroadNet e il suo approccio al serving.

Se gestisci i tuoi server vLLM, la lezione pratica è fare il benchmark di qualsiasi metodo di drafting alla concorrenza che usi davvero, non con uno stream solo.

Domande frequenti

Che cos’è Uno?

Uno è un metodo di speculative decoding sviluppato da IFM e collaboratori. Un piccolo adapter addestrato permette al modello di proporre più token alla volta, che poi vengono verificati dai pesi del modello stesso. Non c’è un modello di bozza separato.

L’accelerazione è senza perdite?

BroadNet lo afferma per la sua release: ogni volta che vLLM semplice riproduce il proprio output, Uno ne eguaglia i token greedy, e i test sulla distribuzione campionata passano. Lo speculative decoding verifica ogni token proposto con il modello completo, quindi la qualità dell’output non dovrebbe cambiare; verificalo sui tuoi prompt.

Uno aiuta con alta concorrenza?

Meno che con bassa concorrenza. Nel test controllato del paper il guadagno è sceso da 2,58x con uno stream a 1,74x con 32. Il catalogo di BroadNet riporta anche che un altro metodo, EAGLE3, è costato il 69% del throughput con 32 richieste concorrenti, quindi i metodi di drafting vanno testati al tuo carico reale.

Posso eseguirlo da solo?

Sì. BroadNet pubblica l’implementazione nel suo repository vllm-uno, con un’immagine container, versioni fissate e un registro di validazione per ogni release, e l’ha proposta a vLLM come pull request 55947.

BroadNet Inference usa Uno per i modelli della sua API?

BroadNet non lo dice. Il suo catalogo indica in produzione drafter multi-token prediction (k=2) per Gemma 4 26B. Uno è un risultato di ricerca che BroadNet pubblica; chiedi a BroadNet se ti serve su un endpoint privato.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity