---
title: "Cos’è lo speculative decoding? Output LLM più veloce"
description: "Lo speculative decoding accelera la generazione: un piccolo modello draft propone token che il modello grande verifica in un solo passaggio. Guadagni e limiti."
url: https://broadrouter.com/it/glossary/speculative-decoding/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/speculative-decoding/) (aggiornato il 2026-11-16).

# Speculative decoding (decodifica speculativa)

Aggiornato 2026-11-16

Lo speculative decoding (decodifica speculativa) è una tecnica di inferenza in cui un modello draft piccolo e veloce propone diversi token successivi e il modello target, più grande, li verifica in un solo forward pass, tenendo quelli accettati. Accelera la generazione senza cambiare la distribuzione dell’output.

Detto anche: decodifica speculativa, campionamento speculativo, modello draft, speculative sampling, assisted generation, assisted decoding, draft model decoding

Un modello grande scrive un token per ogni forward pass. Lo speculative decoding gli permette invece di confermare più token per passaggio.

## Come funziona

Leviathan et al. partono da un fatto semplice: “decoding K tokens takes K serial runs of the model” (traduzione: decodificare K token richiede K esecuzioni in serie del modello). La loro soluzione prende in prestito l’esecuzione speculativa delle CPU:

1.  Un **modello draft**, molto più piccolo e veloce, indovina i prossimi token.
2.  Il **modello target** valuta tutte quelle ipotesi in un solo forward pass. Valutare una breve sequenza di token costa circa quanto produrne uno, come osservano Chen et al.
3.  Un passo di rejection sampling modificato tiene la sequenza più lunga di ipotesi su cui il modello target è d’accordo, poi campiona un token proprio.
4.  Si ripete dalla nuova posizione.

Quando il draft indovina spesso, ogni passaggio costoso produce più token. Quando sbaglia, si perde poco: il modello target produce comunque almeno un token. La guida di Hugging Face aggiunge che il metodo funziona meglio quando il modello draft è “significantly smaller” (traduzione: significativamente più piccolo) e usa lo stesso tokenizer.

Alcune varianti eliminano il modello draft separato. La stessa guida descrive i layer di multi-token prediction (MTP), in cui teste aggiuntive nel checkpoint principale propongono i candidati. La model card di DeepSeek V4.1 Flash elenca il suo schema, “DSpark speculative decoding”, come parte dell’architettura.

## Perché è importante

Per chi chiama un’API, lo speculative decoding si vede come più [token al secondo](https://broadrouter.com/it/glossary/tokens-per-second/) per richiesta, il che riduce la [latenza](https://broadrouter.com/it/glossary/latency/) totale sulle risposte lunghe. Non accorcia il [time to first token](https://broadrouter.com/it/glossary/time-to-first-token/), dominato dalla lettura del prompt.

Il guadagno non è uniforme. Il testo prevedibile, come modifiche al codice, JSON e boilerplate, è facile da anticipare. Il testo creativo, ad alta temperature, è più difficile, quindi sopravvivono meno ipotesi. Sotto carico pesante il lavoro di verifica in più compete con le altre richieste, quindi un provider può ottimizzarlo per la velocità del singolo utente o per il [throughput](https://broadrouter.com/it/glossary/throughput/) totale.

È anche una scelta lato server. Non puoi attivarlo con una normale richiesta chat completions.

## Su BroadNet Inference

Il riferimento API di BroadNet non menziona lo speculative decoding. Il suo catalogo dei modelli indica che la build di produzione di Gemma 4 26B A4B, offerta sull’API come [BroadNet Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/), gira con MTP (k=2), che il catalogo descrive come una forma di speculative decoding. La pagina del modello di BroadNet indica per quella build circa 136 token al secondo su un singolo stream. Il catalogo riporta anche che EAGLE3 riduceva il throughput del 69% con 32 richieste concorrenti, motivo per cui BroadNet ha mantenuto i drafter MTP, e BroadNet ha pubblicato due studi su Uno, un adapter self-drafting: [Uno in vLLM](https://broadrouter.com/it/blog/uno-in-vllm-serving-study/) e [Uno su Gemma 4 26B](https://broadrouter.com/it/blog/uno-mixture-of-experts-gemma-4-study/). Per i suoi piani a prezzo fisso, che usano DeepSeek V4.1 Flash, la pagina dei piani di BroadNet indica una velocità tipica di circa 100 token al secondo. Misura la velocità di output con lo streaming; la [guida alla latenza degli LLM](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/) spiega come.

## Domande frequenti

### Lo speculative decoding cambia la risposta?

Non nella distribuzione. Entrambi gli articoli originali usano una regola di accettazione che preserva la distribuzione di output del modello target, quindi la qualità è quella del modello grande da solo. Dettagli di calcolo in virgola mobile possono comunque variare leggermente tra un’esecuzione e l’altra.

### Quanto è più veloce lo speculative decoding?

Gli articoli originali riportano una decodifica da 2 a 3 volte più veloce su T5-XXL e da 2 a 2,5 volte su un modello Chinchilla da 70B. Il guadagno reale dipende da quanto spesso il modello draft indovina.

### Posso attivare lo speculative decoding tramite un’API?

Non in una normale richiesta chat completions. È una scelta di serving del provider. La noti solo come output più veloce, quindi misura i token al secondo sui tuoi prompt.

## Vedi anche

-   [Token al secondo (tokens per second)](https://broadrouter.com/it/glossary/tokens-per-second/) (termine)
-   [Latenza (latency)](https://broadrouter.com/it/glossary/latency/) (termine)
-   [Throughput](https://broadrouter.com/it/glossary/throughput/) (termine)
-   [KV cache (cache chiave-valore)](https://broadrouter.com/it/glossary/kv-cache/) (termine)
-   [Mixture of experts (MoE)](https://broadrouter.com/it/glossary/mixture-of-experts/) (termine)
-   [Streaming delle chat completions e connessioni interrotte](https://broadrouter.com/it/guides/streaming-chat-completions/) (guida)
-   [Latenza degli LLM: TTFT, token al secondo e tempo end-to-end](https://broadrouter.com/it/blog/llm-latency-ttft-throughput/) (articolo)
-   [Uno in vLLM: che cosa ha misurato lo studio di BroadNet](https://broadrouter.com/it/blog/uno-in-vllm-serving-study/) (articolo)
-   [Uno su Gemma 4 26B: lo studio di BroadNet sul mixture of experts](https://broadrouter.com/it/blog/uno-mixture-of-experts-gemma-4-study/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-speculative-decoding&utm_content=page-cta) ·

**Fonti**

-   [Pagina del modello BroadNet Gemma 4 VL 26B: velocità single-stream con speculative decoding (consultata il 2026-11-15) (in inglese)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan et al., Fast Inference from Transformers via Speculative Decoding, arXiv 2211.17192 (verificato il 2026-11-16)](https://arxiv.org/abs/2211.17192)
-   [Chen et al., Accelerating Large Language Model Decoding with Speculative Sampling, arXiv 2302.01318 (verificato il 2026-11-16)](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers, guida all’assisted decoding (verificato il 2026-11-16)](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek, model card di DeepSeek-V4.1-Flash (speculative decoding DSpark) (verificato il 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Catalogo dei modelli di BroadNet (misure di laboratorio, settembre 2026) (verificato il 2026-11-16) (in inglese)](https://www.broadnet.ai/inference/models)
