Um modelo grande escreve um token por forward pass. O speculative decoding permite que ele confirme vários tokens por passada.
Como funciona
Leviathan et al. partem de um fato simples: “decoding K tokens takes K serial runs of the model” (tradução: decodificar K tokens exige K execuções em série do modelo). A solução deles toma emprestada a execução especulativa das CPUs:
- Um modelo draft, bem menor e mais rápido, chuta os próximos tokens.
- O modelo alvo avalia todos esses chutes em um único forward pass. Avaliar uma sequência curta de tokens custa mais ou menos o mesmo que produzir um, como observam Chen et al.
- Uma etapa modificada de rejection sampling mantém a maior sequência de chutes com que o modelo alvo concorda e depois amostra um token próprio.
- Repete a partir da nova posição.
Quando o draft acerta com frequência, cada passada cara rende vários tokens. Quando erra, perde-se pouco: o modelo alvo ainda produz pelo menos um token. O guia da Hugging Face acrescenta que o método funciona melhor quando o modelo draft é “significantly smaller” (tradução: significativamente menor) e usa o mesmo tokenizer.
Algumas variantes dispensam o modelo draft separado. O mesmo guia descreve camadas de multi-token prediction (MTP), em que heads extras no checkpoint principal propõem os candidatos. A model card do DeepSeek V4.1 Flash lista o seu próprio esquema, “DSpark speculative decoding”, como parte da arquitetura.
Por que isso importa
Para quem chama uma API, o speculative decoding aparece como mais tokens por segundo por requisição, o que reduz a latência total em respostas longas. Ele não encurta o time to first token, dominado pela leitura do prompt.
O ganho é desigual. Texto previsível, como edições de código, JSON e boilerplate, é fácil de antecipar. Texto criativo, com temperature alta, é mais difícil, então menos chutes sobrevivem. Sob carga pesada, o trabalho extra de verificação disputa recursos com outras requisições, então um provedor pode ajustá-lo para a velocidade por usuário ou para o throughput total.
Também é uma escolha do lado do servidor. Você não consegue ativá-lo por uma requisição padrão de chat completions.
Na BroadNet Inference
A referência da API da BroadNet não menciona speculative decoding. O catálogo de modelos lista o build de produção do Gemma 4 26B A4B, oferecido na API como BroadNet Gemma 4 VL 26B, rodando com MTP (k=2), que o catálogo descreve como uma forma de speculative decoding. A página do modelo da BroadNet coloca esse build em cerca de 136 tokens por segundo em um único stream. O catálogo também informa que o EAGLE3 reduziu o throughput em 69% com 32 requisições simultâneas, motivo pelo qual a BroadNet manteve os drafters MTP, e a BroadNet publicou dois estudos sobre o Uno, um adapter self-drafting: Uno no vLLM e Uno no Gemma 4 26B. Para os planos de preço fixo, que rodam o DeepSeek V4.1 Flash, a página de planos da BroadNet informa uma velocidade típica de cerca de 100 tokens por segundo. Meça a sua própria velocidade de saída com streaming; o guia de latência de LLMs mostra como.