BroadRouter
Começar

Speculative decoding (decodificação especulativa)

Atualizado em

Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.

Também chamado de: decodificação especulativa, amostragem especulativa, modelo draft, speculative sampling, assisted generation, assisted decoding, draft model decoding

Um modelo grande escreve um token por forward pass. O speculative decoding permite que ele confirme vários tokens por passada.

Como funciona

Leviathan et al. partem de um fato simples: “decoding K tokens takes K serial runs of the model” (tradução: decodificar K tokens exige K execuções em série do modelo). A solução deles toma emprestada a execução especulativa das CPUs:

  1. Um modelo draft, bem menor e mais rápido, chuta os próximos tokens.
  2. O modelo alvo avalia todos esses chutes em um único forward pass. Avaliar uma sequência curta de tokens custa mais ou menos o mesmo que produzir um, como observam Chen et al.
  3. Uma etapa modificada de rejection sampling mantém a maior sequência de chutes com que o modelo alvo concorda e depois amostra um token próprio.
  4. Repete a partir da nova posição.

Quando o draft acerta com frequência, cada passada cara rende vários tokens. Quando erra, perde-se pouco: o modelo alvo ainda produz pelo menos um token. O guia da Hugging Face acrescenta que o método funciona melhor quando o modelo draft é “significantly smaller” (tradução: significativamente menor) e usa o mesmo tokenizer.

Algumas variantes dispensam o modelo draft separado. O mesmo guia descreve camadas de multi-token prediction (MTP), em que heads extras no checkpoint principal propõem os candidatos. A model card do DeepSeek V4.1 Flash lista o seu próprio esquema, “DSpark speculative decoding”, como parte da arquitetura.

Por que isso importa

Para quem chama uma API, o speculative decoding aparece como mais tokens por segundo por requisição, o que reduz a latência total em respostas longas. Ele não encurta o time to first token, dominado pela leitura do prompt.

O ganho é desigual. Texto previsível, como edições de código, JSON e boilerplate, é fácil de antecipar. Texto criativo, com temperature alta, é mais difícil, então menos chutes sobrevivem. Sob carga pesada, o trabalho extra de verificação disputa recursos com outras requisições, então um provedor pode ajustá-lo para a velocidade por usuário ou para o throughput total.

Também é uma escolha do lado do servidor. Você não consegue ativá-lo por uma requisição padrão de chat completions.

Na BroadNet Inference

A referência da API da BroadNet não menciona speculative decoding. O catálogo de modelos lista o build de produção do Gemma 4 26B A4B, oferecido na API como BroadNet Gemma 4 VL 26B, rodando com MTP (k=2), que o catálogo descreve como uma forma de speculative decoding. A página do modelo da BroadNet coloca esse build em cerca de 136 tokens por segundo em um único stream. O catálogo também informa que o EAGLE3 reduziu o throughput em 69% com 32 requisições simultâneas, motivo pelo qual a BroadNet manteve os drafters MTP, e a BroadNet publicou dois estudos sobre o Uno, um adapter self-drafting: Uno no vLLM e Uno no Gemma 4 26B. Para os planos de preço fixo, que rodam o DeepSeek V4.1 Flash, a página de planos da BroadNet informa uma velocidade típica de cerca de 100 tokens por segundo. Meça a sua própria velocidade de saída com streaming; o guia de latência de LLMs mostra como.

Perguntas frequentes

Speculative decoding muda a resposta?

Não na distribuição. Os dois artigos originais usam uma regra de aceitação que preserva a distribuição de saída do modelo alvo, então a qualidade é a do modelo grande sozinho. Detalhes de ponto flutuante ainda podem variar um pouco entre execuções.

Quanto mais rápido é o speculative decoding?

Os artigos originais relatam decodificação de 2 a 3 vezes mais rápida no T5-XXL e de 2 a 2,5 vezes em um modelo Chinchilla de 70B. O ganho real depende de quantas vezes o modelo draft acerta.

Dá para ativar speculative decoding pela API?

Não em uma requisição padrão de chat completions. É uma escolha de serving do provedor. Você só percebe como saída mais rápida, então meça os tokens por segundo nos seus próprios prompts.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity