---
title: "O que é speculative decoding? Saída de LLM mais rápida"
description: "Speculative decoding acelera a geração: um modelo draft pequeno sugere tokens que o modelo grande confere em uma só passada. Como funciona e limites."
url: https://broadrouter.com/pt/glossary/speculative-decoding/
lang: pt-BR
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/speculative-decoding/) (atualizado em 2026-11-16).

# Speculative decoding (decodificação especulativa)

Atualizado em 2026-11-16

Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.

Também chamado de: decodificação especulativa, amostragem especulativa, modelo draft, speculative sampling, assisted generation, assisted decoding, draft model decoding

Um modelo grande escreve um token por forward pass. O speculative decoding permite que ele confirme vários tokens por passada.

## Como funciona

Leviathan et al. partem de um fato simples: “decoding K tokens takes K serial runs of the model” (tradução: decodificar K tokens exige K execuções em série do modelo). A solução deles toma emprestada a execução especulativa das CPUs:

1.  Um **modelo draft**, bem menor e mais rápido, chuta os próximos tokens.
2.  O **modelo alvo** avalia todos esses chutes em um único forward pass. Avaliar uma sequência curta de tokens custa mais ou menos o mesmo que produzir um, como observam Chen et al.
3.  Uma etapa modificada de rejection sampling mantém a maior sequência de chutes com que o modelo alvo concorda e depois amostra um token próprio.
4.  Repete a partir da nova posição.

Quando o draft acerta com frequência, cada passada cara rende vários tokens. Quando erra, perde-se pouco: o modelo alvo ainda produz pelo menos um token. O guia da Hugging Face acrescenta que o método funciona melhor quando o modelo draft é “significantly smaller” (tradução: significativamente menor) e usa o mesmo tokenizer.

Algumas variantes dispensam o modelo draft separado. O mesmo guia descreve camadas de multi-token prediction (MTP), em que heads extras no checkpoint principal propõem os candidatos. A model card do DeepSeek V4.1 Flash lista o seu próprio esquema, “DSpark speculative decoding”, como parte da arquitetura.

## Por que isso importa

Para quem chama uma API, o speculative decoding aparece como mais [tokens por segundo](https://broadrouter.com/pt/glossary/tokens-per-second/) por requisição, o que reduz a [latência](https://broadrouter.com/pt/glossary/latency/) total em respostas longas. Ele não encurta o [time to first token](https://broadrouter.com/pt/glossary/time-to-first-token/), dominado pela leitura do prompt.

O ganho é desigual. Texto previsível, como edições de código, JSON e boilerplate, é fácil de antecipar. Texto criativo, com temperature alta, é mais difícil, então menos chutes sobrevivem. Sob carga pesada, o trabalho extra de verificação disputa recursos com outras requisições, então um provedor pode ajustá-lo para a velocidade por usuário ou para o [throughput](https://broadrouter.com/pt/glossary/throughput/) total.

Também é uma escolha do lado do servidor. Você não consegue ativá-lo por uma requisição padrão de chat completions.

## Na BroadNet Inference

A referência da API da BroadNet não menciona speculative decoding. O catálogo de modelos lista o build de produção do Gemma 4 26B A4B, oferecido na API como [BroadNet Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/), rodando com MTP (k=2), que o catálogo descreve como uma forma de speculative decoding. A página do modelo da BroadNet coloca esse build em cerca de 136 tokens por segundo em um único stream. O catálogo também informa que o EAGLE3 reduziu o throughput em 69% com 32 requisições simultâneas, motivo pelo qual a BroadNet manteve os drafters MTP, e a BroadNet publicou dois estudos sobre o Uno, um adapter self-drafting: [Uno no vLLM](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/) e [Uno no Gemma 4 26B](https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/). Para os planos de preço fixo, que rodam o DeepSeek V4.1 Flash, a página de planos da BroadNet informa uma velocidade típica de cerca de 100 tokens por segundo. Meça a sua própria velocidade de saída com streaming; o [guia de latência de LLMs](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/) mostra como.

## Perguntas frequentes

### Speculative decoding muda a resposta?

Não na distribuição. Os dois artigos originais usam uma regra de aceitação que preserva a distribuição de saída do modelo alvo, então a qualidade é a do modelo grande sozinho. Detalhes de ponto flutuante ainda podem variar um pouco entre execuções.

### Quanto mais rápido é o speculative decoding?

Os artigos originais relatam decodificação de 2 a 3 vezes mais rápida no T5-XXL e de 2 a 2,5 vezes em um modelo Chinchilla de 70B. O ganho real depende de quantas vezes o modelo draft acerta.

### Dá para ativar speculative decoding pela API?

Não em uma requisição padrão de chat completions. É uma escolha de serving do provedor. Você só percebe como saída mais rápida, então meça os tokens por segundo nos seus próprios prompts.

## Veja também

-   [Tokens por segundo (tokens per second)](https://broadrouter.com/pt/glossary/tokens-per-second/) (termo)
-   [Latência (latency)](https://broadrouter.com/pt/glossary/latency/) (termo)
-   [Throughput (vazão)](https://broadrouter.com/pt/glossary/throughput/) (termo)
-   [KV cache (cache de chave-valor)](https://broadrouter.com/pt/glossary/kv-cache/) (termo)
-   [Mixture of experts (MoE)](https://broadrouter.com/pt/glossary/mixture-of-experts/) (termo)
-   [Streaming de chat completions e conexões que caem](https://broadrouter.com/pt/guides/streaming-chat-completions/) (guia)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/) (artigo)
-   [Uno no vLLM: o que o estudo de serving da BroadNet mediu](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/) (artigo)
-   [Uno no Gemma 4 26B: o estudo da BroadNet com mixture of experts](https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-speculative-decoding&utm_content=page-cta) ·

**Fontes**

-   [Página do modelo BroadNet Gemma 4 VL 26B: velocidade single-stream com speculative decoding (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Leviathan et al., Fast Inference from Transformers via Speculative Decoding, arXiv 2211.17192 (verificado em 2026-11-16)](https://arxiv.org/abs/2211.17192)
-   [Chen et al., Accelerating Large Language Model Decoding with Speculative Sampling, arXiv 2302.01318 (verificado em 2026-11-16)](https://arxiv.org/abs/2302.01318)
-   [Hugging Face Transformers, guia de assisted decoding (verificado em 2026-11-16)](https://huggingface.co/docs/transformers/en/assisted_decoding)
-   [DeepSeek, model card do DeepSeek-V4.1-Flash (speculative decoding DSpark) (verificado em 2026-11-16)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Catálogo de modelos da BroadNet (medições de laboratório, setembro de 2026) (verificado em 2026-11-16) (em inglês)](https://www.broadnet.ai/inference/models)
