BroadRouter

Prefill e decode

Atualizado em

Prefill e decode são as duas fases da inferência de um LLM. No prefill, o modelo processa o prompt inteiro em paralelo e preenche o KV cache; no decode, gera a resposta um token por vez, reaproveitando esse cache. O prefill define principalmente o tempo até o primeiro token; o decode, a velocidade de saída.

Também chamado de: fase de prefill, fase de decode, decodificação, processamento do prompt, prefill, prefill phase, decode phase, prefill stage, prompt processing

Uma requisição de chat faz dois trabalhos diferentes: lê o prompt e depois escreve a resposta. Quem trabalha com inferência chama essas etapas de prefill e decode, e elas se comportam de forma muito diferente em uma GPU.

Como funciona

  1. Prefill. O modelo lê todos os tokens do prompt em uma única passada paralela e guarda as chaves e os valores de atenção de cada token no KV cache. Nada é devolvido ainda.
  2. Decode. O modelo gera um token, acrescenta as chaves e os valores dele ao cache e repete até parar ou atingir max_tokens.

O artigo do Sarathi-Serve resume o contraste sem rodeios: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (tradução: as iterações de prefill têm latência alta, mas saturam o processamento da GPU por causa do processamento paralelo do prompt de entrada), enquanto “decode iterations have low latency but also low compute utilization.” (tradução: as iterações de decode têm latência baixa, mas também baixa utilização de processamento).

As duas fases correspondem aos dois números de latência que os usuários sentem. O artigo do DistServe dá nome a eles: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (tradução: tempo até o primeiro token para a fase de prefill e tempo por token de saída de cada requisição para a fase de decode).

Um exemplo prático: uma requisição com um prompt de 20.000 tokens e uma resposta de 300 tokens faz todos os 20.000 tokens de prefill antes de aparecer o primeiro token no streaming, e depois 300 passos sequenciais de decode. Cortar o prompt pela metade encurta a espera pelo primeiro token; não muda a velocidade com que os 300 tokens chegam.

Por que importa

  • O tempo até o primeiro token acompanha o tamanho do prompt. System prompts longos, documentos e listas de ferramentas acrescentam trabalho de prefill. Prefixos em cache pulam parte disso, e é por isso que os tokens de entrada em cache podem fazer prompts longos começarem mais rápido.
  • Tokens por segundo é um número do decode. A velocidade de saída depende de quão rápido roda cada passo de decode, e é isso que o speculative decoding tenta aumentar.
  • As fases interferem. Quando um servidor roda as duas na mesma GPU, um prefill grande pode pausar o decode de outros usuários. O DistServe relata “strong prefill-decoding interferences” (tradução: fortes interferências entre prefill e decode) e move as fases para GPUs diferentes. Já o Sarathi-Serve “splits a prefill request into near equal sized chunks” (tradução: divide uma requisição de prefill em pedaços de tamanho quase igual) e os agenda “without pausing ongoing decodes” (tradução: sem pausar os decodes em andamento).
  • Os mecanismos expõem o trade-off. O guia de ajuste do vLLM diz que o chunked prefill permite agrupar pedaços de prefill com requisições de decode. Um max_num_batched_tokens menor melhora a latência entre tokens, enquanto um maior favorece o TTFT e o throughput.

O guia de latência, TTFT e throughput mostra como medir as duas fases do lado do cliente.

Na BroadNet Inference

A BroadNet não publica como os servidores dela agendam prefill e decode. O que você consegue ver é o efeito: faça streaming de uma resposta como no guia de streaming, registre o tempo até o primeiro chunk de conteúdo (principalmente prefill mais fila) e o ritmo dos chunks seguintes (decode). No GLM 5.3, no DeepSeek V4.1 Flash e no Qwen3.8 27B, os tokens de raciocínio também são gerados no decode, então atrasam a resposta visível e contam para max_tokens.

Erros comuns

  • Culpar a velocidade de saída do modelo por um primeiro token lento. Confira primeiro o tamanho do prompt.
  • Fazer benchmark com um prompt minúsculo. Prompts reais, com contexto longo, têm um prefill muito mais longo.

Perguntas frequentes

Por que um prompt longo deixa o primeiro token lento?

Todo token do prompt precisa passar pelo prefill antes que o modelo consiga escrever qualquer coisa. Prompt mais longo significa mais trabalho de prefill, então o tempo até o primeiro token cresce com o tamanho do prompt, a menos que parte dele venha do cache.

Uma resposta mais longa atrasa o primeiro token?

Não. O primeiro token espera o prefill do prompt. Uma resposta mais longa só acrescenta mais passos de decode depois que o primeiro token chega.

O que é chunked prefill?

Um método de agendamento que divide um prompt longo em pedaços e os intercala com os passos de decode em andamento, para que um prompt grande não trave os outros usuários. O vLLM ativa isso por padrão onde pode.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity