Uma requisição de chat faz dois trabalhos diferentes: lê o prompt e depois escreve a resposta. Quem trabalha com inferência chama essas etapas de prefill e decode, e elas se comportam de forma muito diferente em uma GPU.
Como funciona
- Prefill. O modelo lê todos os tokens do prompt em uma única passada paralela e guarda as chaves e os valores de atenção de cada token no KV cache. Nada é devolvido ainda.
- Decode. O modelo gera um token, acrescenta as chaves e os valores dele ao cache e repete até parar ou atingir
max_tokens.
O artigo do Sarathi-Serve resume o contraste sem rodeios: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (tradução: as iterações de prefill têm latência alta, mas saturam o processamento da GPU por causa do processamento paralelo do prompt de entrada), enquanto “decode iterations have low latency but also low compute utilization.” (tradução: as iterações de decode têm latência baixa, mas também baixa utilização de processamento).
As duas fases correspondem aos dois números de latência que os usuários sentem. O artigo do DistServe dá nome a eles: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (tradução: tempo até o primeiro token para a fase de prefill e tempo por token de saída de cada requisição para a fase de decode).
Um exemplo prático: uma requisição com um prompt de 20.000 tokens e uma resposta de 300 tokens faz todos os 20.000 tokens de prefill antes de aparecer o primeiro token no streaming, e depois 300 passos sequenciais de decode. Cortar o prompt pela metade encurta a espera pelo primeiro token; não muda a velocidade com que os 300 tokens chegam.
Por que importa
- O tempo até o primeiro token acompanha o tamanho do prompt. System prompts longos, documentos e listas de ferramentas acrescentam trabalho de prefill. Prefixos em cache pulam parte disso, e é por isso que os tokens de entrada em cache podem fazer prompts longos começarem mais rápido.
- Tokens por segundo é um número do decode. A velocidade de saída depende de quão rápido roda cada passo de decode, e é isso que o speculative decoding tenta aumentar.
- As fases interferem. Quando um servidor roda as duas na mesma GPU, um prefill grande pode pausar o decode de outros usuários. O DistServe relata “strong prefill-decoding interferences” (tradução: fortes interferências entre prefill e decode) e move as fases para GPUs diferentes. Já o Sarathi-Serve “splits a prefill request into near equal sized chunks” (tradução: divide uma requisição de prefill em pedaços de tamanho quase igual) e os agenda “without pausing ongoing decodes” (tradução: sem pausar os decodes em andamento).
- Os mecanismos expõem o trade-off. O guia de ajuste do vLLM diz que o chunked prefill permite agrupar pedaços de prefill com requisições de decode. Um
max_num_batched_tokensmenor melhora a latência entre tokens, enquanto um maior favorece o TTFT e o throughput.
O guia de latência, TTFT e throughput mostra como medir as duas fases do lado do cliente.
Na BroadNet Inference
A BroadNet não publica como os servidores dela agendam prefill e decode. O que você consegue ver é o efeito: faça streaming de uma resposta como no guia de streaming, registre o tempo até o primeiro chunk de conteúdo (principalmente prefill mais fila) e o ritmo dos chunks seguintes (decode). No GLM 5.3, no DeepSeek V4.1 Flash e no Qwen3.8 27B, os tokens de raciocínio também são gerados no decode, então atrasam a resposta visível e contam para max_tokens.
Erros comuns
- Culpar a velocidade de saída do modelo por um primeiro token lento. Confira primeiro o tamanho do prompt.
- Fazer benchmark com um prompt minúsculo. Prompts reais, com contexto longo, têm um prefill muito mais longo.