BroadRouter

Prefill e decode

Aggiornato

Prefill e decode sono le due fasi dell’inferenza di un LLM. Nel prefill il modello elabora tutto il prompt in parallelo e riempie la sua KV cache; nel decode genera la risposta un token alla volta, riusando quella cache. Il prefill determina soprattutto il tempo al primo token; il decode la velocità di output.

Detto anche: fase di prefill, fase di decode, decodifica, elaborazione del prompt, prefill, prefill phase, decode phase, prefill stage, prompt processing

Una richiesta di chat fa due lavori diversi: legge il prompt, poi scrive la risposta. Chi si occupa di inferenza li chiama prefill e decode, e su una GPU si comportano in modo molto diverso.

Come funziona

  1. Prefill. Il modello legge tutti i token del prompt in un’unica passata parallela e salva le chiavi e i valori di attenzione di ogni token nella KV cache. Non viene ancora restituito nulla.
  2. Decode. Il modello genera un token, aggiunge le sue chiavi e i suoi valori alla cache, e ripete finché si ferma o raggiunge max_tokens.

L’articolo su Sarathi-Serve descrive il contrasto senza giri di parole: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (traduzione: le iterazioni di prefill hanno una latenza alta ma saturano il calcolo della GPU grazie all’elaborazione parallela del prompt di input), mentre “decode iterations have low latency but also low compute utilization.” (traduzione: le iterazioni di decode hanno una latenza bassa ma anche un basso utilizzo del calcolo).

Le due fasi corrispondono ai due numeri di latenza che gli utenti percepiscono. L’articolo su DistServe li nomina: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase” (traduzione: tempo al primo token per la fase di prefill e tempo per token di output di ogni richiesta per la fase di decode).

Un esempio concreto: una richiesta con un prompt da 20.000 token e una risposta da 300 token esegue tutti i 20.000 token di prefill prima che compaia il primo token in streaming, poi 300 passi di decode in sequenza. Dimezzare il prompt accorcia l’attesa del primo token; non cambia la velocità con cui arrivano i 300 token.

Perché è importante

  • Il tempo al primo token segue la dimensione del prompt. System prompt lunghi, documenti ed elenchi di strumenti aggiungono tutti lavoro di prefill. I prefissi in cache ne saltano una parte, ed è per questo che i token di input in cache possono far partire prima i prompt lunghi.
  • I token al secondo sono un numero del decode. La velocità di output dipende da quanto rapidamente gira ogni passo di decode, ed è ciò che il decoding speculativo cerca di aumentare.
  • Le fasi interferiscono. Quando un server le esegue entrambe sulla stessa GPU, un prefill grande può mettere in pausa i decode di altri utenti. DistServe riporta “strong prefill-decoding interferences” (traduzione: forti interferenze tra prefill e decode) e sposta le fasi su GPU diverse. Sarathi-Serve invece “splits a prefill request into near equal sized chunks” (traduzione: divide una richiesta di prefill in blocchi di dimensione quasi uguale) e li pianifica “without pausing ongoing decodes” (traduzione: senza mettere in pausa i decode in corso).
  • I motori espongono il compromesso. La guida al tuning di vLLM dice che il chunked prefill gli permette di raggruppare blocchi di prefill con richieste di decode. Un max_num_batched_tokens più piccolo migliora la latenza tra un token e l’altro, mentre uno più grande favorisce il TTFT e il throughput.

La guida a latenza, TTFT e throughput mostra come misurare entrambe le fasi dal lato client.

Su BroadNet Inference

BroadNet non pubblica come i suoi server pianificano prefill e decode. Quello che puoi vedere è l’effetto: fai lo streaming di una risposta come nella guida allo streaming, registra il tempo fino al primo chunk di contenuto (soprattutto prefill più coda) e il ritmo dei chunk successivi (decode). Su GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B anche i token di ragionamento vengono generati nel decode, quindi ritardano la risposta visibile e contano in max_tokens.

Errori comuni

  • Dare la colpa di un primo token lento alla velocità di output del modello. Controlla prima la lunghezza del prompt.
  • Fare benchmark con un prompt minuscolo. I prompt reali con contesto lungo hanno un prefill molto più lungo.

Domande frequenti

Perché un prompt lungo rallenta il primo token?

Ogni token del prompt deve passare dal prefill prima che il modello possa scrivere qualcosa. Un prompt più lungo significa più lavoro di prefill, quindi il tempo al primo token cresce con la lunghezza del prompt, a meno che una parte del prompt sia servita dalla cache.

Una risposta più lunga rallenta il primo token?

No. Il primo token aspetta il prefill del prompt. Una risposta più lunga aggiunge solo altri passi di decode dopo l’arrivo del primo token.

Cos’è il chunked prefill?

Un metodo di scheduling che divide un prompt lungo in pezzi e li alterna ai passi di decode in corso, così un singolo prompt grande non blocca gli altri utenti. vLLM lo attiva per impostazione predefinita dove può.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity