Una richiesta di chat fa due lavori diversi: legge il prompt, poi scrive la risposta. Chi si occupa di inferenza li chiama prefill e decode, e su una GPU si comportano in modo molto diverso.
Come funziona
- Prefill. Il modello legge tutti i token del prompt in un’unica passata parallela e salva le chiavi e i valori di attenzione di ogni token nella KV cache. Non viene ancora restituito nulla.
- Decode. Il modello genera un token, aggiunge le sue chiavi e i suoi valori alla cache, e ripete finché si ferma o raggiunge
max_tokens.
L’articolo su Sarathi-Serve descrive il contrasto senza giri di parole: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (traduzione: le iterazioni di prefill hanno una latenza alta ma saturano il calcolo della GPU grazie all’elaborazione parallela del prompt di input), mentre “decode iterations have low latency but also low compute utilization.” (traduzione: le iterazioni di decode hanno una latenza bassa ma anche un basso utilizzo del calcolo).
Le due fasi corrispondono ai due numeri di latenza che gli utenti percepiscono. L’articolo su DistServe li nomina: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase” (traduzione: tempo al primo token per la fase di prefill e tempo per token di output di ogni richiesta per la fase di decode).
Un esempio concreto: una richiesta con un prompt da 20.000 token e una risposta da 300 token esegue tutti i 20.000 token di prefill prima che compaia il primo token in streaming, poi 300 passi di decode in sequenza. Dimezzare il prompt accorcia l’attesa del primo token; non cambia la velocità con cui arrivano i 300 token.
Perché è importante
- Il tempo al primo token segue la dimensione del prompt. System prompt lunghi, documenti ed elenchi di strumenti aggiungono tutti lavoro di prefill. I prefissi in cache ne saltano una parte, ed è per questo che i token di input in cache possono far partire prima i prompt lunghi.
- I token al secondo sono un numero del decode. La velocità di output dipende da quanto rapidamente gira ogni passo di decode, ed è ciò che il decoding speculativo cerca di aumentare.
- Le fasi interferiscono. Quando un server le esegue entrambe sulla stessa GPU, un prefill grande può mettere in pausa i decode di altri utenti. DistServe riporta “strong prefill-decoding interferences” (traduzione: forti interferenze tra prefill e decode) e sposta le fasi su GPU diverse. Sarathi-Serve invece “splits a prefill request into near equal sized chunks” (traduzione: divide una richiesta di prefill in blocchi di dimensione quasi uguale) e li pianifica “without pausing ongoing decodes” (traduzione: senza mettere in pausa i decode in corso).
- I motori espongono il compromesso. La guida al tuning di vLLM dice che il chunked prefill gli permette di raggruppare blocchi di prefill con richieste di decode. Un
max_num_batched_tokenspiù piccolo migliora la latenza tra un token e l’altro, mentre uno più grande favorisce il TTFT e il throughput.
La guida a latenza, TTFT e throughput mostra come misurare entrambe le fasi dal lato client.
Su BroadNet Inference
BroadNet non pubblica come i suoi server pianificano prefill e decode. Quello che puoi vedere è l’effetto: fai lo streaming di una risposta come nella guida allo streaming, registra il tempo fino al primo chunk di contenuto (soprattutto prefill più coda) e il ritmo dei chunk successivi (decode). Su GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B anche i token di ragionamento vengono generati nel decode, quindi ritardano la risposta visibile e contano in max_tokens.
Errori comuni
- Dare la colpa di un primo token lento alla velocità di output del modello. Controlla prima la lunghezza del prompt.
- Fare benchmark con un prompt minuscolo. I prompt reali con contesto lungo hanno un prefill molto più lungo.