Il TTFT è la pausa prima che succeda qualcosa. In una finestra di chat è lo schermo vuoto; in un bot vocale è il silenzio.
Come funziona
La guida al benchmarking di NVIDIA scompone il TTFT in tre parti: “request queuing time, prefill time, and network latency” (traduzione: tempo di coda della richiesta, tempo di prefill e latenza di rete). Ognuna ha la sua causa:
| Parte | Cosa la determina | Cosa puoi cambiare |
|---|---|---|
| Rete | Distanza, handshake TLS, proxy | Riusa le connessioni; chiama da una regione vicina |
| Coda | Quanto è carico il server | Orari meno trafficati, un modello o un tier meno carico |
| Prefill | Lunghezza del prompt, dimensione del modello | Prompt più corti, prefissi stabili che si possono mettere in cache |
Con input lunghi, di solito la parte più grossa è il prefill. Il modello fa passare l’intero prompt attraverso tutti i layer per costruire la KV cache prima di poter produrre il primo token. NVIDIA nota che su un server carico il prefill di una richiesta può sovrapporsi alla generazione di un’altra, quindi il TTFT si muove anche con il traffico degli altri.
Quando leggi i numeri contano due definizioni. AIPerf di NVIDIA conta il primo token solo se ha un contenuto. Per il testo in streaming nella Responses API, la guida di OpenAI misura il TTFT “until you receive the first nonempty response.output_text.delta” (traduzione: finché non ricevi il primo response.output_text.delta non vuoto). Con i token di ragionamento, la prima parola visibile può arrivare molto dopo il primo token generato, quindi specifica a quale dei due ti riferisci.
Perché è importante
Il TTFT decide quanto un prodotto sembra veloce, più della velocità pura. La guida di OpenAI dice che “a long prompt can delay the first token, especially when much of the input is new” (traduzione: un prompt lungo può ritardare il primo token, soprattutto quando gran parte dell’input è nuova). Lo stesso vale per i token di input in cache: un prefisso in cache salta una parte del prefill, quindi un system prompt ripetuto costa meno e parte prima.
Per gli agenti il TTFT si paga a ogni passo. Venti chiamate a strumenti con un TTFT di due secondi aggiungono quaranta secondi di attesa, prima ancora di contare l’output.
Il TTFT è una parte della latenza end-to-end. Il resto è il tempo di generazione, determinato dai token al secondo.
Su BroadNet Inference
La documentazione di BroadNet descrive lo streaming con i Server-Sent Events, che termina con data: [DONE]: è così che osservi il primo token dal client. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, quindi il tempo fino al primo testo visibile include il ragionamento. BroadNet non pubblica un valore di TTFT. Per uno script di misura e un report p50/p95, vedi latenza degli LLM: TTFT e token al secondo.