Le TTFT, c’est la pause avant que quoi que ce soit ne se passe. Dans une fenêtre de chat, c’est l’écran vide ; dans un voicebot, c’est le blanc à l’antenne.
Comment ça marche
Le guide de benchmark de NVIDIA décompose le TTFT en trois parties : « request queuing time, prefill time, and network latency » (traduction : « temps d’attente de la requête en file, temps de prefill et latence réseau »). Chacune a sa propre cause :
| Partie | Ce qui la détermine | Ce que vous pouvez changer |
|---|---|---|
| Réseau | Distance, établissement TLS, proxys | Réutiliser les connexions ; appeler depuis une région proche |
| File d’attente | Charge du serveur | Horaires creux, un modèle ou un niveau moins chargé |
| Prefill | Longueur du prompt, taille du modèle | Prompts plus courts, préfixes stables et cachables |
Pour les entrées longues, le prefill est généralement le gros morceau. Le modèle fait passer tout le prompt dans chaque couche pour construire le cache KV avant de pouvoir produire le premier token. NVIDIA note que sur un serveur chargé, le prefill d’une requête peut chevaucher la génération d’une autre : le TTFT varie donc aussi avec le trafic des autres utilisateurs.
Deux définitions comptent quand vous lisez des chiffres. AIPerf de NVIDIA ne compte le premier token que s’il porte du contenu. Pour le texte en streaming dans l’API Responses, le guide d’OpenAI mesure le TTFT « until you receive the first nonempty response.output_text.delta » (traduction : « jusqu’à réception du premier response.output_text.delta non vide »). Avec les tokens de raisonnement, le premier mot visible peut arriver bien après le premier token généré : précisez donc duquel vous parlez.
Pourquoi c’est important
Le TTFT détermine la rapidité perçue d’un produit, davantage que la vitesse brute. Le guide d’OpenAI indique qu’« a long prompt can delay the first token, especially when much of the input is new » (traduction : « un long prompt peut retarder le premier token, surtout quand une grande partie de l’entrée est nouvelle »). C’est là que les tokens d’entrée en cache aident. Le même guide indique que la mise en cache du prompt « can reuse an eligible exact prefix match » (traduction : « peut réutiliser une correspondance exacte de préfixe éligible ») et suggère de comparer le TTFT avec et sans hits de cache. Un préfixe en cache saute une partie du prefill, si bien qu’un prompt système répété coûte moins cher et peut démarrer plus tôt.
Pour les agents, le TTFT se paie à chaque étape. Vingt appels d’outils avec un TTFT de deux secondes ajoutent quarante secondes d’attente, sans compter la moindre sortie.
Le TTFT est une partie de la latence de bout en bout. Le reste est le temps de génération, fixé par les tokens par seconde.
Sur BroadNet Inference
La documentation de BroadNet décrit le streaming en server-sent events, terminé par data: [DONE] : c’est ainsi que vous observez le premier token côté client. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre : le temps jusqu’au premier texte visible inclut donc la réflexion. BroadNet ne publie pas de valeur de TTFT. Pour un script de mesure et un suivi au p50 et au p95, voir latence LLM : TTFT et tokens par seconde.