BroadRouter

Time to first token (TTFT)

Mis à jour

Le time to first token (TTFT) est le temps écoulé entre l’envoi d’une requête à un modèle de langage et l’arrivée du premier token de sortie. Il comprend le temps réseau, la file d’attente côté serveur et le prefill, où le modèle lit tout le prompt : il augmente donc avec la longueur du prompt et la charge.

Aussi appelé : TTFT, time to first token, délai avant le premier token, temps jusqu’au premier token, latence du premier token, first-token latency, time to first content token, first token time

Le TTFT, c’est la pause avant que quoi que ce soit ne se passe. Dans une fenêtre de chat, c’est l’écran vide ; dans un voicebot, c’est le blanc à l’antenne.

Comment ça marche

Le guide de benchmark de NVIDIA décompose le TTFT en trois parties : « request queuing time, prefill time, and network latency » (traduction : « temps d’attente de la requête en file, temps de prefill et latence réseau »). Chacune a sa propre cause :

Partie Ce qui la détermine Ce que vous pouvez changer
Réseau Distance, établissement TLS, proxys Réutiliser les connexions ; appeler depuis une région proche
File d’attente Charge du serveur Horaires creux, un modèle ou un niveau moins chargé
Prefill Longueur du prompt, taille du modèle Prompts plus courts, préfixes stables et cachables

Pour les entrées longues, le prefill est généralement le gros morceau. Le modèle fait passer tout le prompt dans chaque couche pour construire le cache KV avant de pouvoir produire le premier token. NVIDIA note que sur un serveur chargé, le prefill d’une requête peut chevaucher la génération d’une autre : le TTFT varie donc aussi avec le trafic des autres utilisateurs.

Deux définitions comptent quand vous lisez des chiffres. AIPerf de NVIDIA ne compte le premier token que s’il porte du contenu. Pour le texte en streaming dans l’API Responses, le guide d’OpenAI mesure le TTFT « until you receive the first nonempty response.output_text.delta » (traduction : « jusqu’à réception du premier response.output_text.delta non vide »). Avec les tokens de raisonnement, le premier mot visible peut arriver bien après le premier token généré : précisez donc duquel vous parlez.

Pourquoi c’est important

Le TTFT détermine la rapidité perçue d’un produit, davantage que la vitesse brute. Le guide d’OpenAI indique qu’« a long prompt can delay the first token, especially when much of the input is new » (traduction : « un long prompt peut retarder le premier token, surtout quand une grande partie de l’entrée est nouvelle »). C’est là que les tokens d’entrée en cache aident. Le même guide indique que la mise en cache du prompt « can reuse an eligible exact prefix match » (traduction : « peut réutiliser une correspondance exacte de préfixe éligible ») et suggère de comparer le TTFT avec et sans hits de cache. Un préfixe en cache saute une partie du prefill, si bien qu’un prompt système répété coûte moins cher et peut démarrer plus tôt.

Pour les agents, le TTFT se paie à chaque étape. Vingt appels d’outils avec un TTFT de deux secondes ajoutent quarante secondes d’attente, sans compter la moindre sortie.

Le TTFT est une partie de la latence de bout en bout. Le reste est le temps de génération, fixé par les tokens par seconde.

Sur BroadNet Inference

La documentation de BroadNet décrit le streaming en server-sent events, terminé par data: [DONE] : c’est ainsi que vous observez le premier token côté client. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre : le temps jusqu’au premier texte visible inclut donc la réflexion. BroadNet ne publie pas de valeur de TTFT. Pour un script de mesure et un suivi au p50 et au p95, voir latence LLM : TTFT et tokens par seconde.

Questions fréquentes

Pourquoi le TTFT est-il lent avec un long prompt ?

Le modèle doit lire chaque token du prompt et construire son cache KV avant de pouvoir écrire quoi que ce soit. Le guide des métriques de NVIDIA indique que les prompts plus longs augmentent le TTFT précisément pour cette raison.

Le streaming réduit-il le time to first token ?

Non. Le streaming vous montre le premier token dès qu’il existe ; sans lui, vous attendez la réponse entière. Le travail côté serveur avant ce token est le même dans les deux cas.

Un premier chunk vide compte-t-il comme premier token ?

Pas dans la plupart des benchmarks. AIPerf de NVIDIA ignore les premières réponses sans contenu, et OpenAI mesure le TTFT jusqu’au premier delta de texte non vide.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity