La latence est le chiffre que ressentent les utilisateurs. C’est aussi celui qui surprend le plus souvent les équipes qui passent de la démo à la production.
Comment ça marche
Le guide des métriques de NVIDIA donne la formule de base pour une requête :
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Le time to first token couvre le réseau, la file d’attente et la lecture du prompt. Le temps de génération couvre tout ce qui suit le premier token : (tokens de sortie − 1) × latence inter-token (ITL), soit à peu près tokens de sortie × ITL pour une réponse longue. La latence de bout en bout, selon NVIDIA, « includes queueing, batching, and network latency » (traduction : « inclut la file d’attente, le batching et la latence réseau »).
Un exemple chiffré avec des valeurs rondes : supposons qu’un modèle diffuse 50 tokens de sortie par seconde. Une réponse de 600 tokens met 600 ÷ 50 = 12 secondes à être générée. Ajoutez une seconde de TTFT : la requête prend environ 13 secondes. Divisez la réponse par deux et vous gagnez 6 secondes ; divisez le TTFT par deux et vous gagnez une demi-seconde. Ici, c’est la longueur de sortie qui domine.
Dans une application, une requête est rarement seule. La latence ressentie à l’écran inclut aussi les nouvelles tentatives après erreur, l’attente d’un créneau de concurrence, les appels d’outils entre deux tours du modèle et votre propre code.
Pourquoi c’est important
Le guide de latence d’OpenAI énonce sept principes : traiter les tokens plus vite, générer moins de tokens, utiliser moins de tokens d’entrée, faire moins de requêtes, paralléliser, faire moins attendre les utilisateurs et ne pas recourir à un LLM par défaut. La plupart sont des choix de conception, pas des choix de fournisseur.
Indiquez des percentiles. Un p50 de 4 secondes avec un p95 de 30 secondes signifie qu’un utilisateur sur vingt attend une demi-minute ou plus. Les moyennes masquent cette queue de distribution, et c’est elle qui dicte les timeouts.
Latence et débit tirent en sens inverse. NVIDIA note que lorsque les requêtes simultanées augmentent, le nombre total de tokens par seconde du système monte, tandis que les tokens par seconde par utilisateur baissent. Un fournisseur très sollicité peut servir plus de monde tout en paraissant plus lent à chacun.
Sur BroadNet Inference
La page des forfaits de BroadNet indique une vitesse typique de environ 100 tokens par seconde. Sa documentation ne publie ni TTFT ni latence en percentiles. Une clé à l’usage autorise 4 requêtes en cours ; la documentation cite une limite de concurrence parmi les causes du HTTP 429, et chaque nouvelle tentative qui suit ajoute de la latence de votre côté. Les longues exécutions d’agents doivent définir des timeouts et des nouvelles tentatives bornées ; voir timeouts et nouvelles tentatives pour les agents de longue durée. Pour mesurer chaque composante côté client, voir le guide de la latence LLM.