---
title: "Qu’est-ce que la latence d’un LLM ? Temps de réponse"
description: "La latence d’un LLM est la durée d’une requête, de l’envoi du prompt au dernier token. Composantes (TTFT, latence inter-token), percentiles, facteurs."
url: https://broadrouter.com/fr/glossary/latency/
lang: fr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/glossary/latency/) (mis à jour le 2026-11-16).

# Latence (LLM)

Mis à jour 2026-11-16

Pour une API de modèle de langage, la latence est le temps que prend une requête entre son envoi et la réception du dernier token de sortie. C’est la somme du time to first token et du temps de génération, généralement exprimée en percentiles comme le p50 et le p95 plutôt qu’en moyenne.

Aussi appelé : latence, latence LLM, temps de réponse, latence de bout en bout, latence inter-token, LLM latency, end-to-end latency, response time, e2e latency, inter-token latency

La latence est le chiffre que ressentent les utilisateurs. C’est aussi celui qui surprend le plus souvent les équipes qui passent de la démo à la production.

## Comment ça marche

Le guide des métriques de NVIDIA donne la formule de base pour une requête :

```text
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
```

Le [time to first token](https://broadrouter.com/fr/glossary/time-to-first-token/) couvre le réseau, la file d’attente et la lecture du prompt. Le temps de génération couvre tout ce qui suit le premier token : (tokens de sortie − 1) × latence inter-token (ITL), soit à peu près tokens de sortie × ITL pour une réponse longue. La latence de bout en bout, selon NVIDIA, « includes queueing, batching, and network latency » (traduction : « inclut la file d’attente, le batching et la latence réseau »).

Un exemple chiffré avec des valeurs rondes : supposons qu’un modèle diffuse 50 tokens de sortie par seconde. Une réponse de 600 tokens met 600 ÷ 50 = 12 secondes à être générée. Ajoutez une seconde de TTFT : la requête prend environ 13 secondes. Divisez la réponse par deux et vous gagnez 6 secondes ; divisez le TTFT par deux et vous gagnez une demi-seconde. Ici, c’est la longueur de sortie qui domine.

Dans une application, une requête est rarement seule. La latence ressentie à l’écran inclut aussi les nouvelles tentatives après erreur, l’attente d’un créneau de [concurrence](https://broadrouter.com/fr/glossary/concurrency/), les appels d’outils entre deux tours du modèle et votre propre code.

## Pourquoi c’est important

Le guide de latence d’OpenAI énonce sept principes : traiter les tokens plus vite, générer moins de tokens, utiliser moins de tokens d’entrée, faire moins de requêtes, paralléliser, faire moins attendre les utilisateurs et ne pas recourir à un LLM par défaut. La plupart sont des choix de conception, pas des choix de fournisseur.

Indiquez des percentiles. Un p50 de 4 secondes avec un p95 de 30 secondes signifie qu’un utilisateur sur vingt attend une demi-minute ou plus. Les moyennes masquent cette queue de distribution, et c’est elle qui dicte les timeouts.

Latence et [débit](https://broadrouter.com/fr/glossary/throughput/) tirent en sens inverse. NVIDIA note que lorsque les requêtes simultanées augmentent, le nombre total de tokens par seconde du système monte, tandis que les tokens par seconde par utilisateur baissent. Un fournisseur très sollicité peut servir plus de monde tout en paraissant plus lent à chacun.

## Sur BroadNet Inference

La page des forfaits de BroadNet indique une vitesse typique de environ 100 tokens par seconde. Sa documentation ne publie ni TTFT ni latence en percentiles. Une clé à l’usage autorise 4 requêtes en cours ; la documentation cite une limite de concurrence parmi les causes du HTTP 429, et chaque nouvelle tentative qui suit ajoute de la latence de votre côté. Les longues exécutions d’agents doivent définir des timeouts et des nouvelles tentatives bornées ; voir [timeouts et nouvelles tentatives pour les agents de longue durée](https://broadrouter.com/fr/blog/long-running-agents-timeouts-retries/). Pour mesurer chaque composante côté client, voir le [guide de la latence LLM](https://broadrouter.com/fr/blog/llm-latency-ttft-throughput/).

## Questions fréquentes

### Quelle différence entre latence et débit ?

La latence est la durée d’une requête. Le débit est la quantité de travail qu’un système termine par seconde, toutes requêtes confondues. Un serveur peut augmenter son débit en regroupant davantage de requêtes, tandis que chacune ralentit.

### Qu’est-ce que la latence inter-token ?

L’écart moyen entre les tokens de sortie après le premier, aussi appelé time per output token. NVIDIA la définit comme la latence de bout en bout moins le TTFT, divisée par le nombre de tokens de sortie moins un.

### Comment réduire la latence d’un LLM ?

Générez moins de tokens de sortie, envoyez des prompts plus courts, streamez la réponse pour que les utilisateurs voient le texte plus tôt et lancez en parallèle les appels indépendants. Le guide de latence d’OpenAI cite ces points parmi ses sept principes.

## Voir aussi

-   [Time to first token (TTFT)](https://broadrouter.com/fr/glossary/time-to-first-token/) (terme)
-   [Débit (throughput)](https://broadrouter.com/fr/glossary/throughput/) (terme)
-   [Tokens par seconde (TPS)](https://broadrouter.com/fr/glossary/tokens-per-second/) (terme)
-   [Concurrence (requêtes simultanées)](https://broadrouter.com/fr/glossary/concurrency/) (terme)
-   [Limite de débit (rate limit)](https://broadrouter.com/fr/glossary/rate-limit/) (terme)
-   [Streamer des chat completions et gérer les connexions coupées](https://broadrouter.com/fr/guides/streaming-chat-completions/) (guide)
-   [Codes d’erreur de BroadNet Inference : quand réessayer ?](https://broadrouter.com/fr/guides/errors-and-retries/) (guide)
-   [Latence LLM : TTFT, tokens par seconde et temps de bout en bout](https://broadrouter.com/fr/blog/llm-latency-ttft-throughput/) (article)
-   [Agents de longue durée : timeouts, retries et checkpoints qui tiennent](https://broadrouter.com/fr/blog/long-running-agents-timeouts-retries/) (article)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-latency&utm_content=page-cta) ·

**Sources**

-   [NVIDIA NIM, métriques de benchmark des LLM (latence de bout en bout, latence inter-token)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, guide d’optimisation de la latence (sept principes)](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Forfaits de BroadNet Inference (vitesse typique) (en anglais)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-glossary-latency&utm_content=sources)
