BroadRouter
Commencer

Débit (throughput)

Mis à jour

Le débit (throughput), dans le service de LLM, est la quantité totale de travail qu’un système accomplit par unité de temps sur toutes les requêtes simultanées, généralement mesurée en tokens de sortie par seconde ou en requêtes par seconde. Il se distingue de la vitesse par flux, c’est-à-dire la vitesse à laquelle une seule requête reçoit ses tokens.

Aussi appelé : débit, débit LLM, débit du système, débit total, requêtes par seconde, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Les tokens par seconde indiquent à quelle vitesse une réponse arrive en streaming. Le débit indique ce qu’un système entier parvient à produire.

Comment ça marche

Le guide de benchmark de NVIDIA distingue les deux. Le TPS total par système est le « total output token throughput across all simultaneous requests » (traduction : « débit total de tokens de sortie sur toutes les requêtes simultanées ») : tous les tokens de sortie divisés par le temps écoulé entre la première requête et la dernière réponse. Le TPS par utilisateur est la longueur de sortie d’une requête divisée par sa durée de bout en bout. Les requêtes par seconde (RPS) comptent les requêtes terminées au lieu des tokens.

La phrase clé : « As the number of concurrent requests increases, total system TPS increases while TPS per user decreases. » (traduction : « Quand le nombre de requêtes simultanées augmente, le TPS total du système augmente tandis que le TPS par utilisateur diminue. ») Le TPS total grimpe jusqu’à saturation du GPU, et au-delà il peut baisser.

Côté serveur, la limite est en général la mémoire. L’article sur PagedAttention explique que servir à haut débit « requires batching sufficiently many requests at a time » (traduction : « exige de regrouper suffisamment de requêtes à la fois »), et c’est le cache KV de chaque requête qui détermine combien tiennent en mémoire. Une meilleure gestion de la mémoire a permis à vLLM d’atteindre 2 à 4 fois le débit des systèmes antérieurs, à latence égale.

Pourquoi c’est important

Pour celui qui appelle une API, le débit concerne son côté du tuyau : combien de documents traiter par heure, ou combien d’agents peuvent travailler en même temps. Il suit une règle simple :

your throughput ≈ concurrent requests × per-stream tokens per second

Cela ne tient que si le fournisseur maintient la vitesse par flux quand vous ajoutez de la charge. Mesurez-le ; ne le supposez pas.

Le débit est plafonné par votre limite de concurrence et vos limites de débit, pas seulement par le modèle. Si une tâche est lente, vérifiez si des requêtes s’exécutent l’une après l’autre alors qu’elles pourraient tourner en parallèle.

Sur BroadNet Inference

BroadNet publie des limites par clé, pas de chiffre de débit système. Sa page des forfaits indique une vitesse typique de environ 100 tokens par seconde pour DeepSeek V4.1 Flash, le modèle des forfaits ; elle ne publie pas de vitesse pour les autres modèles. À titre d’illustration, si chaque flux tournait à cette vitesse :

Option Requêtes en parallèle Plafond si la vitesse se maintient
Clé à l’usage 4 (et 30 requêtes par minute) 4 flux × environ 100 tokens par seconde chacun
Clé horaire (Gemma 4 VL 26B) 1 flux, 300,000 tokens par minute non publié ; mesurez-le
Session de forfait illimité 1 requête à la fois environ 100 tokens par seconde

Pour faire monter en charge un forfait, vous ajoutez des sessions, une par agent qui travaille en parallèle ; voir les sessions illimitées d’API de LLM et faire tourner des agents de code en parallèle. Cette vitesse est le chiffre typique annoncé par BroadNet pour DeepSeek V4.1 Flash, pas une garantie pour d’autres modèles ni sous charge.

Questions fréquentes

Le débit est-il la même chose que les tokens par seconde ?

Seulement au niveau du système. Les tokens par seconde par flux sont la vitesse que voit une requête. Le débit additionne tous les flux. NVIDIA parle de TPS par utilisateur et de TPS total par système.

Comment obtenir plus de débit d’une API de LLM ?

Lancez plus de requêtes en parallèle, dans la limite de votre concurrence et de vos limites de débit, et gardez chaque requête courte. Si chaque requête utilise déjà pleinement son emplacement, seuls plus d’emplacements, de clés ou de sessions permettent d’aller plus loin.

Un débit plus élevé signifie-t-il une latence plus faible ?

Non. Le débit est le travail total par seconde sur toutes les requêtes ; la latence est la durée d’une requête. Servir plus de requêtes à la fois augmente le débit total, mais peut ralentir chaque requête : c’est pourquoi NVIDIA présente séparément le TPS par utilisateur et le TPS total.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity