Les tokens par seconde indiquent à quelle vitesse une réponse arrive en streaming. Le débit indique ce qu’un système entier parvient à produire.
Comment ça marche
Le guide de benchmark de NVIDIA distingue les deux. Le TPS total par système est le « total output token throughput across all simultaneous requests » (traduction : « débit total de tokens de sortie sur toutes les requêtes simultanées ») : tous les tokens de sortie divisés par le temps écoulé entre la première requête et la dernière réponse. Le TPS par utilisateur est la longueur de sortie d’une requête divisée par sa durée de bout en bout. Les requêtes par seconde (RPS) comptent les requêtes terminées au lieu des tokens.
La phrase clé : « As the number of concurrent requests increases, total system TPS increases while TPS per user decreases. » (traduction : « Quand le nombre de requêtes simultanées augmente, le TPS total du système augmente tandis que le TPS par utilisateur diminue. ») Le TPS total grimpe jusqu’à saturation du GPU, et au-delà il peut baisser.
Côté serveur, la limite est en général la mémoire. L’article sur PagedAttention explique que servir à haut débit « requires batching sufficiently many requests at a time » (traduction : « exige de regrouper suffisamment de requêtes à la fois »), et c’est le cache KV de chaque requête qui détermine combien tiennent en mémoire. Une meilleure gestion de la mémoire a permis à vLLM d’atteindre 2 à 4 fois le débit des systèmes antérieurs, à latence égale.
Pourquoi c’est important
Pour celui qui appelle une API, le débit concerne son côté du tuyau : combien de documents traiter par heure, ou combien d’agents peuvent travailler en même temps. Il suit une règle simple :
your throughput ≈ concurrent requests × per-stream tokens per second
Cela ne tient que si le fournisseur maintient la vitesse par flux quand vous ajoutez de la charge. Mesurez-le ; ne le supposez pas.
Le débit est plafonné par votre limite de concurrence et vos limites de débit, pas seulement par le modèle. Si une tâche est lente, vérifiez si des requêtes s’exécutent l’une après l’autre alors qu’elles pourraient tourner en parallèle.
Sur BroadNet Inference
BroadNet publie des limites par clé, pas de chiffre de débit système. Sa page des forfaits indique une vitesse typique de environ 100 tokens par seconde pour DeepSeek V4.1 Flash, le modèle des forfaits ; elle ne publie pas de vitesse pour les autres modèles. À titre d’illustration, si chaque flux tournait à cette vitesse :
| Option | Requêtes en parallèle | Plafond si la vitesse se maintient |
|---|---|---|
| Clé à l’usage | 4 (et 30 requêtes par minute) | 4 flux × environ 100 tokens par seconde chacun |
| Clé horaire (Gemma 4 VL 26B) | 1 flux, 300,000 tokens par minute | non publié ; mesurez-le |
| Session de forfait illimité | 1 requête à la fois | environ 100 tokens par seconde |
Pour faire monter en charge un forfait, vous ajoutez des sessions, une par agent qui travaille en parallèle ; voir les sessions illimitées d’API de LLM et faire tourner des agents de code en parallèle. Cette vitesse est le chiffre typique annoncé par BroadNet pour DeepSeek V4.1 Flash, pas une garantie pour d’autres modèles ni sous charge.