Les limites de débit comptent les requêtes sur une durée. La concurrence compte les requêtes à un instant donné. Les requêtes de LLM peuvent durer de nombreuses secondes, si bien que c’est souvent la seconde limite qui se fait sentir en premier.
Comment ça marche
La loi de Little relie les trois grandeurs (requêtes en cours = débit de requêtes × durée moyenne par requête) :
requests in flight = request rate × average time per request
Prenons une clé hypothétique qui autorise 5 requêtes en cours et 60 requêtes par minute, chaque requête durant 20 secondes. La limite de concurrence autorise au plus 5 ÷ 20 = 0,25 requête par seconde, soit 15 par minute. Vous n’atteindrez jamais 60 par minute, car c’est la concurrence qui limite. Avec des requêtes de 2 secondes, la même limite autorise 150 requêtes par minute, et c’est alors la limite de débit qui s’applique. Le calculateur de limite de débit fait ce calcul avec vos propres chiffres.
Les sorties longues, les tokens de raisonnement et les prompts longs allongent tous la durée des requêtes, et consomment donc la concurrence plus vite. Une réponse en streaming garde son emplacement jusqu’à sa fin.
Pourquoi c’est important
Les fournisseurs plafonnent la concurrence parce que la mémoire et la puissance de calcul des GPU sont partagées. Les benchmarks de NVIDIA montrent que lorsque la concurrence augmente sur un serveur, la production totale augmente tandis que les tokens par seconde de chaque requête diminuent. Un plafond par clé évite qu’un client ralentisse tout le monde.
Pour votre application, la concurrence fixe la taille des pools de workers et le nombre d’agents qui peuvent tourner côte à côte. Dimensionnez votre pool sur ce plafond, pas au-delà, sinon les workers en trop ne feront que collectionner des erreurs 429.
Sur BroadNet Inference
| Accès | Concurrence |
|---|---|
| Clé à l’usage | 4 requêtes en cours, plus 30 requêtes par minute |
| Clé horaire | Un flux |
| Forfait illimité | Une requête à la fois par session |
Les forfaits vendent directement de la concurrence. Une session n’a pas de compteur de tokens et traite une requête à la fois, comme travaille un agent. Les requêtes d’une même session font la queue les unes derrière les autres. Pour faire tourner des agents en parallèle, achetez une session par agent : un orchestrateur plus trois sous-agents nécessitent quatre sessions. Une clé peut contenir plusieurs sessions.
Lisez comment fonctionnent les sessions illimitées et comment faire tourner des agents de code en parallèle avec un forfait. Les agents passent beaucoup de temps à exécuter des outils : mesurez le chevauchement réel avant d’acheter plus de sessions.
Erreurs fréquentes
- Lancer un worker par tâche sans pool. Un lot de 100 tâches devient 100 requêtes simultanées.
- Régler des timeouts client plus courts qu’une longue réponse de raisonnement. Le client abandonne alors que l’emplacement est encore occupé.