Toute API partagée se protège par des limites. Savoir lesquelles s’appliquent vous dit à quelle vitesse aller et quoi faire quand vous en atteignez une.
Comment ça marche
Les API LLM mesurent plusieurs choses à la fois. OpenAI, par exemple, liste :
- RPM : requêtes par minute
- RPD : requêtes par jour
- TPM : tokens par minute
- TPD : tokens par jour
C’est la limite atteinte en premier qui s’applique. Beaucoup de fournisseurs plafonnent aussi la concurrence, c’est-à-dire le nombre de requêtes en cours.
Au-delà de la limite, le serveur renvoie 429 Too Many Requests. MDN le décrit comme le fait que le client a « sent too many requests in a given amount of time » (traduction : « envoyé trop de requêtes en un temps donné »). Un en-tête Retry-After peut indiquer combien de secondes attendre.
Une boucle de nouvelles tentatives sûre :
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Les SDK officiels d’OpenAI réessaient déjà les erreurs 429 et 5xx avec un backoff ; réglez max_retries plutôt que d’écrire votre propre boucle.
Pourquoi c’est important
- Débit. Votre plafond réel est la plus basse de toutes les limites. Sur une clé limitée à 30 requêtes par minute, comme les clés à l’usage de BroadNet, 1 000 requêtes prennent au moins 1 000 ÷ 30 minutes, quelle que soit la vitesse du modèle. Le calculateur de limites de débit fait le calcul pour vos propres limites.
- Fiabilité. Des 429 non gérés ressemblent à des pannes. Le backoff les transforme en courts délais.
- Coût. Certains fournisseurs renvoient aussi un 429 pour les plafonds de dépenses, fréquents sur les clés en paiement à l’usage. Lisez le corps de l’erreur avant de réessayer.
Sur BroadNet Inference
| Type de clé | Limites |
|---|---|
| Paiement à l’usage | 30 requêtes par minute, 4 en cours simultanément |
| Clé horaire | 120 requêtes par minute, un flux, 300,000 tokens par minute |
| Forfait illimité | Une requête à la fois par session, pas de compteur de tokens |
BroadNet renvoie un 429 quand une limite de débit, de concurrence, de tokens par minute ou de dépenses est atteinte. Patientez avec un backoff et réessayez. Le guide des erreurs et nouvelles tentatives couvre chaque code de statut, et ce que « illimité » veut vraiment dire explique quelles limites un forfait conserve.
Erreurs fréquentes
- Réessayer des erreurs 401 ou 403. Ce sont des problèmes de clé ou de politique, pas des limites de débit.
- Faire tourner de nombreux workers sur une seule clé sans limiteur partagé. Chaque worker patiente seul pendant que les autres maintiennent la clé saturée.