Jede gemeinsam genutzte API schützt sich mit Limits. Wer weiß, welche gelten, weiß auch, wie schnell er sein kann und was zu tun ist, wenn er an eines stößt.
So funktioniert es
LLM-APIs messen mehrere Dinge gleichzeitig. OpenAI nennt zum Beispiel:
- RPM: Anfragen pro Minute
- RPD: Anfragen pro Tag
- TPM: Tokens pro Minute
- TPD: Tokens pro Tag
Es gilt das Limit, das Sie zuerst erreichen. Viele Anbieter begrenzen außerdem die Parallelität, also die Zahl der gleichzeitig laufenden Anfragen.
Über dem Limit liefert der Server 429 Too Many Requests. MDN beschreibt das so, dass der Client „sent too many requests in a given amount of time“ (Übersetzung: „in einem bestimmten Zeitraum zu viele Anfragen gesendet hat“). Ein Header Retry-After kann angeben, wie viele Sekunden Sie warten sollen.
Eine sichere Retry-Schleife:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Die offiziellen OpenAI-SDKs wiederholen 429- und 5xx-Fehler bereits mit Backoff; setzen Sie max_retries, statt eine eigene Schleife zu schreiben.
Warum es wichtig ist
- Durchsatz. Ihre tatsächliche Obergrenze ist das niedrigste aller Limits. Bei einem Schlüssel mit 30 Anfragen pro Minute, wie bei den Pay-as-you-go-Schlüsseln von BroadNet, dauern 1.000 Anfragen mindestens 1.000 ÷ 30 Minuten, egal wie schnell das Modell ist. Der Rate-Limit-Rechner rechnet das für Ihre eigenen Limits aus.
- Zuverlässigkeit. Unbehandelte 429-Fehler sehen aus wie Ausfälle. Backoff macht daraus kurze Verzögerungen.
- Kosten. Manche Anbieter liefern 429 auch bei Ausgabenlimits, häufig bei Pay-as-you-go-Schlüsseln. Lesen Sie den Fehler-Body, bevor Sie es erneut versuchen.
Bei BroadNet Inference
| Schlüsseltyp | Limits |
|---|---|
| Pay-as-you-go | 30 Anfragen pro Minute, 4 gleichzeitig laufende |
| Stundenschlüssel | 120 Anfragen pro Minute, ein Stream, 300,000 Tokens pro Minute |
| Unbegrenzter Plan | Eine Anfrage gleichzeitig pro Session, kein Token-Zähler |
BroadNet liefert 429, wenn ein Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht ist. Warten Sie mit Backoff und versuchen Sie es erneut. Die Anleitung zu Fehlern und Retries behandelt jeden Statuscode, und was „unbegrenzt“ wirklich bedeutet erklärt, welche Limits ein Flatrate-Plan weiterhin hat.
Häufige Fehler
- 401- oder 403-Fehler wiederholen. Das sind Probleme mit Schlüssel oder Richtlinie, keine Rate Limits.
- Viele Worker mit einem Schlüssel ohne gemeinsamen Limiter betreiben. Jeder Worker wartet für sich, während die anderen den Schlüssel weiter auslasten.