Ein 429 bedeutet, dass Ihr Traffic ein Rate Limit überschritten hat: Anfragen pro Minute, gleichzeitige Anfragen, Tokens pro Minute oder Ausgaben. Die Lösung hat zwei Hälften. Richtig wiederholen: gedeckeltes exponentielles Backoff mit zufälligem Jitter, unter Beachtung von Retry-After. Weniger auf einmal senden: eine Semaphore auf dem Limit gleichzeitiger Anfragen des Schlüssels, dazu eine Warteschlange. Beides folgt unten, mit Code.
Eine vollständige Übersicht der Statuscodes finden Sie im Leitfaden zu Fehlern und Retries; für stundenlange Agentenläufe mit Checkpoints und Timeouts siehe Langlaufende Agenten: Timeouts und Retries.
Was ist der Unterschied zwischen 429 und 5xx?
| Status | Wessen Problem | Wiederholen? | Wie |
|---|---|---|---|
| 429 | Ihr Traffic hat ein Limit überschritten | Ja | Backoff mit Jitter; Retry-After beachten; Parallelität senken |
| 500 / 502 / 503 / 504 | Serverseite | Ja | Begrenztes exponentielles Backoff |
| Verbindungsabbruch, Timeout | Netzwerk oder Server | Meistens | Backoff; bei Streams nur, wenn eine neue Abrechnung akzeptabel ist |
| 400 / 422 | Fehlerhafte Anfrage | Nein | Payload korrigieren |
| 401 / 402 / 403 | Schlüssel, Guthaben oder Richtlinie | Nein | Schlüssel korrigieren, Konto aufladen, Allowlist anpassen |
| 413 | Anfrage zu groß | Nein | Verkleinern |
Bei BroadNet Inference kann ein 429 eines von vier Limits bedeuten: Rate, Parallelität, Token-Rate oder Ausgaben. Ein Ausgabenlimit löst sich nicht nach 30 Sekunden auf. Die Dokumentation von BroadNet sagt nicht, welches Feld im Fehler-Body das Limit nennt; loggen Sie also den Body und vergleichen Sie ihn mit den Limits in den Details Ihres Schlüssels.
Unser offener Datensatz zu Free Tiers und Rate Limits von LLM-APIs vergleicht, was 14 Anbieter zu kostenlosem Zugang, anfänglichen Rate Limits, Kreditkartenpflicht und Training mit Free-Tier-Daten veröffentlichen, mit Quelle und Datum für jeden Wert.
Welche Limits verursachen 429-Fehler?
Kennen Sie die Zahlen, gegen die Sie arbeiten. Bei BroadNet Inference:
| Schlüsseltyp | Anfragen / Minute | Gleichzeitig | Sonstiges |
|---|---|---|---|
| Pay-as-you-go | 30 | 4 | Gemeinsames Ausgabenbudget |
| Stundenschlüssel | 120 | 1 Stream | 300,000 Tokens / Minute |
| Session eines unbegrenzten Plans | — | 1 Anfrage pro Session | Kein Token-Zähler |
Für LLMs zählt die Zahl gleichzeitiger Anfragen am meisten. Eine gestreamte Antwort belegt ihren Slot, bis das letzte Token eintrifft; eine lange Antwort hält ihn also so lange besetzt, wie das Modell zum Schreiben braucht (BroadNet nennt eine typische Geschwindigkeit von etwa 100 Tokens pro Sekunde). Senden Sie mehr parallele Aufrufe, als der Schlüssel Slots hat (4), erhalten die überzähligen 429, obwohl Sie in dieser Minute nur eine Handvoll Anfragen gesendet haben. Das ist ein Problem der Parallelität, und Backoff allein löst es schlecht. Um Worker vor dem Start auf ein Limit auszulegen, nutzen Sie den kostenlosen Rate-Limit-Rechner für LLMs. Für einen festen Job mit vielen Einträgen rechnet der Planer für LLM-Batch-Jobs dieselben Limits in eine Laufzeit um. Andere Anbieter zählen anders (Tokens pro Minute, Anfragen pro Tag oder gleichzeitige Anfragen); Rate Limits von LLM-APIs nach Anbieter vergleicht 13 davon anhand ihrer eigenen Dokumentation.
Wie schreiben Sie Backoff mit Jitter?
Einfaches exponentielles Backoff wartet 1, 2, 4, 8 Sekunden. Wurden hundert Worker im selben Moment gedrosselt, kommen sie alle im selben Moment zurück. Die Simulation von AWS mit 100 konkurrierenden Clients ergab, dass Full Jitter die Zahl der Aufrufe mehr als halbierte und früher fertig wurde als Backoff ohne Jitter. Die einfachste Variante, Full Jitter, wartet eine zufällige Zeit zwischen null und der exponentiellen Obergrenze:
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
for attempt in range(max_attempts):
try:
return client.chat.completions.create(**kwargs)
except (RateLimitError, APIStatusError, APIConnectionError) as e:
status = getattr(e, "status_code", None)
if status is not None and status not in RETRYABLE:
raise # 400, 401, 403...: retrying will not help
if attempt == max_attempts - 1:
raise
retry_after = None
if getattr(e, "response", None) is not None:
retry_after = e.response.headers.get("retry-after")
wait = random.uniform(0, min(cap, base * 2 ** attempt))
if retry_after and retry_after.isdigit():
wait = max(wait, float(retry_after))
time.sleep(wait)
max_retries=0 schaltet die eigenen Retries des SDK ab, damit Sie nicht doppelt wiederholen. Wenn Ihnen das eingebaute Verhalten des SDK genügt, geht es auch umgekehrt: Lassen Sie Ihre Schleife weg und setzen Sie max_retries=4 am Client, wie der Leitfaden zum Python SDK zeigt. Die offiziellen SDKs für Python und Node wiederholen Verbindungsfehler, 408, 409, 429 und 5xx standardmäßig zweimal.
Retry-After ist ein Standard-Header (RFC 9110), der Sekunden oder ein Datum enthalten kann. Die Dokumentation von BroadNet sichert ihn nicht zu, daher behandelt der Code ihn als optional.
Wie verhindern Sie 429-Fehler, bevor sie entstehen?
Begrenzen Sie die gleichzeitigen Anfragen auf das Limit des Schlüssels. In Python erledigt das eine asyncio.Semaphore mit einem Objekt und einem async with-Block. Der Code verwendet 4 als Beispiel; setzen Sie den Wert auf das Limit gleichzeitiger Anfragen Ihres Schlüssels (4 bei einem Pay-as-you-go-Schlüssel von BroadNet):
import asyncio, os
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4) # match the key's in-flight limit
async def ask(prompt):
async with slots:
r = await client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main(prompts):
return await asyncio.gather(*(ask(p) for p in prompts))
results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
gather startet jede Aufgabe, aber nur so viele laufen gleichzeitig, wie die Semaphore zulässt. Der Rest wartet in der Warteschlange der Semaphore. In Node leistet das Paket p-limit dasselbe, wieder mit 4 als Beispielwert:
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit
async function ask(prompt) {
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: prompt }],
});
return r.choices[0].message.content;
}
const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
Für eine zusätzliche Obergrenze pro Minute ergänzen Sie einen Token Bucket, der alle 60 / rpm Sekunden eine Freigabe erteilt, wobei rpm das Limit Ihres Schlüssels für Anfragen pro Minute ist (30 bei einem Pay-as-you-go-Schlüssel von BroadNet).
Wann brauchen Sie eine echte Warteschlange?
Eine Semaphore lebt in einem Prozess. Sobald sich mehrere Worker oder Server einen Schlüssel teilen, ist das Limit geteilt, und jeder Prozess sieht nur seinen eigenen Traffic. Dann gilt:
- Legen Sie Jobs in eine gemeinsame Warteschlange (Redis, SQS, eine Datenbanktabelle).
- Betreiben Sie eine feste Zahl von Consumern, gleich dem Limit gleichzeitiger Anfragen des Schlüssels.
- Geben Sie jedem Job eine ID und speichern Sie Ergebnisse nach ID, damit ein wiederholter Job nicht zweimal läuft.
- Leiten Sie interaktiven Traffic und Batch-Traffic über getrennte Schlüssel oder getrennte Warteschlangen, damit ein Batch-Rückstau nie einen Nutzer blockiert, der auf eine Antwort wartet.
Für einen Massenjob mit Tausenden von Einträgen ohne Batch API siehe den fortsetzbaren Batch-Runner.
Welche Retry-Fehler machen aus 429-Fehlern Ausfälle?
- Unbegrenzte Retries. Eine Retry-Schleife ohne Obergrenze vervielfacht während eines langen Ausfalls Ihre Last und, bei Abrechnung pro Token, Ihre Rechnung.
- Einen halb fertigen Stream blind wiederholen. Hat der Stream bereits Tokens geliefert, ist ein Retry eine neue Inferenz, und der Nutzer sieht den Text womöglich doppelt. Wie Sie unvollständige Streams erkennen, zeigt der Beitrag zu Streaming.
- Kontofehler wiederholen. Ein 401 wegen eines aufgebrauchten Pay-as-you-go-Kontingents oder ein 402 wegen unzureichenden Guthabens behebt sich nicht von selbst.
Loggen Sie jeden Retry mit Status, Wartezeit und dem Response-Header X-Request-ID, den Sie laut der Dokumentation von BroadNet für den Support aufbewahren sollen. Eine steigende Retry-Quote ist die früheste Warnung, dass Sie mehr Kapazität brauchen; Nutzungs-Logging zeigt, wie Sie sie erfassen.
Wo BroadNet Inference hineinpasst
Die Limits von BroadNet sind veröffentlicht und klein genug, um gezielt dagegen zu entwerfen: 4 gleichzeitige Anfragen bei einem Pay-as-you-go-Schlüssel. Das passt zu Apps und Agenten und ist zu eng für einen Massenjob, der Hunderte paralleler Aufrufe auf einem Schlüssel braucht. Für Agenten hat ein unbegrenzter Plan keinen Token-Zähler und verarbeitet eine Anfrage gleichzeitig pro Session; für parallele Arbeit fügen Sie Sessions hinzu, wie unter parallele Coding-Agenten betreiben beschrieben. Die aktuellen Limits stehen in der API-Referenz.
