BroadRouter
Loslegen

Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?

Aktualisiert

Prüfen Sie den HTTP-Status, bevor Sie den Body parsen. Wiederholen Sie 429 und 5xx mit begrenztem exponentiellem Backoff. Beheben Sie 400, 403, 413 und 422, bevor Sie es erneut versuchen. Bei 401 prüfen Sie Schlüssel und Guthaben, bei 402 laden Sie das Konto auf. Loggen Sie immer den Header X-Request-ID für den Support.

Die API liefert einen normalen HTTP-Status und einen maschinenlesbaren Fehlercode. Den nächsten Schritt wählen Sie anhand des Status. Die Tabelle folgt der API-Referenz von BroadNet.

Status Bedeutung Was zu tun ist
400 / 422 Ungültige Anfrage oder ungültiges Feld Zuerst die Anfrage korrigieren
401 Schlüssel fehlt, ist ungültig oder abgelaufen, Pay-as-you-go-Budget gesperrt oder Kontingent aufgebraucht Schlüsselstatus und Kontoguthaben prüfen
402 insufficient_balance Das Konto kann einen Kauf nicht decken; der Body enthält Guthaben und Preis Konto aufladen, dann erneut versuchen
403 Abgelehnt durch Modell-, Routen- oder IP-Richtlinie Die Abweichung beheben, zum Beispiel eine IP-Allowlist
409 Konflikt mit dem Kontozustand: mint_in_progress, key_limit_reached, credential_limit_reached, key_pending Nur mint_in_progress wiederholen, mit derselben request_id
413 Anfrage zu groß; Transkriptionsdateien sind auf 26.214.400 Bytes begrenzt Die Anfrage verkleinern
429 Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht Details der Antwort lesen, mit Backoff warten und erneut versuchen
500 / 502 / 503 / 504 Serverseitige Verarbeitung Mit begrenztem exponentiellem Backoff wiederholen; bei Käufen von Stundenschlüsseln dieselbe request_id wiederverwenden

Laut der Dokumentation von BroadNet prüfen Sie zuerst den HTTP-Status, bevor Sie einen JSON-Body parsen, und lesen dann den maschinenlesbaren error-Code, sofern es einen gibt.

Welche Limits führen zu einem 429?

Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende Anfragen. Laut der Dokumentation von BroadNet erlaubt ein Stundenschlüssel 120 Anfragen pro Minute, einen Stream und 300,000 Tokens pro Minute. Bei einem unbegrenzten Plan verarbeitet jede Session eine Anfrage gleichzeitig. Wie sich diese Limits mit OpenAI, Anthropic, Groq und DeepSeek vergleichen, lesen Sie unter Rate Limits von LLM-APIs nach Anbieter.

Wie wiederhole ich Anfragen mit dem OpenAI SDK?

Laut seiner README auf GitHub wiederholt das OpenAI Python SDK Verbindungsfehler sowie 408, 409, 429 und 5xx bereits standardmäßig zweimal, mit kurzem exponentiellem Backoff. Der Standard-Timeout liegt bei 10 Minuten. Setzen Sie beides explizit:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_retries=4,   # 0 turns automatic retries off
    timeout=120,     # seconds; raise it for long reasoning answers
)

Der Kommentar im Code bedeutet: max_retries=0 schaltet automatische Retries ab; den timeout (in Sekunden) erhöhen Sie für lange Reasoning-Antworten.

Wie schreibe ich mein eigenes Backoff?

Wenn Sie die API ohne SDK aufrufen, begrenzen Sie sowohl die Zahl der Versuche als auch die Wartezeit:

import random, time, requests

RETRY = {429, 500, 502, 503, 504}

def post_with_backoff(url, headers, body, tries=5):
    for attempt in range(tries):
        r = requests.post(url, headers=headers, json=body, timeout=120)
        if r.status_code not in RETRY:
            return r                      # success, or an error to fix rather than retry
        time.sleep(min(30, 2 ** attempt) + random.random())
    return r

Wiederholen Sie 400, 403, 413 oder 422 nie unverändert: Dieselbe Anfrage scheitert auf dieselbe Weise. Jeder Retry einer Chat-Anfrage ist eine neue Inferenz und wird bei Pay-as-you-go erneut berechnet. Das allgemeine Muster finden Sie unter exponentielles Backoff.

Den Kauf eines Stundenschlüssels sicher wiederholen

POST /portal/keys/hourly nimmt eine request_id entgegen. Nach einem Timeout, einer abgebrochenen Verbindung, einem 409 mint_in_progress oder einem 5xx wiederholen Sie mit derselben request_id. Eine wiederverwendete request_id erzeugt oder berechnet nie einen zweiten Schlüssel; die Wiederholung liefert already_issued: true und den Alias. Erzeugen Sie keine neue ID, solange Sie das erste Ergebnis nicht kennen. Mehr zu Idempotenzschlüsseln.

Fehlerbehebung

  • 401 direkt nach einer Aufladung. Die Kontoseite von BroadNet zeigt das zuletzt erfasste Kontingent und markiert eine Guthabenänderung als „wird aktualisiert“, solange sie verbucht wird. Laden Sie die Seite neu und versuchen Sie es erneut, sobald der Vorgang abgeschlossen ist.
  • 429 bei nur wenigen Anfragen pro Minute. Wahrscheinlich stoßen Sie an das Parallelitätslimit von 4 Anfragen, etwa durch lange Streams, die parallel laufen. Verwenden Sie einen kleinen Worker-Pool.
  • 403 bei einem Modell, aber nicht bei einem anderen. Die Richtlinie des Schlüssels deckt dieses Modell oder diese Route nicht ab. Plan-Schlüssel sind zum Beispiel für broadnet/deepseek-v4.1-flash gedacht, und ein Stundenschlüssel deckt nur broadnet/gemma-4-26b-a4b ab.
  • Das SDK hat wiederholt, und Sie zahlen doppelt. Eine wiederholte Chat-Anfrage ist eine neue Inferenz. Setzen Sie max_retries=0, wo eine doppelte Antwort mehr kostet als eine fehlgeschlagene.

Was Sie dem Support senden

Geben Sie den Wert des Headers X-Request-ID, den Zeitstempel in UTC, die Route, den HTTP-Status und den Alias Ihres Schlüssels an. Senden Sie nie den Schlüssel selbst. Die Anleitung zum OpenAI Python SDK zeigt, wie Sie den Header auslesen.

Häufige Fragen

Soll ich einen 429-Fehler einer LLM-API wiederholen?

Ja, mit begrenztem exponentiellem Backoff. Ein 429 bei BroadNet Inference bedeutet, dass ein Raten-, Parallelitäts-, Token-Raten- oder Ausgabenlimit erreicht ist. Senken Sie die Parallelität, wenn es immer wieder auftritt, und hören Sie mit Retries auf, sobald ein Ausgabenlimit die Ursache ist.

Warum bekomme ich 401, obwohl mein Schlüssel stimmt?

Bei BroadNet steht 401 auch für ein aufgebrauchtes Pay-as-you-go-Kontingent oder ein gesperrtes Budget, nicht nur für einen falschen oder abgelaufenen Schlüssel. Prüfen Sie Kontoguthaben und Schlüsselstatus auf der Kontoseite.

Was ist hier der Unterschied zwischen 401 und 403?

Ein 401 betrifft den Schlüssel oder das Kontingent des Kontos. Ein 403 bedeutet, dass der Schlüssel funktioniert, die Anfrage aber durch eine Modell-, Routen- oder IP-Richtlinie abgelehnt wird, etwa ein Aufruf von einer Adresse, die nicht auf der Allowlist steht.

Wiederholt das OpenAI SDK Fehler automatisch?

Ja. Das OpenAI Python SDK wiederholt Verbindungsfehler, 408, 409, 429 und 5xx standardmäßig zweimal mit kurzem exponentiellem Backoff. Mit max_retries ändern Sie die Anzahl, mit 0 schalten Sie Retries ab.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen