BroadRouter
Loslegen

LLM-API-Failover: im eigenen Code auf einen Zweitanbieter umschalten

Vom Team von BroadNet Inference · 8 Min. Lesezeit · Veröffentlicht · Aktualisiert

Führen Sie eine geordnete Liste OpenAI-kompatibler Anbieter, jeweils mit eigenem Client und eigener Modell-ID. Schalten Sie bei Verbindungsfehlern, Timeouts, 5xx und Rate-Limit-429 um, sobald die eigenen Retries des SDK aufgebraucht sind. Schalten Sie nie bei 400, 401, 402, 403, 413 oder 422 um. Ergänzen Sie einen Circuit Breaker und prüfen Sie, ob der Backup-Anbieter bei Funktionen und Datenbedingungen dem primären entspricht.

Jede LLM-API hat schlechte Minuten: ein 503, ein Timeout, eine Welle von 429ern. Ein Fallback sorgt dafür, dass aus diesen Minuten kein Ausfall Ihrer App wird. Dieser Beitrag zeigt, wie Sie im eigenen Code zwischen OpenAI-kompatiblen Anbietern umschalten. Er behandelt, welche Fehler den Wechsel auslösen sollten, wie ein Circuit Breaker ihn schnell hält und was zwischen den Anbietern übereinstimmen muss, damit Nutzer den Wechsel nicht bemerken.

Vorab: BroadNet Inference routet nicht und schaltet nicht für Sie zwischen Anbietern um, BroadRouter ebenso wenig. BroadRouter ist die eigene Website von BroadNet, kein Router. Den Fallback bauen Sie selbst, entweder wie unten gezeigt in Ihrem Client oder in einem Gateway wie LiteLLM.

Warum überhaupt einen Fallback-Anbieter vorhalten?

Weil die meisten Self-Serve-APIs nichts zur Verfügbarkeit versprechen. Die Nutzungsbedingungen von BroadNet sagen es in Abschnitt 7.4 deutlich: „self-serve has no availability commitment“ (Übersetzung: „Self-Serve hat keine Verfügbarkeitszusage“), und Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung (geprüft am 15. November 2026). Was andere Anbieter zusagen, zeigt der SLA-Vergleich für LLM-APIs. Muss Ihr Feature verfügbar bleiben, ist ein zweiter Anbieter die praktische Versicherung, egal, was im SLA steht.

Rate Limits sind der zweite Grund. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Eine Traffic-Spitze darüber liefert 429er, und ein zweiter Anbieter kann den Überlauf auffangen, während Sie die Kapazität erhöhen.

Bei welchen Fehlern sollte umgeschaltet werden?

Teilen Sie Fehler in zwei Gruppen. Manche liegen beim Anbieter und können anderswo gelingen. Andere liegen bei Ihnen und scheitern überall.

Fehler Umschalten? Warum
Verbindungsfehler, Timeout Ja, nach Retries Der Anbieter oder das Netzwerk ist nicht erreichbar
500, 502, 503, 504 Ja, nach Retries Die Dokumentation von BroadNet empfiehlt zuerst „retry with bounded exponential backoff“ (Übersetzung: „Retry mit begrenztem exponentiellem Backoff“)
429, Rate- oder Parallelitätslimit Ja, nach Backoff Kapazität bei diesem Anbieter, keine fehlerhafte Anfrage
429, Ausgabenlimit Nein Ein Wechsel umgeht das Budget, das Sie bewusst gesetzt haben
400, 422 Nein Die Anfrage ist ungültig und scheitert auch beim nächsten Anbieter
401, 402 Nein Schlüssel, Kontingent oder Guthaben. Bei BroadNet deckt ein 401 auch ein aufgebrauchtes Pay-as-you-go-Kontingent ab, ein Wechsel verdeckt also ein Abrechnungsproblem
403, 413 Nein Richtlinie oder Größe; korrigieren Sie die Anfrage

Laut der API-Referenz von BroadNet bedeutet ein 429, dass „a rate, concurrency, token-rate or spending limit was reached“ (Übersetzung: „ein Rate-, Parallelitäts-, Token-Rate- oder Ausgabenlimit erreicht wurde“), und man solle „use response details and bounded backoff“ (Übersetzung: „die Details der Antwort und begrenzten Backoff nutzen“). Lesen Sie diese Details, bevor Sie umschalten, damit ein 429 wegen des Ausgabenlimits die Anfrage stoppt, statt sie zu verschieben. Der Leitfaden zu Fehlercodes listet jeden Status.

Wiederholen Sie, bevor Sie umschalten. Das OpenAI Python SDK wiederholt Verbindungsfehler, 408, 409, 429 und 5xx-Antworten bereits „2 times by default, with a short exponential backoff“ (Übersetzung: „standardmäßig 2-mal, mit kurzem exponentiellem Backoff“), und sein Standard-Timeout beträgt 10 Minuten (README, geprüft am 15. November 2026). Zehn Minuten sind viel zu lang, um vor einem Wechsel zu warten. Setzen Sie timeout pro Client. Der Beitrag zum Umgang mit 429 behandelt Backoff mit Jitter.

Wie sieht Failover in Python aus?

Zwei Clients, eine geordnete Liste und ein kleiner Circuit Breaker. Primär ist GLM 5.3 bei BroadNet. Das Backup ist dasselbe Open-Weight-Modell bei DeepInfra, dessen Dokumentation die Basis-URL https://api.deepinfra.com/v1/openai angibt (geprüft am 15. November 2026).

import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}


def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error


served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)

Vier Details zählen:

  1. Exception-Klassen. Das SDK wirft RateLimitError bei 429, InternalServerError ab 500 und APIConnectionError (mit APITimeoutError als Unterklasse), wenn es keine Verbindung herstellen kann. Alles andere bleibt bewusst ungefangen. Um 429er wegen des Ausgabenlimits auszunehmen, prüfen Sie err.response, bevor Sie weitermachen.
  2. Der Circuit Breaker. Ohne ihn wartet jede Anfrage bei einem ausgefallenen primären Anbieter den vollen Timeout ab, bevor sie weiterzieht. Nach drei Fehlschlägen in Folge wird der primäre Anbieter 30 Sekunden lang übersprungen. Danach testet ihn die nächste Anfrage erneut.
  3. Loggen, wer geantwortet hat. Geben Sie den Anbieternamen zurück und behalten Sie reply.model. Ändert sich die Qualität, müssen Sie wissen, welcher Anbieter geantwortet hat.
  4. Reasoning-Budget. GLM 5.3 denkt nach, bevor es antwortet. Laut der Dokumentation von BroadNet zählt Reasoning zu max_tokens, lassen Sie also bei jedem Anbieter 1.000 oder mehr.

Wie ordnen Sie Modell-IDs anbieterübergreifend zu?

Dasselbe Open-Weight-Modell hat bei jedem Host eine andere ID, und die Funktionen, die jeder Host ausweist, können sich unterscheiden. GLM 5.3 am 15. November 2026:

BroadNet Inference DeepInfra Fireworks AI
Modell-ID broadnet/glm-5.3 zai-org/GLM-5.3 accounts/fireworks/models/glm-5p3
Kontext 1.048.576 Tokens 1.048.576 Tokens „1040k“ Tokens
Tools Dokumentiert „Function“ gelistet Unterstützt
Structured Output Dokumentiert „JSON“ gelistet Nicht geprüft

Daraus folgen zwei Regeln. Erstens: Halten Sie die Zuordnung in der Konfiguration, nicht über den Code verstreut. Zweitens: Wählen Sie den Fallback passend zu dem, was Ihre Anfragen nutzen. Bei BroadNet sind Tools und Structured Output nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Ein Agent mit Tool Calling kann von GLM 5.3 auf GLM 5.3 bei einem anderen Anbieter umschalten. Auf ein Modell, das keine Tools dokumentiert, kann er nicht sicher umschalten. Hat das Backup ein kleineres Kontextfenster, kürzen Sie den Prompt oder überspringen Sie dieses Backup bei langen Anfragen. Basis-URLs für 14 Anbieter stehen in der Übersicht der Basis-URLs.

Wie bleiben Antworten nach einem Wechsel vergleichbar?

Dieselben Gewichte können bei zwei Hosts trotzdem unterschiedlich antworten, weil Hosts unterschiedliche Präzisionen, Chat-Templates oder Standardparameter verwenden können. Ein anderes Modell antwortet mit Sicherheit anders.

  • Lassen Sie Ihr Eval-Set gegen jeden Eintrag der Liste laufen, nicht nur gegen den primären.
  • Legen Sie temperature, max_tokens und den System-Prompt pro Anfrage fest, damit Standardwerte des Anbieters den Output nicht verändern.
  • Validieren Sie Structured Output auf jedem Pfad gleich. Ungültiges JSON reparieren behandelt die Schleife aus Reparatur und Retry.
  • Ziehen Sie dasselbe Modell bei einem anderen Anbieter einem anderen Modell beim selben Host vor. Nutzer bemerken einen Stilwechsel eher als ein paar Sekunden Latenz.

Was ist mit Streaming und Tool Calls?

Ein Stream kann mittendrin abbrechen. Laut der Dokumentation von BroadNet ist ein Stream, der vor data: [DONE] endet, als unvollständig zu behandeln: Notieren Sie die X-Request-ID und entscheiden Sie, ob Ihre Anwendung gefahrlos eine neue Anfrage senden kann.

  • Vor dem ersten Token: Schalten Sie frei um. Der Nutzer hat noch nichts gesehen.
  • Nachdem Tokens angezeigt wurden: Starten Sie beim Backup neu und ersetzen Sie die Teilantwort, oder zeigen Sie einen Fehler mit einem Button für einen neuen Versuch. Zwei halbe Antworten verschiedener Anbieter aneinanderzufügen, liest sich schlecht.
  • Tool Calls mit Nebenwirkungen: Führen Sie nie einen Schritt erneut aus, der eine E-Mail sendet, eine Karte belastet oder in eine Datenbank schreibt, nur weil der Modellaufruf fehlschlug. Geben Sie jeder Aktion einen Idempotenzschlüssel. Lang laufende Agenten behandelt Checkpoints.

Streaming mit SSE erklärt, wie Sie einen vorzeitig beendeten Stream erkennen.

Was kostet Failover?

  • Doppelte Arbeit. Ein Timeout auf Ihrer Seite beweist nicht, dass der Anbieter aufgehört hat. Bei Abrechnung pro Token ist jeder Retry eine neue Inferenz, rechnen Sie also damit, manche Anfragen doppelt zu bezahlen.
  • Andere Preise. Das Backup rechnet zu seinen eigenen Preisen ab. DeepInfra listete am 15. November 2026 einen Aktionspreis für GLM-5.3, prüfen Sie also erneut, bevor Sie budgetieren. BroadNet berechnet $0.78 Input, $0.173 gecachten Input und $3.46 Output pro 1 Mio. Tokens.
  • Kalte Caches. Gecachter Input wandert nicht zwischen Anbietern. Die ersten Anfragen beim Backup zahlen den vollen Input-Preis für ein Präfix, das beim primären Anbieter gecacht war. Siehe gecachte Input-Tokens.
  • Hedging. Jede Anfrage gleichzeitig an zwei Anbieter zu senden und die erste Antwort zu behalten, senkt die Tail-Latenz, verdoppelt aber ungefähr die Rechnung. Nutzen Sie es nur, wo Latenz das wert ist.

Erfüllt der Fallback dieselben Datenbedingungen?

Ein Fallback-Anbieter ist ein weiterer Auftragsverarbeiter, der dieselben Prompts erhält. Haben Sie Kunden etwas über ihre Daten versprochen, muss das Versprechen für jeden Eintrag der Liste gelten.

Die Datenschutzerklärung von BroadNet sagt: „We do not retain prompts, audio, images, answers or transcripts“ (Übersetzung: „Wir speichern keine Prompts, Audiodaten, Bilder, Antworten oder Transkripte“). Inferenz-Inhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden so aufbewahrt, wie es die Erklärung beschreibt. Sie besagt außerdem, dass Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen verwendet werden. Die Erklärung sagt, gehostete Modelle „run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup“ (Übersetzung: „laufen auf eigener oder gemieteter Hardware von BroadNet in den USA, mit Partnerkapazität als Backup“); DeepSeek V4.1 Flash wird bei einem Partner gehostet. Für Daten mit Anforderungen an die Datenresidenz sagen die Nutzungsbedingungen (Abschnitt 7.3a), dass Verarbeitungsorte vor dem Senden zu vereinbaren sind. Prüfen Sie dieselben Punkte beim Backup: Speicherung, Nutzung fürs Training, Standort und Unterauftragsverarbeiter. Reicht es nicht aus, nehmen Sie sensible Anfragen vom Fallback-Pfad und lassen Sie sie geschlossen scheitern. Die Zero-Data-Retention-Checkliste listet die Fragen.

Sollten Sie stattdessen ein Gateway wie LiteLLM nutzen?

Nutzen Sie ein Gateway, wenn mehrere Dienste dieselben Fallback-Regeln brauchen. Der Proxy von LiteLLM nimmt eine fallbacks-Liste, die der Reihe nach probiert wird. num_retries wiederholt eine Modellgruppe, bevor sie auf den Fallback ausweicht. allowed_fails und cooldown_time nehmen ein fehlerhaftes Deployment eine Weile heraus, was wie ein Circuit Breaker wirkt. Separate context_window_fallbacks und content_policy_fallbacks behandeln diese Fehlertypen (LiteLLM-Dokumentation, geprüft am 15. November 2026):

model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60

Der Leitfaden zum LiteLLM-Proxy zeigt den BroadNet-Eintrag vollständig. Beide Einträge nutzen das generische Präfix openai/ von LiteLLM mit einer api_base, nach demselben Muster wie der Leitfaden. Ein Gateway fügt einen Hop hinzu und ist ein weiteres System, das laufen muss. Für eine einzelne App reichen etwa 40 Zeilen im Client wie oben.

Wie testen Sie Failover, bevor Sie es brauchen?

  1. Lassen Sie den primären Anbieter in einer Testkonfiguration auf einen nicht erreichbaren Host zeigen und prüfen Sie, dass Anfragen beim Backup landen.
  2. Senden Sie absichtlich eine ungültige Anfrage und prüfen Sie, dass sie nicht umgeschaltet wird.
  3. Verwenden Sie einen ungültigen primären Schlüssel und prüfen Sie, dass der 401 als Fehler erscheint, nicht als stiller Wechsel.
  4. Beobachten Sie den Breaker: Nach drei Fehlschlägen sollte der primäre Anbieter übersprungen werden, ohne auf den Timeout zu warten.
  5. Lösen Sie einen Alarm aus, wenn das Backup mehr als einen kleinen Anteil des Traffics bedient. Stilles Failover kann einen kaputten primären Anbieter tagelang verbergen.

Der Router von LiteLLM akzeptiert in direkten Tests mock_testing_fallbacks=True, um einen Fallback zu erzwingen.

Wo BroadNet Inference hineinpasst

BroadRouter ist die Website von BroadNet, und BroadNet Inference kann jeder Eintrag in Ihrer Liste sein. Als primärer Anbieter bietet es GLM 5.3 und Qwen3.8 27B mit dokumentierten Tools und Structured Output, dazu Gemma 4 VL 26B und DeepSeek V4.1 Flash, unter einer Basis-URL, ohne dass Inhalte gespeichert werden. Als Backup ist es ein weiterer OpenAI-kompatibler Endpoint für die Liste. So oder so liegt die Failover-Logik bei Ihnen: BroadNet routet nicht zwischen Anbietern, und Self-Serve hat kein SLA. Brauchen Sie vertraglich zugesicherte Service-Levels, gibt es diese nur mit einer separaten schriftlichen Vereinbarung. Vergleichen Sie die Modelle, oder erstellen Sie ein Konto und testen Sie Ihre Kette mit dem Startguthaben von $5 auf Gemma 4 VL 26B. GLM 5.3 und Qwen3.8 27B setzen eine Aufladung voraus.

Häufige Fragen

Bei welchen Fehlern sollte ein LLM-API-Fallback greifen?

Bei Verbindungsfehlern, Timeouts, 5xx und Rate-Limit-429, nach den eigenen Retries des SDK. Schalten Sie nicht bei 400, 401, 402, 403, 413 oder 422 um: Dann ist die Anfrage oder das Konto fehlerhaft, und der nächste Anbieter scheitert genauso oder verdeckt ein Abrechnungsproblem.

Schaltet BroadNet automatisch auf einen anderen Anbieter um?

Nein. BroadNet Inference routet Anfragen nicht zwischen Modellen oder Anbietern, und BroadRouter, diese Website, ist die Informationsseite von BroadNet, kein Router. Den Fallback bauen Sie in Ihrem Client oder in einem Gateway wie LiteLLM.

Kann ich bei jedem Anbieter dieselbe Modell-ID verwenden?

Nein. Jeder Anbieter benennt dasselbe Open-Weight-Modell anders. GLM 5.3 heißt bei BroadNet `broadnet/glm-5.3`, bei DeepInfra `zai-org/GLM-5.3` und bei Fireworks `accounts/fireworks/models/glm-5p3` (geprüft am 15. November 2026). Pflegen Sie eine Zuordnung pro Anbieter.

Kosten fehlgeschlagene Versuche Geld?

Das kann passieren. Ein Timeout auf Ihrer Seite beweist nicht, dass der Anbieter die Arbeit abgebrochen hat, und bei Abrechnung pro Token ist jeder Retry eine neue Inferenz. Planen Sie einige doppelt abgerechnete Anfragen ein und begrenzen Sie die Versuche pro Anfrage.

Sollte ein Fallback-Anbieter dieselben Datenschutzbedingungen haben?

Ja. Ein Fallback ist ein weiterer Auftragsverarbeiter, der dieselben Prompts sieht. Prüfen Sie seine Bedingungen zu Speicherung, Training und Verarbeitungsort, bevor Sie ihn aufnehmen, sonst gilt Ihr Datenschutzversprechen nur, solange der primäre Anbieter läuft.

Hat BroadNet ein SLA?

Nicht für Self-Serve. Laut den Nutzungsbedingungen von BroadNet (Abschnitt 7.4) hat Self-Serve keine Verfügbarkeitszusage; Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen