Jede LLM-API hat schlechte Minuten: ein 503, ein Timeout, eine Welle von 429ern. Ein Fallback sorgt dafür, dass aus diesen Minuten kein Ausfall Ihrer App wird. Dieser Beitrag zeigt, wie Sie im eigenen Code zwischen OpenAI-kompatiblen Anbietern umschalten. Er behandelt, welche Fehler den Wechsel auslösen sollten, wie ein Circuit Breaker ihn schnell hält und was zwischen den Anbietern übereinstimmen muss, damit Nutzer den Wechsel nicht bemerken.
Vorab: BroadNet Inference routet nicht und schaltet nicht für Sie zwischen Anbietern um, BroadRouter ebenso wenig. BroadRouter ist die eigene Website von BroadNet, kein Router. Den Fallback bauen Sie selbst, entweder wie unten gezeigt in Ihrem Client oder in einem Gateway wie LiteLLM.
Warum überhaupt einen Fallback-Anbieter vorhalten?
Weil die meisten Self-Serve-APIs nichts zur Verfügbarkeit versprechen. Die Nutzungsbedingungen von BroadNet sagen es in Abschnitt 7.4 deutlich: „self-serve has no availability commitment“ (Übersetzung: „Self-Serve hat keine Verfügbarkeitszusage“), und Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung (geprüft am 15. November 2026). Was andere Anbieter zusagen, zeigt der SLA-Vergleich für LLM-APIs. Muss Ihr Feature verfügbar bleiben, ist ein zweiter Anbieter die praktische Versicherung, egal, was im SLA steht.
Rate Limits sind der zweite Grund. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Eine Traffic-Spitze darüber liefert 429er, und ein zweiter Anbieter kann den Überlauf auffangen, während Sie die Kapazität erhöhen.
Bei welchen Fehlern sollte umgeschaltet werden?
Teilen Sie Fehler in zwei Gruppen. Manche liegen beim Anbieter und können anderswo gelingen. Andere liegen bei Ihnen und scheitern überall.
| Fehler | Umschalten? | Warum |
|---|---|---|
| Verbindungsfehler, Timeout | Ja, nach Retries | Der Anbieter oder das Netzwerk ist nicht erreichbar |
| 500, 502, 503, 504 | Ja, nach Retries | Die Dokumentation von BroadNet empfiehlt zuerst „retry with bounded exponential backoff“ (Übersetzung: „Retry mit begrenztem exponentiellem Backoff“) |
| 429, Rate- oder Parallelitätslimit | Ja, nach Backoff | Kapazität bei diesem Anbieter, keine fehlerhafte Anfrage |
| 429, Ausgabenlimit | Nein | Ein Wechsel umgeht das Budget, das Sie bewusst gesetzt haben |
| 400, 422 | Nein | Die Anfrage ist ungültig und scheitert auch beim nächsten Anbieter |
| 401, 402 | Nein | Schlüssel, Kontingent oder Guthaben. Bei BroadNet deckt ein 401 auch ein aufgebrauchtes Pay-as-you-go-Kontingent ab, ein Wechsel verdeckt also ein Abrechnungsproblem |
| 403, 413 | Nein | Richtlinie oder Größe; korrigieren Sie die Anfrage |
Laut der API-Referenz von BroadNet bedeutet ein 429, dass „a rate, concurrency, token-rate or spending limit was reached“ (Übersetzung: „ein Rate-, Parallelitäts-, Token-Rate- oder Ausgabenlimit erreicht wurde“), und man solle „use response details and bounded backoff“ (Übersetzung: „die Details der Antwort und begrenzten Backoff nutzen“). Lesen Sie diese Details, bevor Sie umschalten, damit ein 429 wegen des Ausgabenlimits die Anfrage stoppt, statt sie zu verschieben. Der Leitfaden zu Fehlercodes listet jeden Status.
Wiederholen Sie, bevor Sie umschalten. Das OpenAI Python SDK wiederholt Verbindungsfehler, 408, 409, 429 und 5xx-Antworten bereits „2 times by default, with a short exponential backoff“ (Übersetzung: „standardmäßig 2-mal, mit kurzem exponentiellem Backoff“), und sein Standard-Timeout beträgt 10 Minuten (README, geprüft am 15. November 2026). Zehn Minuten sind viel zu lang, um vor einem Wechsel zu warten. Setzen Sie timeout pro Client. Der Beitrag zum Umgang mit 429 behandelt Backoff mit Jitter.
Wie sieht Failover in Python aus?
Zwei Clients, eine geordnete Liste und ein kleiner Circuit Breaker. Primär ist GLM 5.3 bei BroadNet. Das Backup ist dasselbe Open-Weight-Modell bei DeepInfra, dessen Dokumentation die Basis-URL https://api.deepinfra.com/v1/openai angibt (geprüft am 15. November 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Vier Details zählen:
- Exception-Klassen. Das SDK wirft
RateLimitErrorbei 429,InternalServerErrorab 500 undAPIConnectionError(mitAPITimeoutErrorals Unterklasse), wenn es keine Verbindung herstellen kann. Alles andere bleibt bewusst ungefangen. Um 429er wegen des Ausgabenlimits auszunehmen, prüfen Sieerr.response, bevor Sie weitermachen. - Der Circuit Breaker. Ohne ihn wartet jede Anfrage bei einem ausgefallenen primären Anbieter den vollen Timeout ab, bevor sie weiterzieht. Nach drei Fehlschlägen in Folge wird der primäre Anbieter 30 Sekunden lang übersprungen. Danach testet ihn die nächste Anfrage erneut.
- Loggen, wer geantwortet hat. Geben Sie den Anbieternamen zurück und behalten Sie
reply.model. Ändert sich die Qualität, müssen Sie wissen, welcher Anbieter geantwortet hat. - Reasoning-Budget. GLM 5.3 denkt nach, bevor es antwortet. Laut der Dokumentation von BroadNet zählt Reasoning zu
max_tokens, lassen Sie also bei jedem Anbieter 1.000 oder mehr.
Wie ordnen Sie Modell-IDs anbieterübergreifend zu?
Dasselbe Open-Weight-Modell hat bei jedem Host eine andere ID, und die Funktionen, die jeder Host ausweist, können sich unterscheiden. GLM 5.3 am 15. November 2026:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| Modell-ID | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Kontext | 1.048.576 Tokens | 1.048.576 Tokens | „1040k“ Tokens |
| Tools | Dokumentiert | „Function“ gelistet | Unterstützt |
| Structured Output | Dokumentiert | „JSON“ gelistet | Nicht geprüft |
Daraus folgen zwei Regeln. Erstens: Halten Sie die Zuordnung in der Konfiguration, nicht über den Code verstreut. Zweitens: Wählen Sie den Fallback passend zu dem, was Ihre Anfragen nutzen. Bei BroadNet sind Tools und Structured Output nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Ein Agent mit Tool Calling kann von GLM 5.3 auf GLM 5.3 bei einem anderen Anbieter umschalten. Auf ein Modell, das keine Tools dokumentiert, kann er nicht sicher umschalten. Hat das Backup ein kleineres Kontextfenster, kürzen Sie den Prompt oder überspringen Sie dieses Backup bei langen Anfragen. Basis-URLs für 14 Anbieter stehen in der Übersicht der Basis-URLs.
Wie bleiben Antworten nach einem Wechsel vergleichbar?
Dieselben Gewichte können bei zwei Hosts trotzdem unterschiedlich antworten, weil Hosts unterschiedliche Präzisionen, Chat-Templates oder Standardparameter verwenden können. Ein anderes Modell antwortet mit Sicherheit anders.
- Lassen Sie Ihr Eval-Set gegen jeden Eintrag der Liste laufen, nicht nur gegen den primären.
- Legen Sie
temperature,max_tokensund den System-Prompt pro Anfrage fest, damit Standardwerte des Anbieters den Output nicht verändern. - Validieren Sie Structured Output auf jedem Pfad gleich. Ungültiges JSON reparieren behandelt die Schleife aus Reparatur und Retry.
- Ziehen Sie dasselbe Modell bei einem anderen Anbieter einem anderen Modell beim selben Host vor. Nutzer bemerken einen Stilwechsel eher als ein paar Sekunden Latenz.
Was ist mit Streaming und Tool Calls?
Ein Stream kann mittendrin abbrechen. Laut der Dokumentation von BroadNet ist ein Stream, der vor data: [DONE] endet, als unvollständig zu behandeln: Notieren Sie die X-Request-ID und entscheiden Sie, ob Ihre Anwendung gefahrlos eine neue Anfrage senden kann.
- Vor dem ersten Token: Schalten Sie frei um. Der Nutzer hat noch nichts gesehen.
- Nachdem Tokens angezeigt wurden: Starten Sie beim Backup neu und ersetzen Sie die Teilantwort, oder zeigen Sie einen Fehler mit einem Button für einen neuen Versuch. Zwei halbe Antworten verschiedener Anbieter aneinanderzufügen, liest sich schlecht.
- Tool Calls mit Nebenwirkungen: Führen Sie nie einen Schritt erneut aus, der eine E-Mail sendet, eine Karte belastet oder in eine Datenbank schreibt, nur weil der Modellaufruf fehlschlug. Geben Sie jeder Aktion einen Idempotenzschlüssel. Lang laufende Agenten behandelt Checkpoints.
Streaming mit SSE erklärt, wie Sie einen vorzeitig beendeten Stream erkennen.
Was kostet Failover?
- Doppelte Arbeit. Ein Timeout auf Ihrer Seite beweist nicht, dass der Anbieter aufgehört hat. Bei Abrechnung pro Token ist jeder Retry eine neue Inferenz, rechnen Sie also damit, manche Anfragen doppelt zu bezahlen.
- Andere Preise. Das Backup rechnet zu seinen eigenen Preisen ab. DeepInfra listete am 15. November 2026 einen Aktionspreis für GLM-5.3, prüfen Sie also erneut, bevor Sie budgetieren. BroadNet berechnet $0.78 Input, $0.173 gecachten Input und $3.46 Output pro 1 Mio. Tokens.
- Kalte Caches. Gecachter Input wandert nicht zwischen Anbietern. Die ersten Anfragen beim Backup zahlen den vollen Input-Preis für ein Präfix, das beim primären Anbieter gecacht war. Siehe gecachte Input-Tokens.
- Hedging. Jede Anfrage gleichzeitig an zwei Anbieter zu senden und die erste Antwort zu behalten, senkt die Tail-Latenz, verdoppelt aber ungefähr die Rechnung. Nutzen Sie es nur, wo Latenz das wert ist.
Erfüllt der Fallback dieselben Datenbedingungen?
Ein Fallback-Anbieter ist ein weiterer Auftragsverarbeiter, der dieselben Prompts erhält. Haben Sie Kunden etwas über ihre Daten versprochen, muss das Versprechen für jeden Eintrag der Liste gelten.
Die Datenschutzerklärung von BroadNet sagt: „We do not retain prompts, audio, images, answers or transcripts“ (Übersetzung: „Wir speichern keine Prompts, Audiodaten, Bilder, Antworten oder Transkripte“). Inferenz-Inhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden so aufbewahrt, wie es die Erklärung beschreibt. Sie besagt außerdem, dass Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen verwendet werden. Die Erklärung sagt, gehostete Modelle „run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup“ (Übersetzung: „laufen auf eigener oder gemieteter Hardware von BroadNet in den USA, mit Partnerkapazität als Backup“); DeepSeek V4.1 Flash wird bei einem Partner gehostet. Für Daten mit Anforderungen an die Datenresidenz sagen die Nutzungsbedingungen (Abschnitt 7.3a), dass Verarbeitungsorte vor dem Senden zu vereinbaren sind. Prüfen Sie dieselben Punkte beim Backup: Speicherung, Nutzung fürs Training, Standort und Unterauftragsverarbeiter. Reicht es nicht aus, nehmen Sie sensible Anfragen vom Fallback-Pfad und lassen Sie sie geschlossen scheitern. Die Zero-Data-Retention-Checkliste listet die Fragen.
Sollten Sie stattdessen ein Gateway wie LiteLLM nutzen?
Nutzen Sie ein Gateway, wenn mehrere Dienste dieselben Fallback-Regeln brauchen. Der Proxy von LiteLLM nimmt eine fallbacks-Liste, die der Reihe nach probiert wird. num_retries wiederholt eine Modellgruppe, bevor sie auf den Fallback ausweicht. allowed_fails und cooldown_time nehmen ein fehlerhaftes Deployment eine Weile heraus, was wie ein Circuit Breaker wirkt. Separate context_window_fallbacks und content_policy_fallbacks behandeln diese Fehlertypen (LiteLLM-Dokumentation, geprüft am 15. November 2026):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Der Leitfaden zum LiteLLM-Proxy zeigt den BroadNet-Eintrag vollständig. Beide Einträge nutzen das generische Präfix openai/ von LiteLLM mit einer api_base, nach demselben Muster wie der Leitfaden. Ein Gateway fügt einen Hop hinzu und ist ein weiteres System, das laufen muss. Für eine einzelne App reichen etwa 40 Zeilen im Client wie oben.
Wie testen Sie Failover, bevor Sie es brauchen?
- Lassen Sie den primären Anbieter in einer Testkonfiguration auf einen nicht erreichbaren Host zeigen und prüfen Sie, dass Anfragen beim Backup landen.
- Senden Sie absichtlich eine ungültige Anfrage und prüfen Sie, dass sie nicht umgeschaltet wird.
- Verwenden Sie einen ungültigen primären Schlüssel und prüfen Sie, dass der 401 als Fehler erscheint, nicht als stiller Wechsel.
- Beobachten Sie den Breaker: Nach drei Fehlschlägen sollte der primäre Anbieter übersprungen werden, ohne auf den Timeout zu warten.
- Lösen Sie einen Alarm aus, wenn das Backup mehr als einen kleinen Anteil des Traffics bedient. Stilles Failover kann einen kaputten primären Anbieter tagelang verbergen.
Der Router von LiteLLM akzeptiert in direkten Tests mock_testing_fallbacks=True, um einen Fallback zu erzwingen.
Wo BroadNet Inference hineinpasst
BroadRouter ist die Website von BroadNet, und BroadNet Inference kann jeder Eintrag in Ihrer Liste sein. Als primärer Anbieter bietet es GLM 5.3 und Qwen3.8 27B mit dokumentierten Tools und Structured Output, dazu Gemma 4 VL 26B und DeepSeek V4.1 Flash, unter einer Basis-URL, ohne dass Inhalte gespeichert werden. Als Backup ist es ein weiterer OpenAI-kompatibler Endpoint für die Liste. So oder so liegt die Failover-Logik bei Ihnen: BroadNet routet nicht zwischen Anbietern, und Self-Serve hat kein SLA. Brauchen Sie vertraglich zugesicherte Service-Levels, gibt es diese nur mit einer separaten schriftlichen Vereinbarung. Vergleichen Sie die Modelle, oder erstellen Sie ein Konto und testen Sie Ihre Kette mit dem Startguthaben von $5 auf Gemma 4 VL 26B. GLM 5.3 und Qwen3.8 27B setzen eine Aufladung voraus.
