Jede API hat schlechte Minuten. Fallback sorgt dafür, dass eine schlechte Minute bei einem Anbieter nicht zum Ausfall Ihrer App wird.
So funktioniert es
Sie führen eine geordnete Liste von Modellen. Schlägt ein Aufruf fehl, nach seinen eigenen Retries, erhält das nächste Modell auf der Liste dieselbe Anfrage.
Zwei Gateways aus den Quellen:
| Gateway | So funktioniert der Fallback |
|---|---|
| LiteLLM-Proxy | fallbacks listet Modellgruppen auf, die „in-order“ (der Reihe nach) probiert werden. Eigene context_window_fallbacks und content_policy_fallbacks behandeln diese Fehlerarten. num_retries wiederholt eine Gruppe vor dem Fallback; allowed_fails und cooldown_time nehmen ein fehlerhaftes Deployment für eine Weile heraus. |
| OpenRouter | Ein models-Array. „If the first model returns an error, OpenRouter will automatically try the next model in the list.“ (Übersetzung: „Gibt das erste Modell einen Fehler zurück, probiert OpenRouter automatisch das nächste Modell der Liste.“) Jeder Fehler kann das auslösen, auch Kontextlänge, Moderation, Rate Limits und Ausfälle. Scheitert das letzte Modell, wird dessen Fehler zurückgegeben. |
Eine minimale clientseitige Version:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Warum es wichtig ist
- Verfügbarkeit. Ein zweiter Anbieter überbrückt Störungen und Rate Limits beim ersten.
- Andere Ausgaben. Das Backup-Modell formuliert anders, nutzt Tools anders und kostet womöglich mehr. Führen Sie Ihr Eval für jedes Modell der Kette aus, nicht nur für das erste.
- Kein Fallback bei eigenen Bugs. Ein 400 oder 422 heißt, dass die Anfrage falsch ist; sie scheitert auch beim nächsten Modell. Weichen Sie bei 429, Timeouts und 5xx aus, nach begrenztem exponentiellem Backoff.
Bei BroadNet Inference
BroadNet routet Anfragen nicht automatisch und hat keinen Fallback zwischen Modellen. Auch BroadRouter, diese Website, ist die Informationswebsite von BroadNet und routet keine Anfragen. Den Fallback setzen Sie selbst um: in Ihrem Client wie oben (die Anleitung zu Failover für LLM-APIs ergänzt einen Circuit Breaker und ein Mapping der Modell-IDs) oder in einem Gateway; siehe LLM-Router und die Anleitung zum LiteLLM-Proxy, um BroadNet als Anbieter hinzuzufügen. Die API-Referenz von BroadNet sagt, 5xx mit begrenztem exponentiellem Backoff zu wiederholen und bei 429 die Details der Antwort und begrenzten Backoff zu nutzen. Die Anleitung zu Fehlern und Retries listet jeden Status auf.
Häufige Fehler
- Bei 401- oder 402-Fehlern auszuweichen, was ein Abrechnungs- oder Schlüsselproblem verdeckt.
- Nicht zu loggen, welches Modell jede Antwort geliefert hat, sodass sich Qualitätsänderungen schwer nachverfolgen lassen.