BroadRouter
Loslegen

Modell-Fallback (Model Fallback)

Aktualisiert

Modell-Fallback ist ein Zuverlässigkeitsmuster, bei dem eine fehlgeschlagene LLM-Anfrage auf einem anderen Modell oder bei einem anderen Anbieter aus einer geordneten Liste wiederholt wird. Auslöser kann ein Fehler, ein Rate Limit, ein Kontextlängen-Fehler oder eine Ablehnung wegen Inhaltsrichtlinien sein. Es läuft in Ihrem Client oder in einem Gateway vor den APIs.

Auch genannt: Modell-Fallback, Fallback-Modell, Modell-Failover, Anbieter-Fallback, LLM-Failover, model fallback, fallback model, model failover, provider fallback

Jede API hat schlechte Minuten. Fallback sorgt dafür, dass eine schlechte Minute bei einem Anbieter nicht zum Ausfall Ihrer App wird.

So funktioniert es

Sie führen eine geordnete Liste von Modellen. Schlägt ein Aufruf fehl, nach seinen eigenen Retries, erhält das nächste Modell auf der Liste dieselbe Anfrage.

Zwei Gateways aus den Quellen:

Gateway So funktioniert der Fallback
LiteLLM-Proxy fallbacks listet Modellgruppen auf, die „in-order“ (der Reihe nach) probiert werden. Eigene context_window_fallbacks und content_policy_fallbacks behandeln diese Fehlerarten. num_retries wiederholt eine Gruppe vor dem Fallback; allowed_fails und cooldown_time nehmen ein fehlerhaftes Deployment für eine Weile heraus.
OpenRouter Ein models-Array. „If the first model returns an error, OpenRouter will automatically try the next model in the list.“ (Übersetzung: „Gibt das erste Modell einen Fehler zurück, probiert OpenRouter automatisch das nächste Modell der Liste.“) Jeder Fehler kann das auslösen, auch Kontextlänge, Moderation, Rate Limits und Ausfälle. Scheitert das letzte Modell, wird dessen Fehler zurückgegeben.

Eine minimale clientseitige Version:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Warum es wichtig ist

  • Verfügbarkeit. Ein zweiter Anbieter überbrückt Störungen und Rate Limits beim ersten.
  • Andere Ausgaben. Das Backup-Modell formuliert anders, nutzt Tools anders und kostet womöglich mehr. Führen Sie Ihr Eval für jedes Modell der Kette aus, nicht nur für das erste.
  • Kein Fallback bei eigenen Bugs. Ein 400 oder 422 heißt, dass die Anfrage falsch ist; sie scheitert auch beim nächsten Modell. Weichen Sie bei 429, Timeouts und 5xx aus, nach begrenztem exponentiellem Backoff.

Bei BroadNet Inference

BroadNet routet Anfragen nicht automatisch und hat keinen Fallback zwischen Modellen. Auch BroadRouter, diese Website, ist die Informationswebsite von BroadNet und routet keine Anfragen. Den Fallback setzen Sie selbst um: in Ihrem Client wie oben (die Anleitung zu Failover für LLM-APIs ergänzt einen Circuit Breaker und ein Mapping der Modell-IDs) oder in einem Gateway; siehe LLM-Router und die Anleitung zum LiteLLM-Proxy, um BroadNet als Anbieter hinzuzufügen. Die API-Referenz von BroadNet sagt, 5xx mit begrenztem exponentiellem Backoff zu wiederholen und bei 429 die Details der Antwort und begrenzten Backoff zu nutzen. Die Anleitung zu Fehlern und Retries listet jeden Status auf.

Häufige Fehler

  • Bei 401- oder 402-Fehlern auszuweichen, was ein Abrechnungs- oder Schlüsselproblem verdeckt.
  • Nicht zu loggen, welches Modell jede Antwort geliefert hat, sodass sich Qualitätsänderungen schwer nachverfolgen lassen.

Häufige Fragen

Sollte ich zuerst wiederholen oder auf ein anderes Modell ausweichen?

Bei kurzen Störungen wie einem 503 zuerst wiederholen. LiteLLM arbeitet so: Es weicht erst auf eine andere Modellgruppe aus, nachdem ein Aufruf num_retries-mal fehlgeschlagen ist.

Welches Modell wird mir nach einem Fallback berechnet?

Bei OpenRouter das Modell, das die Anfrage bedient hat: Laut OpenRouter werden Anfragen „are priced using the model that was ultimately used“ (Übersetzung: „nach dem Modell abgerechnet, das letztlich verwendet wurde“), angegeben im Feld model der Antwort.

Routet BroadNet automatisch oder weicht es selbst aus?

Nein. BroadNet bietet kein automatisches Routing an, und BroadRouter ist die Informationswebsite von BroadNet, kein Router. Bauen Sie den Fallback in Ihren Client oder stellen Sie ein Gateway wie LiteLLM davor.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen