---
title: "Was ist Modell-Fallback? Failover auf ein Backup-LLM"
description: "Modell-Fallback schickt eine Anfrage an ein Backup-Modell oder einen anderen Anbieter, wenn der erste ausfällt. Wie LiteLLM und OpenRouter das lösen, eigener Aufbau."
url: https://broadrouter.com/de/glossary/model-fallback/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/model-fallback/) (aktualisiert am 2026-11-16).

# Modell-Fallback (Model Fallback)

Aktualisiert 2026-11-16

Modell-Fallback ist ein Zuverlässigkeitsmuster, bei dem eine fehlgeschlagene LLM-Anfrage auf einem anderen Modell oder bei einem anderen Anbieter aus einer geordneten Liste wiederholt wird. Auslöser kann ein Fehler, ein Rate Limit, ein Kontextlängen-Fehler oder eine Ablehnung wegen Inhaltsrichtlinien sein. Es läuft in Ihrem Client oder in einem Gateway vor den APIs.

Auch genannt: Modell-Fallback, Fallback-Modell, Modell-Failover, Anbieter-Fallback, LLM-Failover, model fallback, fallback model, model failover, provider fallback

Jede API hat schlechte Minuten. Fallback sorgt dafür, dass eine schlechte Minute bei einem Anbieter nicht zum Ausfall Ihrer App wird.

## So funktioniert es

Sie führen eine geordnete Liste von Modellen. Schlägt ein Aufruf fehl, nach seinen eigenen Retries, erhält das nächste Modell auf der Liste dieselbe Anfrage.

Zwei Gateways aus den Quellen:

| Gateway | So funktioniert der Fallback |
| --- | --- |
| LiteLLM-Proxy | `fallbacks` listet Modellgruppen auf, die „in-order“ (der Reihe nach) probiert werden. Eigene `context_window_fallbacks` und `content_policy_fallbacks` behandeln diese Fehlerarten. `num_retries` wiederholt eine Gruppe vor dem Fallback; `allowed_fails` und `cooldown_time` nehmen ein fehlerhaftes Deployment für eine Weile heraus. |
| OpenRouter | Ein `models`\-Array. „If the first model returns an error, OpenRouter will automatically try the next model in the list.“ (Übersetzung: „Gibt das erste Modell einen Fehler zurück, probiert OpenRouter automatisch das nächste Modell der Liste.“) Jeder Fehler kann das auslösen, auch Kontextlänge, Moderation, Rate Limits und Ausfälle. Scheitert das letzte Modell, wird dessen Fehler zurückgegeben. |

Eine minimale clientseitige Version:

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## Warum es wichtig ist

-   **Verfügbarkeit.** Ein zweiter Anbieter überbrückt Störungen und [Rate Limits](https://broadrouter.com/de/glossary/rate-limit/) beim ersten.
-   **Andere Ausgaben.** Das Backup-Modell formuliert anders, nutzt Tools anders und kostet womöglich mehr. Führen Sie Ihr [Eval](https://broadrouter.com/de/glossary/eval/) für jedes Modell der Kette aus, nicht nur für das erste.
-   **Kein Fallback bei eigenen Bugs.** Ein 400 oder 422 heißt, dass die Anfrage falsch ist; sie scheitert auch beim nächsten Modell. Weichen Sie bei 429, Timeouts und 5xx aus, nach begrenztem [exponentiellem Backoff](https://broadrouter.com/de/glossary/exponential-backoff/).

## Bei BroadNet Inference

BroadNet routet Anfragen nicht automatisch und hat keinen Fallback zwischen Modellen. Auch BroadRouter, diese Website, ist die Informationswebsite von BroadNet und routet keine Anfragen. Den Fallback setzen Sie selbst um: in Ihrem Client wie oben (die [Anleitung zu Failover für LLM-APIs](https://broadrouter.com/de/blog/llm-api-failover-fallback/) ergänzt einen Circuit Breaker und ein Mapping der Modell-IDs) oder in einem Gateway; siehe [LLM-Router](https://broadrouter.com/de/glossary/llm-router/) und die [Anleitung zum LiteLLM-Proxy](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/), um BroadNet als Anbieter hinzuzufügen. Die [API-Referenz](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-model-fallback&utm_content=body) von BroadNet sagt, 5xx mit begrenztem exponentiellem Backoff zu wiederholen und bei 429 die Details der Antwort und begrenzten Backoff zu nutzen. Die [Anleitung zu Fehlern und Retries](https://broadrouter.com/de/guides/errors-and-retries/) listet jeden Status auf.

## Häufige Fehler

-   Bei 401- oder 402-Fehlern auszuweichen, was ein Abrechnungs- oder Schlüsselproblem verdeckt.
-   Nicht zu loggen, welches Modell jede Antwort geliefert hat, sodass sich Qualitätsänderungen schwer nachverfolgen lassen.

## Häufige Fragen

### Sollte ich zuerst wiederholen oder auf ein anderes Modell ausweichen?

Bei kurzen Störungen wie einem 503 zuerst wiederholen. LiteLLM arbeitet so: Es weicht erst auf eine andere Modellgruppe aus, nachdem ein Aufruf num\_retries-mal fehlgeschlagen ist.

### Welches Modell wird mir nach einem Fallback berechnet?

Bei OpenRouter das Modell, das die Anfrage bedient hat: Laut OpenRouter werden Anfragen „are priced using the model that was ultimately used“ (Übersetzung: „nach dem Modell abgerechnet, das letztlich verwendet wurde“), angegeben im Feld model der Antwort.

### Routet BroadNet automatisch oder weicht es selbst aus?

Nein. BroadNet bietet kein automatisches Routing an, und BroadRouter ist die Informationswebsite von BroadNet, kein Router. Bauen Sie den Fallback in Ihren Client oder stellen Sie ein Gateway wie LiteLLM davor.

## Siehe auch

-   [LLM-Router](https://broadrouter.com/de/glossary/llm-router/) (Begriff)
-   [Exponentieller Backoff (Exponential Backoff)](https://broadrouter.com/de/glossary/exponential-backoff/) (Begriff)
-   [Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/) (Begriff)
-   [Request-Timeout (Zeitüberschreitung)](https://broadrouter.com/de/glossary/request-timeout/) (Begriff)
-   [Inferenz-Anbieter (Inference Provider)](https://broadrouter.com/de/glossary/inference-provider/) (Begriff)
-   [LiteLLM an BroadNet Inference anbinden (SDK und Proxy)](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [LLM-API-Failover: im eigenen Code auf einen Zweitanbieter umschalten](https://broadrouter.com/de/blog/llm-api-failover-fallback/) (Artikel)
-   [OpenRouter oder Flatrate für KI-Agenten: Was kostet weniger?](https://broadrouter.com/de/blog/openrouter-alternative-flat-rate/) (Artikel)
-   [LLM-API-Anbieter auswählen: Checkliste mit 20 Punkten](https://broadrouter.com/de/blog/choose-llm-api-provider-checklist/) (Artikel)
-   [Wie Sie ein LLM vor dem Anbieterwechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-model-fallback&utm_content=page-cta) ·

**Quellen**

-   [Dokumentation von LiteLLM, Proxy-Zuverlässigkeit: Retries und Fallbacks (geprüft am 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Dokumentation von OpenRouter, Modell-Fallbacks (geprüft am 2026-11-15)](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [API-Referenz von BroadNet Inference, Fehler und Retries (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-model-fallback&utm_content=sources)
