---
title: "LLM-API-Failover auf einen Backup-Anbieter, in Python"
description: "Failover zwischen OpenAI-kompatiblen LLM-Anbietern: bei welchen Fehlern umschalten, Circuit Breaker, Modell-IDs, Streaming, Kosten und gleicher Datenschutz."
url: https://broadrouter.com/de/blog/llm-api-failover-fallback/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/llm-api-failover-fallback/) (aktualisiert am 2026-11-16).

# LLM-API-Failover: im eigenen Code auf einen Zweitanbieter umschalten

Vom Team von BroadNet Inference · 8 Min. Lesezeit · Veröffentlicht 2026-11-15 · Aktualisiert 2026-11-16

Führen Sie eine geordnete Liste OpenAI-kompatibler Anbieter, jeweils mit eigenem Client und eigener Modell-ID. Schalten Sie bei Verbindungsfehlern, Timeouts, 5xx und Rate-Limit-429 um, sobald die eigenen Retries des SDK aufgebraucht sind. Schalten Sie nie bei 400, 401, 402, 403, 413 oder 422 um. Ergänzen Sie einen Circuit Breaker und prüfen Sie, ob der Backup-Anbieter bei Funktionen und Datenbedingungen dem primären entspricht.

## Das Wichtigste in Kürze

-   Schalten Sie bei Verbindungsfehlern, Timeouts, 5xx und Rate-Limit-429 um, nach einer begrenzten Zahl von Retries. Ein 400, 401, 402, 403, 413 oder 422 scheitert beim nächsten Anbieter genauso.
-   Modell-IDs unterscheiden sich je Anbieter: GLM 5.3 heißt bei BroadNet \`broadnet/glm-5.3\`, bei DeepInfra \`zai-org/GLM-5.3\` und bei Fireworks \`accounts/fireworks/models/glm-5p3\`.
-   Ein Circuit Breaker verhindert, dass Sie bei jeder Anfrage einen Timeout abwarten, solange der primäre Anbieter ausgefallen ist.
-   Schalten Sie einen Stream nur vor dem ersten Token um, und führen Sie nie einen Tool Call erneut aus, der etwas verändert.
-   BroadNet und BroadRouter routen nicht und schalten nicht für Sie um. Self-Serve bei BroadNet hat keine Verfügbarkeitszusage, Produktions-Apps sollten also einen Fallback vorhalten.

**Auf dieser Seite**

1.  Warum überhaupt einen Fallback-Anbieter vorhalten?
2.  Bei welchen Fehlern sollte umgeschaltet werden?
3.  Wie sieht Failover in Python aus?
4.  Wie ordnen Sie Modell-IDs anbieterübergreifend zu?
5.  Wie bleiben Antworten nach einem Wechsel vergleichbar?
6.  Was ist mit Streaming und Tool Calls?
7.  Was kostet Failover?
8.  Erfüllt der Fallback dieselben Datenbedingungen?
9.  Sollten Sie stattdessen ein Gateway wie LiteLLM nutzen?
10.  Wie testen Sie Failover, bevor Sie es brauchen?
11.  Wo BroadNet Inference hineinpasst

Jede LLM-API hat schlechte Minuten: ein 503, ein Timeout, eine Welle von 429ern. Ein Fallback sorgt dafür, dass aus diesen Minuten kein Ausfall Ihrer App wird. Dieser Beitrag zeigt, wie Sie im eigenen Code zwischen [OpenAI-kompatiblen](https://broadrouter.com/de/glossary/openai-compatible-api/) Anbietern umschalten. Er behandelt, welche Fehler den Wechsel auslösen sollten, wie ein Circuit Breaker ihn schnell hält und was zwischen den Anbietern übereinstimmen muss, damit Nutzer den Wechsel nicht bemerken.

Vorab: **BroadNet Inference routet nicht und schaltet nicht für Sie zwischen Anbietern um**, BroadRouter ebenso wenig. BroadRouter ist die eigene Website von BroadNet, kein Router. Den Fallback bauen Sie selbst, entweder wie unten gezeigt in Ihrem Client oder in einem Gateway wie LiteLLM.

## Warum überhaupt einen Fallback-Anbieter vorhalten?

Weil die meisten Self-Serve-APIs nichts zur Verfügbarkeit versprechen. Die [Nutzungsbedingungen](https://www.broadnet.ai/terms) von BroadNet sagen es in Abschnitt 7.4 deutlich: „self-serve has no availability commitment“ (Übersetzung: „Self-Serve hat keine Verfügbarkeitszusage“), und Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung (geprüft am 15. November 2026). Was andere Anbieter zusagen, zeigt der [SLA-Vergleich für LLM-APIs](https://broadrouter.com/de/blog/llm-api-sla-uptime-compared/). Muss Ihr Feature verfügbar bleiben, ist ein zweiter Anbieter die praktische Versicherung, egal, was im SLA steht.

[Rate Limits](https://broadrouter.com/de/glossary/rate-limit/) sind der zweite Grund. Ein Pay-as-you-go-Schlüssel von BroadNet erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Eine Traffic-Spitze darüber liefert 429er, und ein zweiter Anbieter kann den Überlauf auffangen, während Sie die Kapazität erhöhen.

## Bei welchen Fehlern sollte umgeschaltet werden?

Teilen Sie Fehler in zwei Gruppen. Manche liegen beim Anbieter und können anderswo gelingen. Andere liegen bei Ihnen und scheitern überall.

| Fehler | Umschalten? | Warum |
| --- | --- | --- |
| Verbindungsfehler, Timeout | Ja, nach Retries | Der Anbieter oder das Netzwerk ist nicht erreichbar |
| 500, 502, 503, 504 | Ja, nach Retries | Die Dokumentation von BroadNet empfiehlt zuerst „retry with bounded exponential backoff“ (Übersetzung: „Retry mit begrenztem exponentiellem Backoff“) |
| 429, Rate- oder Parallelitätslimit | Ja, nach Backoff | Kapazität bei diesem Anbieter, keine fehlerhafte Anfrage |
| 429, Ausgabenlimit | Nein | Ein Wechsel umgeht das Budget, das Sie bewusst gesetzt haben |
| 400, 422 | Nein | Die Anfrage ist ungültig und scheitert auch beim nächsten Anbieter |
| 401, 402 | Nein | Schlüssel, Kontingent oder Guthaben. Bei BroadNet deckt ein 401 auch ein aufgebrauchtes Pay-as-you-go-Kontingent ab, ein Wechsel verdeckt also ein Abrechnungsproblem |
| 403, 413 | Nein | Richtlinie oder Größe; korrigieren Sie die Anfrage |

Laut der [API-Referenz](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-api-failover-fallback&utm_content=body) von BroadNet bedeutet ein 429, dass „a rate, concurrency, token-rate or spending limit was reached“ (Übersetzung: „ein Rate-, Parallelitäts-, Token-Rate- oder Ausgabenlimit erreicht wurde“), und man solle „use response details and bounded backoff“ (Übersetzung: „die Details der Antwort und begrenzten Backoff nutzen“). Lesen Sie diese Details, bevor Sie umschalten, damit ein 429 wegen des Ausgabenlimits die Anfrage stoppt, statt sie zu verschieben. Der [Leitfaden zu Fehlercodes](https://broadrouter.com/de/guides/errors-and-retries/) listet jeden Status.

Wiederholen Sie, bevor Sie umschalten. Das OpenAI Python SDK wiederholt Verbindungsfehler, 408, 409, 429 und 5xx-Antworten bereits „2 times by default, with a short exponential backoff“ (Übersetzung: „standardmäßig 2-mal, mit kurzem exponentiellem Backoff“), und sein Standard-Timeout beträgt 10 Minuten ([README](https://github.com/openai/openai-python), geprüft am 15. November 2026). Zehn Minuten sind viel zu lang, um vor einem Wechsel zu warten. Setzen Sie `timeout` pro Client. Der [Beitrag zum Umgang mit 429](https://broadrouter.com/de/blog/handle-llm-api-429-rate-limits/) behandelt Backoff mit Jitter.

## Wie sieht Failover in Python aus?

Zwei Clients, eine geordnete Liste und ein kleiner Circuit Breaker. Primär ist GLM 5.3 bei BroadNet. Das Backup ist dasselbe Open-Weight-Modell bei DeepInfra, dessen Dokumentation die Basis-URL `https://api.deepinfra.com/v1/openai` angibt (geprüft am 15. November 2026).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Vier Details zählen:

1.  **Exception-Klassen.** Das SDK wirft `RateLimitError` bei 429, `InternalServerError` ab 500 und `APIConnectionError` (mit `APITimeoutError` als Unterklasse), wenn es keine Verbindung herstellen kann. Alles andere bleibt bewusst ungefangen. Um 429er wegen des Ausgabenlimits auszunehmen, prüfen Sie `err.response`, bevor Sie weitermachen.
2.  **Der Circuit Breaker.** Ohne ihn wartet jede Anfrage bei einem ausgefallenen primären Anbieter den vollen Timeout ab, bevor sie weiterzieht. Nach drei Fehlschlägen in Folge wird der primäre Anbieter 30 Sekunden lang übersprungen. Danach testet ihn die nächste Anfrage erneut.
3.  **Loggen, wer geantwortet hat.** Geben Sie den Anbieternamen zurück und behalten Sie `reply.model`. Ändert sich die Qualität, müssen Sie wissen, welcher Anbieter geantwortet hat.
4.  **Reasoning-Budget.** GLM 5.3 denkt nach, bevor es antwortet. Laut der Dokumentation von BroadNet zählt Reasoning zu `max_tokens`, lassen Sie also bei jedem Anbieter 1.000 oder mehr.

## Wie ordnen Sie Modell-IDs anbieterübergreifend zu?

Dasselbe Open-Weight-Modell hat bei jedem Host eine andere ID, und die Funktionen, die jeder Host ausweist, können sich unterscheiden. GLM 5.3 am 15. November 2026:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| Modell-ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Kontext | 1.048.576 Tokens | 1.048.576 Tokens | „1040k“ Tokens |
| Tools | Dokumentiert | „Function“ gelistet | Unterstützt |
| Structured Output | Dokumentiert | „JSON“ gelistet | Nicht geprüft |

Daraus folgen zwei Regeln. Erstens: Halten Sie die Zuordnung in der Konfiguration, nicht über den Code verstreut. Zweitens: Wählen Sie den Fallback passend zu dem, was Ihre Anfragen nutzen. Bei BroadNet sind Tools und Structured Output nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Ein Agent mit Tool Calling kann von GLM 5.3 auf GLM 5.3 bei einem anderen Anbieter umschalten. Auf ein Modell, das keine Tools dokumentiert, kann er nicht sicher umschalten. Hat das Backup ein kleineres Kontextfenster, kürzen Sie den Prompt oder überspringen Sie dieses Backup bei langen Anfragen. Basis-URLs für 14 Anbieter stehen in der [Übersicht der Basis-URLs](https://broadrouter.com/de/blog/openai-compatible-api-base-urls/).

## Wie bleiben Antworten nach einem Wechsel vergleichbar?

Dieselben Gewichte können bei zwei Hosts trotzdem unterschiedlich antworten, weil Hosts unterschiedliche Präzisionen, Chat-Templates oder Standardparameter verwenden können. Ein anderes Modell antwortet mit Sicherheit anders.

-   Lassen Sie Ihr [Eval-Set](https://broadrouter.com/de/blog/evaluate-llm-before-switching/) gegen jeden Eintrag der Liste laufen, nicht nur gegen den primären.
-   Legen Sie `temperature`, `max_tokens` und den System-Prompt pro Anfrage fest, damit Standardwerte des Anbieters den Output nicht verändern.
-   Validieren Sie Structured Output auf jedem Pfad gleich. [Ungültiges JSON reparieren](https://broadrouter.com/de/blog/fix-invalid-json-from-llm/) behandelt die Schleife aus Reparatur und Retry.
-   Ziehen Sie dasselbe Modell bei einem anderen Anbieter einem anderen Modell beim selben Host vor. Nutzer bemerken einen Stilwechsel eher als ein paar Sekunden Latenz.

## Was ist mit Streaming und Tool Calls?

Ein Stream kann mittendrin abbrechen. Laut der Dokumentation von BroadNet ist ein Stream, der vor `data: [DONE]` endet, als unvollständig zu behandeln: Notieren Sie die `X-Request-ID` und entscheiden Sie, ob Ihre Anwendung gefahrlos eine neue Anfrage senden kann.

-   **Vor dem ersten Token:** Schalten Sie frei um. Der Nutzer hat noch nichts gesehen.
-   **Nachdem Tokens angezeigt wurden:** Starten Sie beim Backup neu und ersetzen Sie die Teilantwort, oder zeigen Sie einen Fehler mit einem Button für einen neuen Versuch. Zwei halbe Antworten verschiedener Anbieter aneinanderzufügen, liest sich schlecht.
-   **Tool Calls mit Nebenwirkungen:** Führen Sie nie einen Schritt erneut aus, der eine E-Mail sendet, eine Karte belastet oder in eine Datenbank schreibt, nur weil der Modellaufruf fehlschlug. Geben Sie jeder Aktion einen [Idempotenzschlüssel](https://broadrouter.com/de/glossary/idempotency-key/). [Lang laufende Agenten](https://broadrouter.com/de/blog/long-running-agents-timeouts-retries/) behandelt Checkpoints.

[Streaming mit SSE](https://broadrouter.com/de/blog/llm-streaming-sse-explained/) erklärt, wie Sie einen vorzeitig beendeten Stream erkennen.

## Was kostet Failover?

-   **Doppelte Arbeit.** Ein Timeout auf Ihrer Seite beweist nicht, dass der Anbieter aufgehört hat. Bei Abrechnung pro Token ist jeder Retry eine neue Inferenz, rechnen Sie also damit, manche Anfragen doppelt zu bezahlen.
-   **Andere Preise.** Das Backup rechnet zu seinen eigenen Preisen ab. DeepInfra listete am 15. November 2026 einen Aktionspreis für GLM-5.3, prüfen Sie also erneut, bevor Sie budgetieren. BroadNet berechnet $0.78 Input, $0.173 gecachten Input und $3.46 Output pro 1 Mio. Tokens.
-   **Kalte Caches.** Gecachter Input wandert nicht zwischen Anbietern. Die ersten Anfragen beim Backup zahlen den vollen Input-Preis für ein Präfix, das beim primären Anbieter gecacht war. Siehe [gecachte Input-Tokens](https://broadrouter.com/de/blog/cached-input-tokens-explained/).
-   **Hedging.** Jede Anfrage gleichzeitig an zwei Anbieter zu senden und die erste Antwort zu behalten, senkt die Tail-Latenz, verdoppelt aber ungefähr die Rechnung. Nutzen Sie es nur, wo Latenz das wert ist.

## Erfüllt der Fallback dieselben Datenbedingungen?

Ein Fallback-Anbieter ist ein weiterer Auftragsverarbeiter, der dieselben Prompts erhält. Haben Sie Kunden etwas über ihre Daten versprochen, muss das Versprechen für jeden Eintrag der Liste gelten.

Die [Datenschutzerklärung](https://www.broadnet.ai/inference-privacy) von BroadNet sagt: „We do not retain prompts, audio, images, answers or transcripts“ (Übersetzung: „Wir speichern keine Prompts, Audiodaten, Bilder, Antworten oder Transkripte“). Inferenz-Inhalte werden nicht gespeichert; notwendige Konto-, Abrechnungs- und Sicherheitsmetadaten werden so aufbewahrt, wie es die Erklärung beschreibt. Sie besagt außerdem, dass Inferenzdaten nicht zum Trainieren, Fine-Tuning oder Evaluieren von Modellen verwendet werden. Die Erklärung sagt, gehostete Modelle „run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup“ (Übersetzung: „laufen auf eigener oder gemieteter Hardware von BroadNet in den USA, mit Partnerkapazität als Backup“); DeepSeek V4.1 Flash wird bei einem Partner gehostet. Für Daten mit Anforderungen an die Datenresidenz sagen die Nutzungsbedingungen (Abschnitt 7.3a), dass Verarbeitungsorte vor dem Senden zu vereinbaren sind. Prüfen Sie dieselben Punkte beim Backup: Speicherung, Nutzung fürs Training, Standort und Unterauftragsverarbeiter. Reicht es nicht aus, nehmen Sie sensible Anfragen vom Fallback-Pfad und lassen Sie sie geschlossen scheitern. Die [Zero-Data-Retention-Checkliste](https://broadrouter.com/de/blog/zero-data-retention-llm-api-checklist/) listet die Fragen.

## Sollten Sie stattdessen ein Gateway wie LiteLLM nutzen?

Nutzen Sie ein Gateway, wenn mehrere Dienste dieselben Fallback-Regeln brauchen. Der Proxy von LiteLLM nimmt eine `fallbacks`\-Liste, die der Reihe nach probiert wird. `num_retries` wiederholt eine Modellgruppe, bevor sie auf den Fallback ausweicht. `allowed_fails` und `cooldown_time` nehmen ein fehlerhaftes Deployment eine Weile heraus, was wie ein Circuit Breaker wirkt. Separate `context_window_fallbacks` und `content_policy_fallbacks` behandeln diese Fehlertypen ([LiteLLM-Dokumentation](https://docs.litellm.ai/docs/proxy/reliability), geprüft am 15. November 2026):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

Der [Leitfaden zum LiteLLM-Proxy](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) zeigt den BroadNet-Eintrag vollständig. Beide Einträge nutzen das generische Präfix `openai/` von LiteLLM mit einer `api_base`, nach demselben Muster wie der Leitfaden. Ein Gateway fügt einen Hop hinzu und ist ein weiteres System, das laufen muss. Für eine einzelne App reichen etwa 40 Zeilen im Client wie oben.

## Wie testen Sie Failover, bevor Sie es brauchen?

1.  Lassen Sie den primären Anbieter in einer Testkonfiguration auf einen nicht erreichbaren Host zeigen und prüfen Sie, dass Anfragen beim Backup landen.
2.  Senden Sie absichtlich eine ungültige Anfrage und prüfen Sie, dass sie **nicht** umgeschaltet wird.
3.  Verwenden Sie einen ungültigen primären Schlüssel und prüfen Sie, dass der 401 als Fehler erscheint, nicht als stiller Wechsel.
4.  Beobachten Sie den Breaker: Nach drei Fehlschlägen sollte der primäre Anbieter übersprungen werden, ohne auf den Timeout zu warten.
5.  Lösen Sie einen Alarm aus, wenn das Backup mehr als einen kleinen Anteil des Traffics bedient. Stilles Failover kann einen kaputten primären Anbieter tagelang verbergen.

Der `Router` von LiteLLM akzeptiert in direkten Tests `mock_testing_fallbacks=True`, um einen Fallback zu erzwingen.

## Wo BroadNet Inference hineinpasst

BroadRouter ist die Website von BroadNet, und BroadNet Inference kann jeder Eintrag in Ihrer Liste sein. Als primärer Anbieter bietet es GLM 5.3 und Qwen3.8 27B mit dokumentierten Tools und Structured Output, dazu Gemma 4 VL 26B und DeepSeek V4.1 Flash, unter einer [Basis-URL](https://broadrouter.com/de/glossary/base-url/), ohne dass Inhalte gespeichert werden. Als Backup ist es ein weiterer OpenAI-kompatibler Endpoint für die Liste. So oder so liegt die Failover-Logik bei Ihnen: BroadNet routet nicht zwischen Anbietern, und Self-Serve hat kein SLA. Brauchen Sie vertraglich zugesicherte Service-Levels, gibt es diese nur mit einer separaten schriftlichen Vereinbarung. Vergleichen Sie die [Modelle](https://broadrouter.com/de/models/), oder [erstellen Sie ein Konto](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-api-failover-fallback&utm_content=body) und testen Sie Ihre Kette mit dem Startguthaben von $5 auf Gemma 4 VL 26B. GLM 5.3 und Qwen3.8 27B setzen eine Aufladung voraus.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/)

Strukturierte Ausgabe (Structured Output) ist eine Funktion von LLM-APIs, die die Antwort eines Modells auf ein vom Entwickler vorgegebenes Format beschränkt, meist ein JSON Schema, damit Code sie zuverlässig parsen kann. Sie ist strenger als der JSON-Modus, der gültiges JSON garantiert, aber keine bestimmte Struktur.

[Ausgabenlimit (Spend Limit)](https://broadrouter.com/de/glossary/spend-limit/)

Ein Ausgabenlimit (Spend Limit) ist eine Obergrenze dafür, wie viel ein API-Konto, Projekt oder Schlüssel in einem Zeitraum ausgeben darf, meist pro Monat. Ist sie erreicht, lehnt der Anbieter weitere Anfragen ab, oft mit HTTP 429 oder 400, bis der Zeitraum neu beginnt oder das Limit erhöht wird.

[Exponentieller Backoff (Exponential Backoff)](https://broadrouter.com/de/glossary/exponential-backoff/)

Exponentieller Backoff ist eine Retry-Strategie, bei der ein Client nach jedem fehlgeschlagenen Versuch länger wartet, meist mit Verdopplung der Wartezeit bis zu einer Obergrenze, bevor er es erneut versucht. Zufälliger Jitter auf jeder Wartezeit verteilt die Retries vieler Clients, damit sie den Server nicht im selben Moment treffen.

[Request-Timeout (Zeitüberschreitung)](https://broadrouter.com/de/glossary/request-timeout/)

Ein Request-Timeout ist die längste Zeit, die ein HTTP-Client auf einen Server wartet, bevor er die Anfrage aufgibt. Clients teilen ihn meist in einen Connect-Timeout für den Verbindungsaufbau und einen Read-Timeout für das Warten auf Daten. LLM-Aufrufe brauchen großzügige Read-Timeouts, weil lange Antworten Zeit kosten.

[Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/)

Eine Basis-URL ist die feste Stammadresse einer API, etwa https://api.example.com/v1, die ein Client vor jeden Endpoint-Pfad wie /chat/completions setzt. In OpenAI-kompatiblen SDKs lenkt eine geänderte Basis-URL, zusammen mit API-Schlüssel und Modell-ID, denselben Code zu einem anderen Anbieter.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

## Häufige Fragen

### Bei welchen Fehlern sollte ein LLM-API-Fallback greifen?

Bei Verbindungsfehlern, Timeouts, 5xx und Rate-Limit-429, nach den eigenen Retries des SDK. Schalten Sie nicht bei 400, 401, 402, 403, 413 oder 422 um: Dann ist die Anfrage oder das Konto fehlerhaft, und der nächste Anbieter scheitert genauso oder verdeckt ein Abrechnungsproblem.

### Schaltet BroadNet automatisch auf einen anderen Anbieter um?

Nein. BroadNet Inference routet Anfragen nicht zwischen Modellen oder Anbietern, und BroadRouter, diese Website, ist die Informationsseite von BroadNet, kein Router. Den Fallback bauen Sie in Ihrem Client oder in einem Gateway wie LiteLLM.

### Kann ich bei jedem Anbieter dieselbe Modell-ID verwenden?

Nein. Jeder Anbieter benennt dasselbe Open-Weight-Modell anders. GLM 5.3 heißt bei BroadNet \`broadnet/glm-5.3\`, bei DeepInfra \`zai-org/GLM-5.3\` und bei Fireworks \`accounts/fireworks/models/glm-5p3\` (geprüft am 15. November 2026). Pflegen Sie eine Zuordnung pro Anbieter.

### Kosten fehlgeschlagene Versuche Geld?

Das kann passieren. Ein Timeout auf Ihrer Seite beweist nicht, dass der Anbieter die Arbeit abgebrochen hat, und bei Abrechnung pro Token ist jeder Retry eine neue Inferenz. Planen Sie einige doppelt abgerechnete Anfragen ein und begrenzen Sie die Versuche pro Anfrage.

### Sollte ein Fallback-Anbieter dieselben Datenschutzbedingungen haben?

Ja. Ein Fallback ist ein weiterer Auftragsverarbeiter, der dieselben Prompts sieht. Prüfen Sie seine Bedingungen zu Speicherung, Training und Verarbeitungsort, bevor Sie ihn aufnehmen, sonst gilt Ihr Datenschutzversprechen nur, solange der primäre Anbieter läuft.

### Hat BroadNet ein SLA?

Nicht für Self-Serve. Laut den Nutzungsbedingungen von BroadNet (Abschnitt 7.4) hat Self-Serve keine Verfügbarkeitszusage; Service-Levels gibt es nur in einer separaten schriftlichen Vereinbarung.

## Weiterlesen

-   [LLM-API-Fehler 429 behandeln: Backoff, Jitter und Limiter](https://broadrouter.com/de/blog/handle-llm-api-429-rate-limits/)
-   [Lang laufende Agenten: Timeouts, Retries und Checkpoints, die halten](https://broadrouter.com/de/blog/long-running-agents-timeouts-retries/)
-   [Basis-URLs OpenAI-kompatibler APIs: 14 Anbieter geprüft](https://broadrouter.com/de/blog/openai-compatible-api-base-urls/)
-   [LLM-API-SLAs: was Azure, Bedrock, Google und OpenAI zusagen](https://broadrouter.com/de/blog/llm-api-sla-uptime-compared/)
-   [Wie Sie ein LLM vor dem Anbieterwechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Anleitung: Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Anleitung: LiteLLM an BroadNet Inference anbinden (SDK und Proxy)](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/)
-   [Anleitung: OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Quellen**

-   [API-Referenz von BroadNet Inference: Fehler und Retries, Limits, Streaming, Modellfähigkeiten (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-api-failover-fallback&utm_content=sources)
-   [Nutzungsbedingungen von BroadNet, Abschnitte 7.3a (Verarbeitungsorte) und 7.4 (Verfügbarkeit) (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/terms)
-   [Datenschutzerklärung von BroadNet zur Inferenz: keine Speicherung von Inhalten, kein Training, US-Hardware mit Partner-Backup (geprüft am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference-privacy)
-   [README des OpenAI Python SDK: Retries, Timeouts und Fehlerklassen (geprüft am 2026-11-15)](https://github.com/openai/openai-python)
-   [LiteLLM-Dokumentation, Zuverlässigkeit des Proxys: fallbacks, num\_retries, allowed\_fails, cooldown\_time (geprüft am 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra-Dokumentation, Chat-Überblick: OpenAI-kompatible Basis-URL (geprüft am 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Modellseite von DeepInfra, zai-org/GLM-5.3: Kontext, Function Calling und JSON-Unterstützung (geprüft am 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Modellseite von Fireworks AI, GLM 5.3: Modell-ID, Kontext und Tool-Unterstützung (geprüft am 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
