Eine Anwendung, die mit einem einzigen Modell spricht, braucht keinen Router. Router kommen ins Spiel, wenn ein Team mehrere Modelle oder Anbieter nutzt und an einer Stelle zwischen ihnen wählen will.
So funktioniert es
Die Anwendung sendet eine Anfrage im OpenAI-Format an den Router. Der Router wendet seine Regeln an, leitet die Anfrage an ein Backend weiter und gibt die Antwort im selben Format zurück. Es gibt drei verbreitete Arten:
- Gehostete Aggregatoren. OpenRouter zum Beispiel bietet „hundreds of AI models through a single API endpoint“ (Übersetzung: „Hunderte KI-Modelle über einen einzigen API-Endpoint“) unter
https://openrouter.ai/api/v1, mit automatischen Fallbacks. Sie haben einen Schlüssel und eine Rechnung; der Aggregator hält die Konten bei den Anbietern. - Selbst gehostete Gateways. Der LiteLLM Router läuft in Ihrer eigenen Infrastruktur. Er verteilt den Traffic auf Deployments (standardmäßig per einfachem Shuffle, alternativ nach Latenz, Auslastung oder Kosten), wiederholt Rate-Limit-Fehler mit exponentiellem Backoff und schickt ein Deployment nach einem 429 oder einer hohen Fehlerquote in einen Cooldown.
- Modellwahl-Router. Forschung wie RouteLLM trainiert einen Klassifikator, der einfache Prompts an ein günstigeres Modell und schwierige an ein stärkeres schickt, um Kosten zu senken, ohne Qualität zu verlieren.
Ein selbst gehostetes Gateway wird als Liste von Backends konfiguriert. Dieser LiteLLM-Eintrag fügt einen OpenAI-kompatiblen Anbieter hinzu:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Warum es wichtig ist
- Zuverlässigkeit. Ein Router kann umschalten, wenn ein Anbieter 429- oder 5xx-Fehler liefert. Siehe Rate Limits.
- Kosten. Einfache Prompts an ein günstigeres Modell zu schicken, kann die Rechnung senken.
- Eine Integration. Der Code spricht mit einer Base-URL und einem Schlüsselformat.
Die Nachteile sind real. Ein Router fügt einen Netzwerk-Hop hinzu. Ein gehosteter Router ist eine weitere Partei, die Ihre Prompts sieht, die Datenspeicherung hängt also vom Router und vom gewählten Anbieter ab. Modelle unterscheiden sich außerdem bei Tokenizern, Reasoning-Verhalten und unterstützten Parametern, ein stiller Fallback kann also die Antworten verändern.
Bei BroadNet Inference
BroadNet Inference ist kein Router. Es ist ein einzelner Anbieter mit einer kurzen Modellliste unter https://inference.broadnet.ai/v1; laut den Nutzungsbedingungen von BroadNet laufen seine Modelle auf BroadNet-eigener oder gemieteter Hardware in den USA oder bei US-Inferenzpartnern. Es gibt kein automatisches Routing und keinen Fallback über Anbieter hinweg. Sie wählen das Modell in jeder Anfrage, zum Beispiel broadnet/deepseek-v4.1-flash oder broadnet/glm-5.3.
Da die API OpenAI-kompatibel ist, kann sie als ein Backend hinter einem Router stehen. Die Anleitung zum LiteLLM-Proxy zeigt die Einrichtung. Wie sich ein Router und ein Flatrate-Anbieter vergleichen, lesen Sie in OpenRouter-Alternative für Agents. BroadNet speichert keine Prompts oder Ausgaben; wenn Sie einen gehosteten Router davorschalten, prüfen Sie auch dessen Datenspeicherung.
Häufige Fehler
- Einen 401 oder 403 bei einem anderen Anbieter zu wiederholen. Das sind Schlüssel- oder Richtlinienfehler; beheben Sie diese zuerst. Siehe Fehler und Retries.
- Modellnamen als austauschbar zu behandeln. Testen Sie jedes Fallback-Modell mit Ihren eigenen Prompts.