---
title: "Was ist ein LLM-Router? Aggregatoren, Gateways, Routing"
description: "Ein LLM-Router wählt, welches Modell oder welcher Anbieter eine Anfrage bedient. Wie gehostete Aggregatoren, eigene Gateways und Modellwahl-Router funktionieren."
url: https://broadrouter.com/de/glossary/llm-router/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/llm-router/) (aktualisiert am 2026-11-16).

# LLM-Router

Aktualisiert 2026-11-16

Ein LLM-Router ist eine Software oder ein Dienst zwischen einer Anwendung und einer oder mehreren Sprachmodell-APIs, der für jede Anfrage entscheidet, welches Modell oder welcher Anbieter sie bearbeitet, nach Regeln wie Kosten, Latenz, Verfügbarkeit oder Art der Aufgabe.

Auch genannt: LLM-Router, KI-Gateway, LLM-Gateway, Modell-Router, LLM-Aggregator, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

Eine Anwendung, die mit einem einzigen Modell spricht, braucht keinen Router. Router kommen ins Spiel, wenn ein Team mehrere Modelle oder Anbieter nutzt und an einer Stelle zwischen ihnen wählen will.

## So funktioniert es

Die Anwendung sendet eine Anfrage im OpenAI-Format an den Router. Der Router wendet seine Regeln an, leitet die Anfrage an ein Backend weiter und gibt die Antwort im selben Format zurück. Es gibt drei verbreitete Arten:

-   **Gehostete Aggregatoren.** OpenRouter zum Beispiel bietet „hundreds of AI models through a single API endpoint“ (Übersetzung: „Hunderte KI-Modelle über einen einzigen API-Endpoint“) unter `https://openrouter.ai/api/v1`, mit automatischen Fallbacks. Sie haben einen Schlüssel und eine Rechnung; der Aggregator hält die Konten bei den Anbietern.
-   **Selbst gehostete Gateways.** Der LiteLLM Router läuft in Ihrer eigenen Infrastruktur. Er verteilt den Traffic auf Deployments (standardmäßig per einfachem Shuffle, alternativ nach Latenz, Auslastung oder Kosten), wiederholt Rate-Limit-Fehler mit exponentiellem Backoff und schickt ein Deployment nach einem 429 oder einer hohen Fehlerquote in einen Cooldown.
-   **Modellwahl-Router.** Forschung wie RouteLLM trainiert einen Klassifikator, der einfache Prompts an ein günstigeres Modell und schwierige an ein stärkeres schickt, um Kosten zu senken, ohne Qualität zu verlieren.

Ein selbst gehostetes Gateway wird als Liste von Backends konfiguriert. Dieser LiteLLM-Eintrag fügt einen [OpenAI-kompatiblen](https://broadrouter.com/de/glossary/openai-compatible-api/) Anbieter hinzu:

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## Warum es wichtig ist

-   **Zuverlässigkeit.** Ein Router kann umschalten, wenn ein Anbieter 429- oder 5xx-Fehler liefert. Siehe [Rate Limits](https://broadrouter.com/de/glossary/rate-limit/).
-   **Kosten.** Einfache Prompts an ein günstigeres Modell zu schicken, kann die Rechnung senken.
-   **Eine Integration.** Der Code spricht mit einer [Base-URL](https://broadrouter.com/de/glossary/base-url/) und einem Schlüsselformat.

Die Nachteile sind real. Ein Router fügt einen Netzwerk-Hop hinzu. Ein gehosteter Router ist eine weitere Partei, die Ihre Prompts sieht, die Datenspeicherung hängt also vom Router und vom gewählten Anbieter ab. Modelle unterscheiden sich außerdem bei Tokenizern, Reasoning-Verhalten und unterstützten Parametern, ein stiller Fallback kann also die Antworten verändern.

## Bei BroadNet Inference

BroadNet Inference ist kein Router. Es ist ein einzelner Anbieter mit einer kurzen [Modellliste](https://broadrouter.com/de/models/) unter `https://inference.broadnet.ai/v1`; laut den Nutzungsbedingungen von BroadNet laufen seine Modelle auf BroadNet-eigener oder gemieteter Hardware in den USA oder bei US-Inferenzpartnern. Es gibt kein automatisches Routing und keinen Fallback über Anbieter hinweg. Sie wählen das Modell in jeder Anfrage, zum Beispiel `broadnet/deepseek-v4.1-flash` oder `broadnet/glm-5.3`.

Da die API OpenAI-kompatibel ist, kann sie als ein Backend hinter einem Router stehen. Die [Anleitung zum LiteLLM-Proxy](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) zeigt die Einrichtung. Wie sich ein Router und ein Flatrate-Anbieter vergleichen, lesen Sie in [OpenRouter-Alternative für Agents](https://broadrouter.com/de/blog/openrouter-alternative-flat-rate/). BroadNet speichert keine Prompts oder Ausgaben; wenn Sie einen gehosteten Router davorschalten, prüfen Sie auch dessen [Datenspeicherung](https://broadrouter.com/de/glossary/zero-data-retention/).

## Häufige Fehler

-   Einen 401 oder 403 bei einem anderen Anbieter zu wiederholen. Das sind Schlüssel- oder Richtlinienfehler; beheben Sie diese zuerst. Siehe [Fehler und Retries](https://broadrouter.com/de/guides/errors-and-retries/).
-   Modellnamen als austauschbar zu behandeln. Testen Sie jedes Fallback-Modell mit Ihren eigenen Prompts.

## Häufige Fragen

### Ist ein LLM-Router dasselbe wie ein Load Balancer?

Ein Load Balancer ist ein Teil eines Routers. Ein Router kann zusätzlich für eine Aufgabe ein anderes Modell wählen, nach einem Fehler auf einen anderen Anbieter ausweichen und zwischen API-Formaten übersetzen. Ein einfacher Load Balancer verteilt nur Traffic auf identische Server.

### Erhöht ein Router die Latenz?

Meist ein wenig, weil die Anfrage einen zusätzlichen Netzwerk-Hop macht und der Router sie womöglich prüft. Fallbacks können mehr kosten, weil vor dem erneuten Versuch erst ein fehlgeschlagener läuft. Messen Sie die Zeit bis zum ersten Token mit und ohne Router.

### Ist BroadNet Inference ein LLM-Router?

Nein. Trotz des Namens dieser Website ist BroadNet Inference ein einzelner Anbieter; laut den Nutzungsbedingungen von BroadNet laufen seine Modelle auf BroadNet-eigener oder gemieteter Hardware in den USA oder bei US-Inferenzpartnern. Sie wählen das Modell in jeder Anfrage. Sie können es als einen der Anbieter hinter einen Router stellen.

## Siehe auch

-   [OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/) (Begriff)
-   [Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/) (Begriff)
-   [Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/) (Begriff)
-   [Zero Data Retention (ZDR)](https://broadrouter.com/de/glossary/zero-data-retention/) (Begriff)
-   [Inferenz-Anbieter (Inference Provider)](https://broadrouter.com/de/glossary/inference-provider/) (Begriff)
-   [Modell-Fallback (Model Fallback)](https://broadrouter.com/de/glossary/model-fallback/) (Begriff)
-   [LiteLLM an BroadNet Inference anbinden (SDK und Proxy)](https://broadrouter.com/de/guides/litellm-proxy-custom-provider/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [OpenRouter oder Flatrate für KI-Agenten: Was kostet weniger?](https://broadrouter.com/de/blog/openrouter-alternative-flat-rate/) (Artikel)
-   [Wechsel zu einer OpenAI-kompatiblen API: die Migrations-Checkliste](https://broadrouter.com/de/blog/openai-compatible-api-migration-checklist/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-llm-router&utm_content=page-cta) ·

**Quellen**

-   [Schnellstart von OpenRouter (ein Endpoint für viele Modelle)](https://openrouter.ai/docs/quickstart)
-   [Dokumentation des LiteLLM Router, Load Balancing, Fallbacks und Cooldowns](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665)](https://arxiv.org/abs/2406.18665)
-   [API-Referenz von BroadNet Inference (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-llm-router&utm_content=sources)
-   [Nutzungsbedingungen von BroadNet, §2 Hosting (geprüft am 2026-11-16) (auf Englisch)](https://www.broadnet.ai/terms)
