---
title: "LiteLLM: OpenAI-kompatibler Provider mit api_base | BroadRouter"
description: "BroadNet Inference über LiteLLM aufrufen, mit dem Modellpräfix openai/ und api_base, im Python SDK oder in der config.yaml des Proxys, mit passenden Rate Limits."
url: https://broadrouter.com/de/guides/litellm-proxy-custom-provider/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (aktualisiert am 2026-11-16).

# LiteLLM an BroadNet Inference anbinden (SDK und Proxy)

Aktualisiert 2026-11-16

Setzen Sie in LiteLLM openai/ vor die BroadNet-Modell-ID, also openai/broadnet/glm-5.3, und setzen Sie api\_base auf https://inference.broadnet.ai/v1 und Ihren BroadNet-Schlüssel als api\_key. Im Proxy tragen Sie dieselben Werte unter litellm\_params in der config.yaml ein und geben dem Modell einen kurzen model\_name.

LiteLLM bietet eine einheitliche Schnittstelle zu vielen LLM-Anbietern, als Python SDK und als Proxy-Server. Für eine OpenAI-kompatible API sind laut Dokumentation zwei Dinge nötig: `openai/` vor den Modellnamen setzen und `api_base` setzen. BroadNet Inference nutzt genau diese Route.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

`openai/` wählt die Route; LiteLLM sendet `broadnet/glm-5.3` an BroadNet. Hängen Sie nichts an die Base URL an; der OpenAI-Client von LiteLLM ergänzt den Endpoint-Pfad selbst.

Laut LiteLLM-Dokumentation nutzt die Route `openai` die offizielle OpenAI-Python-Bibliothek, und die braucht bei jeder Anfrage einen API-Schlüssel. Übergeben Sie `api_key` wie oben ausdrücklich, damit LiteLLM nie auf einen `OPENAI_API_KEY` zurückgreift, der für OpenAI selbst gedacht ist. Die Antwort kommt im OpenAI-Format zurück, der Rest Ihres Codes bleibt also gleich.

## Wann sich der Proxy lohnt

Innerhalb einer einzelnen Python-App reicht das SDK. Der Proxy hilft, wenn mehrere Apps oder Sprachen dieselben Modelle brauchen: Alle rufen einen Endpoint im OpenAI-Stil mit kurzen Modellnamen auf, und der Proxy hält den BroadNet-Schlüssel, setzt Rate Limits durch und protokolliert die Nutzung. Ihre Apps brauchen dann überhaupt keine BroadNet-spezifischen Einstellungen.

## 2\. Proxy-Server

Installieren Sie die Proxy-Extras und schreiben Sie die `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Starten Sie ihn und rufen Sie ihn wie jeden OpenAI-Endpoint auf:

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`os.environ/BROADNET_API_KEY_GLM` weist LiteLLM an, diesen Schlüssel aus der Umgebung zu lesen. Jeder Eintrag nutzt seinen eigenen Pay-as-you-go-Schlüssel von BroadNet, daher entspricht `rpm: 30`, das optionale Rate Limit von LiteLLM pro Deployment, dem Limit des jeweiligen Schlüssels. Teilen sich mehrere Einträge einen Schlüssel, teilen sie sich auch dieses eine Limit; verteilen Sie die Zahl also auf sie. `master_key` sorgt dafür, dass der Proxy bei jedem Aufruf einen Schlüssel verlangt; laut LiteLLM-Dokumentation muss er mit `sk-` beginnen. Exportieren Sie `LITELLM_MASTER_KEY`, bevor Sie den Proxy starten.

## Welches Modell passt?

| model\_name | BroadNet-Modell | Einsatz |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/de/models/glm-5.3/) | Tools, strukturierte Ausgabe, 1M Kontext |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) | Langer Kontext; das Modell der unbegrenzten Pläne |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/de/models/qwen3.8-27b/) | Bilder, Tools, Arabisch |
| (bei Bedarf ergänzen) | [Gemma 4 VL 26B](https://broadrouter.com/de/models/gemma-4-vl-26b/) | Niedriger Preis pro Token; läuft mit dem Guthaben von $5 |

Die Preise stehen auf der [Preisseite](https://broadrouter.com/de/pricing/). Wenn Sie von einem anderen Gateway wechseln, finden Sie in der [Migrations-Checkliste](https://broadrouter.com/de/blog/openai-compatible-api-migration-checklist/), was Sie testen sollten.

## Fehlerbehebung

-   **401.** Der BroadNet-Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Kommt der 401 vom Proxy selbst, prüfen Sie stattdessen den LiteLLM-Schlüssel, den Sie gesendet haben.
-   **Not Found.** Stellen Sie sicher, dass `api_base` gleich `https://inference.broadnet.ai/v1` mit `/v1` ist. Stimmt die Base URL, prüfen Sie, ob die Modell-ID nach `openai/` exakt der von BroadNet entspricht.
-   **Modell wird bei einem neuen Konto abgelehnt.** GLM 5.3, Qwen3.8 27B und DeepSeek V4.1 Flash brauchen zuerst eine Aufladung; das Guthaben von $5 deckt nur `broadnet/gemma-4-26b-a4b` und die beiden Transcribe-Modelle ab.
-   **Leerer Content.** Reasoning zählt zu `max_tokens`. Erhöhen Sie den Wert oder senden Sie `reasoning_effort="low"`. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **429.** Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig. Das `rpm` von LiteLLM hilft beim Ersten; halten Sie gleichzeitige Aufrufer bei höchstens 4 pro Schlüssel. Siehe [Fehlercodes und Retries](https://broadrouter.com/de/guides/errors-and-retries/).
-   **Parallele Agenten mit einem Plan-Schlüssel.** Eine [Plan-Session](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) verarbeitet immer nur eine Anfrage. Laufen mehrere Agenten über den Proxy auf einer Session, stehen sie in der Warteschlange; kaufen Sie eine Session pro parallelem Agenten.

## Begriffe in dieser Anleitung

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/)

Eine Basis-URL ist die feste Stammadresse einer API, etwa https://api.example.com/v1, die ein Client vor jeden Endpoint-Pfad wie /chat/completions setzt. In OpenAI-kompatiblen SDKs lenkt eine geänderte Basis-URL, zusammen mit API-Schlüssel und Modell-ID, denselben Code zu einem anderen Anbieter.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/)

Eine OpenAI-kompatible API ist eine HTTP-API, die dieselben Anfrage- und Antwortformate wie die OpenAI API akzeptiert, etwa POST /v1/chat/completions. OpenAI-SDKs und Tools können sie deshalb nutzen, wenn nur Basis-URL, API-Schlüssel und Modellname geändert werden.

[Prepaid-Guthaben (Prepaid Credit)](https://broadrouter.com/de/glossary/prepaid-credit/)

Prepaid-Guthaben ist Geld, das vor der Nutzung auf ein API-Konto eingezahlt wird. Jede Anfrage zieht ihre Kosten vom Guthaben ab, und wenn es aufgebraucht ist, stoppen abgerechnete Anfragen, bis Sie aufladen. So sind die Ausgaben auf das eingezahlte Geld begrenzt.

[Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/)

Strukturierte Ausgabe (Structured Output) ist eine Funktion von LLM-APIs, die die Antwort eines Modells auf ein vom Entwickler vorgegebenes Format beschränkt, meist ein JSON Schema, damit Code sie zuverlässig parsen kann. Sie ist strenger als der JSON-Modus, der gültiges JSON garantiert, aber keine bestimmte Struktur.

## Häufige Fragen

### Warum liefert LiteLLM einen Not-Found-Fehler?

Laut LiteLLM-Dokumentation muss api\_base auf /v1 enden. Nutzen Sie https://inference.broadnet.ai/v1 und hängen Sie kein /chat/completions an.

### Warum heißt das Modell openai/broadnet/glm-5.3?

Das Präfix openai/ sagt LiteLLM, dass es einen /chat/completions-Endpoint im OpenAI-Stil aufrufen soll. LiteLLM wählt anhand des Präfixes die Route und sendet den Rest, broadnet/glm-5.3, also die BroadNet-Modell-ID.

### Kann ich den Schlüssel eines unbegrenzten BroadNet-Plans hinter einen gemeinsamen LiteLLM-Proxy setzen?

Plan-Schlüssel dürfen weder geteilt noch weiterverkauft werden, und eine Session verarbeitet immer nur eine Anfrage. Nutzen Sie sie für Ihre eigenen Agenten. Für einen Team-Proxy nehmen Sie Pay-as-you-go-Schlüssel.

### Braucht LiteLLM OPENAI\_API\_KEY, um BroadNet aufzurufen?

Die openai-Route braucht bei jeder Anfrage einen Schlüssel, aus api\_key oder OPENAI\_API\_KEY. Übergeben Sie Ihren BroadNet-Schlüssel als api\_key, im Proxy als os.environ/BROADNET\_API\_KEY, damit LiteLLM keinen echten OpenAI-Schlüssel an BroadNet sendet.

## Verwandte Anleitungen

-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [LangChain mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/langchain-openai-base-url/)
-   [Alle Tools, die mit BroadNet Inference funktionieren (auf Englisch)](https://broadrouter.com/integrations/): SDKs, Coding-Agenten, Chat-Oberflächen und Automatisierungstools, jeweils mit den genauen Einstellungen

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Quellen**

-   [LiteLLM-Dokumentation, OpenAI-kompatible Endpoints (geprüft am 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM-Dokumentation, config.yaml des Proxys (geprüft am 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [API-Referenz von BroadNet Inference (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-litellm-proxy-custom-provider&utm_content=sources)
