Das API-Format von OpenAI ist zur gemeinsamen Sprache der LLM-Werkzeuge geworden. Viele Anbieter akzeptieren es inzwischen, sodass eine Client-Bibliothek mit vielen Backends sprechen kann.
So funktioniert es
Eine kompatible API übernimmt die Teile der OpenAI API, auf die Clients angewiesen sind:
- dieselben Pfade, etwa
/v1/chat/completionsund/v1/audio/transcriptions; - dieselben JSON-Strukturen: ein
messages-Array hinein,choices[0].message.contentheraus und einusage-Block mit Token-Zahlen; - einen API-Schlüssel, gesendet als
Authorization: Bearer <key>; - Streaming als Server-Sent Events, wenn
streamauf true steht.
Der Wechsel ist eine Konfigurationsänderung. Mit dem offiziellen Python SDK:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
Gegenüber einem OpenAI-Beispiel haben sich nur drei Werte geändert: die Basis-URL, der Schlüssel und die Modell-ID.
Warum es wichtig ist
Kompatibilität senkt die Wechselkosten. SDKs, Agenten-Frameworks, IDE-Plugins und Router, die das OpenAI-Format sprechen, funktionieren ohne neuen Code. Sie können einen zweiten Anbieter in wenigen Minuten testen und behalten die Option zu wechseln.
Kompatibel heißt aber nicht identisch. Die Kompatibilitätsschicht von Anthropic ignoriert zum Beispiel strict bei Tools und lässt prompt_tokens_details leer. Typische Lücken sind:
- Parameter, die ignoriert oder abgelehnt werden;
- wie Reasoning-Tokens auf
max_tokensangerechnet werden; - ob die Nutzung am Ende eines Streams gemeldet wird;
- Rate Limits und Fehlercodes.
Bei BroadNet Inference
BroadNet Inference bietet POST /v1/chat/completions, POST /v1/audio/transcriptions und GET /v1/models unter https://inference.broadnet.ai/v1. Schlüssel werden ausschließlich als Authorization: Bearer <key> gesendet. Die Anleitungen für Python und Node zeigen die vollständige Einrichtung, und LangChain funktioniert genauso.
Zwei Unterschiede sollten Sie einplanen: DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und dieses Reasoning zählt zu max_tokens. Außerdem erlaubt ein Pay-as-you-go-Schlüssel 30 Anfragen pro Minute und 4 gleichzeitig. Den Rest deckt die Checkliste für die Migration ab.
Häufige Fehler
- Einen OpenAI-Modellnamen wie
gpt-6-astra(laut Modellseite von OpenAI dessen Flaggschiff, geprüft am 2026-11-15) beibehalten. Verwenden Sie die Modell-ID des Anbieters. - Annehmen, ein Parameter funktioniere, nur weil die Anfrage erfolgreich war. Manche Anbieter ignorieren unbekannte Felder stillschweigend.