Der meiste LLM-Code da draußen spricht einen Dialekt: eine Liste von Nachrichten hinein, eine Nachricht heraus. Dieser Dialekt ist die Chat Completions API.
So funktioniert es
Sie senden per POST JSON an /v1/chat/completions, mit einem model und einem messages-Array. Jede Nachricht hat eine role (system, user, assistant oder tool) und content. Die Antwort enthält ein choices-Array; jede Choice trägt eine message und einen finish_reason, der sagt, warum die Generierung endete, dazu einen usage-Block mit den Token-Zahlen.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Im OpenAI Python SDK lautet derselbe Aufruf client.chat.completions.create(...). Optionale Felder formen den Output: max_tokens, temperature, stream, tools, response_format und weitere.
Die API ist zustandslos. Der Migrationsleitfaden von OpenAI schreibt, dass bei Chat Completions „conversation state must be managed manually“ (Übersetzung: „der Gesprächszustand manuell verwaltet werden muss“): Ihr Code hält den Verlauf und sendet ihn in jeder Runde erneut. Die neuere Responses API von OpenAI nutzt typisierte Items und kann den Zustand auf dem Server halten. OpenAI empfiehlt sie für neue Projekte auf der eigenen Plattform, schreibt aber, dass Chat Completions „remains supported“ (Übersetzung: „weiterhin unterstützt wird“).
Warum es wichtig ist
- Portabilität. Eine OpenAI-kompatible API meint meist diesen Endpoint. Ein Anbieterwechsel bedeutet oft nur eine neue Basis-URL, einen neuen Schlüssel und einen neuen Modellnamen.
- Kosten. Weil der ganze Verlauf erneut gesendet wird, wachsen die Input-Tokens mit jeder Runde. Kürzen oder fassen Sie lange Chats zusammen.
- Abweichende Felder. Nicht alle kompatiblen Anbieter akzeptieren jedes OpenAI-Feld. Unbekannte Felder werden womöglich ignoriert oder abgelehnt; testen Sie also die Felder, auf die Sie angewiesen sind.
Bei BroadNet Inference
BroadNet bietet Chat unter POST /v1/chat/completions auf https://inference.broadnet.ai/v1 an, für DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B und Gemma 4 VL 26B. Streaming nutzt stream=true und endet mit data: [DONE]. Tool Calling und strukturierte Ausgabe sind nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Die API-Referenz von BroadNet dokumentiert keinen Responses-Endpoint; verwenden Sie also Chat Completions. Starten Sie mit dem curl-Schnellstart oder der Anleitung zum Python SDK.
Häufige Fehler
- Nur die letzte Nutzernachricht senden und erwarten, dass sich das Modell an den Chat erinnert.
- Felder, die es nur bei OpenAI gibt, zu einem anderen Anbieter übernehmen, ohne dessen Referenz zu prüfen.