BroadRouter

Chat Completions API

Aktualisiert

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

Auch genannt: Chat Completions, Chat-Completions-Endpoint, Chat-Completions-API, chat completions endpoint, /v1/chat/completions, chat.completions.create

Der meiste LLM-Code da draußen spricht einen Dialekt: eine Liste von Nachrichten hinein, eine Nachricht heraus. Dieser Dialekt ist die Chat Completions API.

So funktioniert es

Sie senden per POST JSON an /v1/chat/completions, mit einem model und einem messages-Array. Jede Nachricht hat eine role (system, user, assistant oder tool) und content. Die Antwort enthält ein choices-Array; jede Choice trägt eine message und einen finish_reason, der sagt, warum die Generierung endete, dazu einen usage-Block mit den Token-Zahlen.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

Im OpenAI Python SDK lautet derselbe Aufruf client.chat.completions.create(...). Optionale Felder formen den Output: max_tokens, temperature, stream, tools, response_format und weitere.

Die API ist zustandslos. Der Migrationsleitfaden von OpenAI schreibt, dass bei Chat Completions „conversation state must be managed manually“ (Übersetzung: „der Gesprächszustand manuell verwaltet werden muss“): Ihr Code hält den Verlauf und sendet ihn in jeder Runde erneut. Die neuere Responses API von OpenAI nutzt typisierte Items und kann den Zustand auf dem Server halten. OpenAI empfiehlt sie für neue Projekte auf der eigenen Plattform, schreibt aber, dass Chat Completions „remains supported“ (Übersetzung: „weiterhin unterstützt wird“).

Warum es wichtig ist

  • Portabilität. Eine OpenAI-kompatible API meint meist diesen Endpoint. Ein Anbieterwechsel bedeutet oft nur eine neue Basis-URL, einen neuen Schlüssel und einen neuen Modellnamen.
  • Kosten. Weil der ganze Verlauf erneut gesendet wird, wachsen die Input-Tokens mit jeder Runde. Kürzen oder fassen Sie lange Chats zusammen.
  • Abweichende Felder. Nicht alle kompatiblen Anbieter akzeptieren jedes OpenAI-Feld. Unbekannte Felder werden womöglich ignoriert oder abgelehnt; testen Sie also die Felder, auf die Sie angewiesen sind.

Bei BroadNet Inference

BroadNet bietet Chat unter POST /v1/chat/completions auf https://inference.broadnet.ai/v1 an, für DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B und Gemma 4 VL 26B. Streaming nutzt stream=true und endet mit data: [DONE]. Tool Calling und strukturierte Ausgabe sind nur für GLM 5.3 und Qwen3.8 27B dokumentiert. Die API-Referenz von BroadNet dokumentiert keinen Responses-Endpoint; verwenden Sie also Chat Completions. Starten Sie mit dem curl-Schnellstart oder der Anleitung zum Python SDK.

Häufige Fehler

  • Nur die letzte Nutzernachricht senden und erwarten, dass sich das Modell an den Chat erinnert.
  • Felder, die es nur bei OpenAI gibt, zu einem anderen Anbieter übernehmen, ohne dessen Referenz zu prüfen.

Häufige Fragen

Ist die Chat Completions API veraltet?

Nein. Der Migrationsleitfaden von OpenAI schreibt „Chat Completions remains supported“ (Übersetzung: „Chat Completions wird weiterhin unterstützt“), empfiehlt für neue Projekte bei OpenAI aber die neuere Responses API.

Merkt sich die Chat Completions API frühere Nachrichten?

Nein. Sie ist zustandslos. Laut Leitfaden von OpenAI „must be managed manually“ (Übersetzung: „muss manuell verwaltet werden“) der Gesprächszustand; Sie senden also bei jeder Anfrage den ganzen Nachrichtenverlauf.

Welchen Endpoint nutzt BroadNet Inference für Chat?

POST /v1/chat/completions unter der Basis-URL https://inference.broadnet.ai/v1. BroadNet dokumentiert keinen Endpoint für die Responses API.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen