BroadRouter
Loslegen

OpenAI Python SDK mit BroadNet Inference nutzen

Aktualisiert

Installieren Sie das Paket openai und erstellen Sie den Client mit base_url = https://inference.broadnet.ai/v1 und Ihrem BroadNet-Schlüssel als api_key. Jeder chat.completions-Aufruf funktioniert unverändert; nur die Modell-ID ändert sich, etwa broadnet/deepseek-v4.1-flash. BroadNet bietet Chat Completions und Transkriptionen, nicht die Responses API.

Sie brauchen ein Konto bei BroadNet Inference und einen Inferenz-Schlüssel. Neue Konten starten mit $5 Guthaben, ohne Karte; legen Sie eines auf inference.broadnet.ai an. Die Konsole zeigt einen Schlüssel nur einmal an und speichert nur seinen Hash. Kopieren Sie ihn deshalb direkt in Ihre Umgebung.

1. Installieren und Schlüssel setzen

Das aktuelle Paket openai (3.x) erfordert Python 3.10 oder neuer.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Erste Anfrage senden

Speichern Sie dies als first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Starten Sie es mit python first_request.py. Das Beispiel verwendet broadnet/gemma-4-26b-a4b, weil dieses Modell mit dem kostenlosen Guthaben läuft. Die anderen Chatmodelle stehen nach einer Aufladung zur Verfügung.

3. Zum gewünschten Modell wechseln

Ändern Sie nur model:

Sie möchten Modell-ID
Unbegrenzt mit einem Flatrate-Plan, 1M Kontext broadnet/deepseek-v4.1-flash
Tools und strukturierte Ausgabe, 1M Kontext broadnet/glm-5.3
Arabische Texte und Bilder broadnet/qwen3.8-27b
Niedriger Preis, läuft mit dem kostenlosen Guthaben broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach (Reasoning), und dieses Reasoning zählt zu max_tokens. Geben Sie ihnen 1.000 Tokens oder mehr. Hier steht, warum ein kleines Limit eine leere Antwort liefert.

4. Die Antwort streamen

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Mit include_usage kommen die Token-Zahlen im letzten Chunk, der keine choices enthält. Die Streaming-Anleitung behandelt abgebrochene Verbindungen.

5. Die Request-ID aufbewahren

Jede Antwort enthält einen Header X-Request-ID. Loggen Sie ihn, denn der Support von BroadNet fragt danach. Geparste Antworten stellen ihn als response._request_id bereit. So lesen Sie ihn zusammen mit anderen Headern:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Pay-as-you-go-Schlüssel erlauben 30 Anfragen pro Minute und 4 gleichzeitig laufende. Was jeder Fehlercode bedeutet und wann ein Retry sinnvoll ist.

Fehlerbehebung

  • AuthenticationError (401). Der Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Prüfen Sie, ob BROADNET_API_KEY in dem Prozess gesetzt ist, der Ihren Code ausführt.
  • NotFoundError (404). Prüfen Sie, ob base_url auf /v1 endet und ob Sie chat.completions aufrufen, nicht responses. Prüfen Sie danach die Modell-ID mit dem Präfix broadnet/.
  • Kostenpflichtiges Modell schlägt bei einem neuen Konto fehl. Das Startguthaben von $5 deckt BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) und die beiden Modelle von BroadNet Transcribe ab. Laden Sie auf, um die anderen Chatmodelle zu nutzen: DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B.
  • Leeres content. Reasoning zählt zu max_tokens. Erhöhen Sie den Wert auf 1.000 oder mehr. Warum Antworten leer zurückkommen.
  • RateLimitError (429). Sie haben das Limit pro Minute oder für gleichzeitige Anfragen überschritten. Das SDK versucht es standardmäßig zweimal erneut; mit max_retries am Client ändern Sie das.
  • Fehler mit eigenem HTTP-Client nach einem Upgrade. Das SDK 3.x verwendet HTTPX2. Wenn Sie einen eigenen http_client übergeben, folgen Sie der Migrationsanleitung des SDK für HTTPX2.

Häufige Fragen

Brauche ich ein anderes SDK?

Nein. BroadNet Inference spricht die Formate von OpenAI für Chat Completions und Audio-Transkription, daher funktioniert das offizielle Paket openai mit einer anderen base_url.

Kann ich weiterhin OPENAI_API_KEY verwenden?

Das geht. Eine eigene Variable BROADNET_API_KEY verhindert aber, dass Sie versehentlich den Schlüssel eines Anbieters an einen anderen senden.

Liest das SDK OPENAI_BASE_URL aus?

Ja. Wenn Sie keine base_url übergeben, nutzt der Client OPENAI_BASE_URL. Setzen Sie diese auf https://inference.broadnet.ai/v1 und OPENAI_API_KEY auf Ihren BroadNet-Schlüssel, dann braucht OpenAI() keine Argumente.

Kann ich client.responses.create mit BroadNet verwenden?

Nein. Die README des SDK stellt die Responses API in den Vordergrund, die Dokumentation von BroadNet nennt aber nur Chat Completions und Audio-Transkription. Verwenden Sie client.chat.completions.create.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen