Sie brauchen ein Konto bei BroadNet Inference und einen Inferenz-Schlüssel. Neue Konten starten mit $5 Guthaben, ohne Karte; legen Sie eines auf inference.broadnet.ai an. Die Konsole zeigt einen Schlüssel nur einmal an und speichert nur seinen Hash. Kopieren Sie ihn deshalb direkt in Ihre Umgebung.
1. Installieren und Schlüssel setzen
Das aktuelle Paket openai (3.x) erfordert Python 3.10 oder neuer.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Erste Anfrage senden
Speichern Sie dies als first_request.py:
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
Starten Sie es mit python first_request.py. Das Beispiel verwendet broadnet/gemma-4-26b-a4b, weil dieses Modell mit dem kostenlosen Guthaben läuft. Die anderen Chatmodelle stehen nach einer Aufladung zur Verfügung.
3. Zum gewünschten Modell wechseln
Ändern Sie nur model:
| Sie möchten | Modell-ID |
|---|---|
| Unbegrenzt mit einem Flatrate-Plan, 1M Kontext | broadnet/deepseek-v4.1-flash |
| Tools und strukturierte Ausgabe, 1M Kontext | broadnet/glm-5.3 |
| Arabische Texte und Bilder | broadnet/qwen3.8-27b |
| Niedriger Preis, läuft mit dem kostenlosen Guthaben | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach (Reasoning), und dieses Reasoning zählt zu max_tokens. Geben Sie ihnen 1.000 Tokens oder mehr. Hier steht, warum ein kleines Limit eine leere Antwort liefert.
4. Die Antwort streamen
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Mit include_usage kommen die Token-Zahlen im letzten Chunk, der keine choices enthält. Die Streaming-Anleitung behandelt abgebrochene Verbindungen.
5. Die Request-ID aufbewahren
Jede Antwort enthält einen Header X-Request-ID. Loggen Sie ihn, denn der Support von BroadNet fragt danach. Geparste Antworten stellen ihn als response._request_id bereit. So lesen Sie ihn zusammen mit anderen Headern:
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
Pay-as-you-go-Schlüssel erlauben 30 Anfragen pro Minute und 4 gleichzeitig laufende. Was jeder Fehlercode bedeutet und wann ein Retry sinnvoll ist.
Fehlerbehebung
AuthenticationError(401). Der Schlüssel ist falsch, abgelaufen oder das Pay-as-you-go-Kontingent ist aufgebraucht. Prüfen Sie, obBROADNET_API_KEYin dem Prozess gesetzt ist, der Ihren Code ausführt.NotFoundError(404). Prüfen Sie, obbase_urlauf/v1endet und ob Siechat.completionsaufrufen, nichtresponses. Prüfen Sie danach die Modell-ID mit dem Präfixbroadnet/.- Kostenpflichtiges Modell schlägt bei einem neuen Konto fehl. Das Startguthaben von $5 deckt BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) und die beiden Modelle von BroadNet Transcribe ab. Laden Sie auf, um die anderen Chatmodelle zu nutzen: DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B. - Leeres
content. Reasoning zählt zumax_tokens. Erhöhen Sie den Wert auf 1.000 oder mehr. Warum Antworten leer zurückkommen. RateLimitError(429). Sie haben das Limit pro Minute oder für gleichzeitige Anfragen überschritten. Das SDK versucht es standardmäßig zweimal erneut; mitmax_retriesam Client ändern Sie das.- Fehler mit eigenem HTTP-Client nach einem Upgrade. Das SDK 3.x verwendet HTTPX2. Wenn Sie einen eigenen
http_clientübergeben, folgen Sie der Migrationsanleitung des SDK für HTTPX2.
