Mit Streaming zeigt ein Agent oder eine Chat-Oberfläche die Antwort schon während der Generierung an. BroadNet Inference verwendet das übliche Streaming-Format von Chat Completions, daher übernehmen das OpenAI Python SDK und das OpenAI Node SDK das Parsen für Sie.
Mit curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N schaltet die Pufferung von curl ab, und -D speichert die Header, einschließlich X-Request-ID.
Wie sieht der Stream aus?
Die Antwort ist ein Stream aus Server-Sent Events. Nach dem WHATWG HTML Standard besteht jedes Event aus einer oder mehreren data:-Zeilen, gefolgt von einer Leerzeile; eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar, den Sie ignorieren können. Jede data:-Zeile enthält einen JSON-Chunk, und der Text kommt in choices[0].delta.content an.
Die Regeln
- Lesen Sie Events bis zur wörtlichen Zeile
data: [DONE]und schließen Sie dann den Reader. - Mit
stream_options: {"include_usage": true}kommt kurz vor[DONE]ein zusätzlicher Chunk. Er trägtusagefür die gesamte Anfrage und eine leerechoices-Liste. Prüfen Siechoicesalso, bevor Sie darauf zugreifen. - Sofern das Modell sie meldet, enthält diese Nutzung
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach) undprompt_tokens_details.cached_tokens. Gecachte Tokens werden zum niedrigeren Preis für gecachten Input berechnet.
Mit dem Python SDK
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
Das SDK liest für Sie bis [DONE]. Gibt das letzte print den Wert None aus, endete der Stream vor dem Usage-Chunk. Die Anleitung zum OpenAI Node SDK zeigt dieselbe Schleife in JavaScript.
Wenn der Stream zu früh endet
Schließt sich die Verbindung vor [DONE], ist die Antwort unvollständig. Die Empfehlung von BroadNet:
- Halten Sie die
X-Request-IDfest. - Entscheiden Sie, ob Ihre Anwendung gefahrlos eine neue Anfrage stellen kann. Ein Retry ist eine neue Inferenz und wird bei Pay-as-you-go erneut berechnet.
Für Agenten mit einem unbegrenzten Plan kosten Retries nichts extra, belegen die Session aber, solange sie laufen.
Laut der Dokumentation von BroadNet ist weiterhin eine Freigabeprüfung pro Modell nötig, bevor Sie sich in Produktion auf Streaming verlassen. Testen Sie es also mit dem Modell, das Sie tatsächlich einsetzen.
Fehlerbehebung
- Alles erscheint erst am Ende. curl braucht
-N. Hinter einem eigenen Proxy schalten Sie die Antwortpufferung fürtext/event-streamab. IndexErroroderundefinedbeim letzten Chunk. Der Usage-Chunk hat eine leerechoices-Liste. Prüfen Siechunk.choices, bevor Sie[0]lesen.- Überhaupt keine Nutzungsdaten. Sie haben
stream_optionsnicht gesendet, oder der Stream brach vor dem letzten Chunk ab. - Stream endet mit
finish_reasonlengthund wenig Text. Ein Reasoning-Modell hatmax_tokensfür das Reasoning verbraucht. Siehe warum Reasoning-Modelle leere Antworten liefern. - 429 beim parallelen Streaming. Jeder offene Stream zählt als laufende Anfrage; ein Pay-as-you-go-Schlüssel erlaubt 4. Siehe Fehlercodes und Retries bei BroadNet.
