BroadRouter
Loslegen

Streaming

Aktualisiert

Streaming ist eine Art, die Antwort eines Sprachmodells in kleinen Chunks zurückzugeben, während sie noch erzeugt wird, statt als eine Antwort am Ende. OpenAI-kompatible APIs streamen über Server-Sent Events, wenn die Anfrage stream auf true setzt.

Auch genannt: Streaming, LLM-Streaming, Antworten streamen, Token-Streaming, stream=true, streaming responses, token streaming

Ohne Streaming wartet der Client, bis die ganze Antwort fertig ist. Mit Streaming erscheint der Text, während das Modell ihn schreibt.

So funktioniert es

Streaming nutzt Server-Sent Events (SSE). Der Server antwortet mit dem Content-Type text/event-stream und hält die Verbindung offen. MDN beschreibt das Format: Zeilen der Form field: value, wobei Nachrichten „separated by a pair of newline characters“ sind (Übersetzung: „durch ein Paar von Zeilenumbrüchen getrennt“).

Im Format von Chat Completions trägt jedes Event einen Chunk mit einem kleinen delta:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Der Client fügt die Deltas zusammen. Die wörtliche Zeile data: [DONE] markiert das Ende. Der Usage-Chunk erscheint nur, wenn die Anfrage ihn mit stream_options: {"include_usage": true} angefordert hat.

Warum es wichtig ist

  • Gefühlte Geschwindigkeit. Nutzer sehen die ersten Wörter nach der Time to First Token, nicht erst nach der ganzen Antwort. Danach fließt der Text mit den Tokens pro Sekunde des Modells.
  • Lange Outputs. Streaming hält die Verbindung aktiv; das hilft bei Proxys, die untätige Anfragen schließen.
  • Frühes Handeln. Agenten und Oberflächen können vor dem Ende mit Parsen oder Rendern beginnen.

Es gibt Nachteile. OpenAI merkt an, dass Streaming die Moderation erschwert, weil „partial completions may be more difficult to evaluate“ (Übersetzung: „Teilantworten schwerer zu bewerten sein können“). Ein Stream kann außerdem mittendrin abbrechen, und eine gestreamte Antwort belegt einen Concurrency-Slot, bis sie endet.

Bei BroadNet Inference

BroadNet nutzt auf https://inference.broadnet.ai/v1/chat/completions das Standardformat für Streaming von Chat Completions; das Python SDK und das Node SDK parsen es also für Sie. Mit curl schalten Sie mit -N die Pufferung ab:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Reasoning-Modelle können reasoning_tokens und cached_tokens im letzten Usage-Chunk melden. Schließt sich die Verbindung vor [DONE], behandeln Sie die Antwort als unvollständig, notieren Sie den Header X-Request-ID und entscheiden Sie, ob eine neue Anfrage sicher ist. Laut BroadNet-Dokumentation sollten Sie Streaming mit dem Modell prüfen, das Sie ausliefern, bevor Sie sich in der Produktion darauf verlassen. Details finden Sie in der Streaming-Anleitung und unter Fehlercodes und Retries.

Häufige Fehler

  • Eine geschlossene Verbindung als fertige Antwort werten. Nur [DONE] bedeutet vollständig.
  • Einen puffernden Proxy vor den Client schalten. Die Antwort kommt dann auf einmal an.

Häufige Fragen

Macht Streaming das Modell schneller?

Nein. Die Generierungsgeschwindigkeit bleibt gleich. Streaming zeigt die ersten Wörter früher, sodass sich die Antwort schneller anfühlt, und erlaubt Code, auf Teil-Output zu reagieren.

Wie erhalte ich die Token-Usage in einem Stream?

Senden Sie im Format von Chat Completions stream_options mit include_usage auf true. Der letzte Chunk enthält dann die Usage und eine leere choices-Liste.

Wird ein wiederholter Stream doppelt abgerechnet?

Bei einem Schlüssel mit Abrechnung pro Token meist ja. Ein Retry ist eine neue Inferenz und wird erneut berechnet. Bei einem Flatrate-Plan ohne Token-Zähler kostet er nur Zeit.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen