---
title: "LLM-Antworten per SSE streamen: Usage und Retries | BroadRouter"
description: "So funktioniert Streaming bei BroadNet Inference: Server-Sent Events, der Marker [DONE], Token-Nutzung im letzten Chunk und was tun, wenn ein Stream zu früh endet."
url: https://broadrouter.com/de/guides/streaming-chat-completions/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/streaming-chat-completions/) (aktualisiert am 2026-11-15).

# Chat Completions streamen und abgebrochene Verbindungen behandeln

Aktualisiert 2026-11-15

Setzen Sie stream auf true bei /v1/chat/completions und lesen Sie die Server-Sent Events bis zum wörtlichen Marker data: \[DONE\]. Mit stream\_options include\_usage erhalten Sie die Token-Zahlen im letzten Chunk. Endet die Verbindung vor \[DONE\], behandeln Sie die Antwort als unvollständig und loggen Sie die X-Request-ID.

Mit Streaming zeigt ein Agent oder eine Chat-Oberfläche die Antwort schon während der Generierung an. BroadNet Inference verwendet das übliche Streaming-Format von Chat Completions, daher übernehmen das [OpenAI Python SDK](https://broadrouter.com/de/guides/openai-python-sdk/) und das [OpenAI Node SDK](https://broadrouter.com/de/guides/openai-node-sdk/) das Parsen für Sie.

## Mit curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` schaltet die Pufferung von curl ab, und `-D` speichert die Header, einschließlich `X-Request-ID`.

## Wie sieht der Stream aus?

Die Antwort ist ein Stream aus [Server-Sent Events](https://broadrouter.com/de/glossary/sse/). Nach dem WHATWG HTML Standard besteht jedes Event aus einer oder mehreren `data:`\-Zeilen, gefolgt von einer Leerzeile; eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar, den Sie ignorieren können. Jede `data:`\-Zeile enthält einen JSON-Chunk, und der Text kommt in `choices[0].delta.content` an.

## Die Regeln

1.  Lesen Sie Events bis zur wörtlichen Zeile `data: [DONE]` und schließen Sie dann den Reader.
2.  Mit `stream_options: {"include_usage": true}` kommt kurz vor `[DONE]` ein zusätzlicher Chunk. Er trägt `usage` für die gesamte Anfrage und eine leere `choices`\-Liste. Prüfen Sie `choices` also, bevor Sie darauf zugreifen.
3.  Sofern das Modell sie meldet, enthält diese Nutzung `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach) und `prompt_tokens_details.cached_tokens`. Gecachte Tokens werden zum niedrigeren Preis für gecachten Input berechnet.

## Mit dem Python SDK

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

Das SDK liest für Sie bis `[DONE]`. Gibt das letzte `print` den Wert `None` aus, endete der Stream vor dem Usage-Chunk. Die [Anleitung zum OpenAI Node SDK](https://broadrouter.com/de/guides/openai-node-sdk/) zeigt dieselbe Schleife in JavaScript.

## Wenn der Stream zu früh endet

Schließt sich die Verbindung vor `[DONE]`, ist die Antwort unvollständig. Die Empfehlung von BroadNet:

-   Halten Sie die `X-Request-ID` fest.
-   Entscheiden Sie, ob Ihre Anwendung gefahrlos eine **neue** Anfrage stellen kann. Ein Retry ist eine neue Inferenz und wird bei Pay-as-you-go erneut berechnet.

Für Agenten mit einem [unbegrenzten Plan](https://broadrouter.com/de/guides/unlimited-llm-api-sessions/) kosten Retries nichts extra, belegen die Session aber, solange sie laufen.

Laut der Dokumentation von BroadNet ist weiterhin eine Freigabeprüfung pro Modell nötig, bevor Sie sich in Produktion auf Streaming verlassen. Testen Sie es also mit dem Modell, das Sie tatsächlich einsetzen.

## Fehlerbehebung

-   **Alles erscheint erst am Ende.** curl braucht `-N`. Hinter einem eigenen Proxy schalten Sie die Antwortpufferung für `text/event-stream` ab.
-   **`IndexError` oder `undefined` beim letzten Chunk.** Der Usage-Chunk hat eine leere `choices`\-Liste. Prüfen Sie `chunk.choices`, bevor Sie `[0]` lesen.
-   **Überhaupt keine Nutzungsdaten.** Sie haben `stream_options` nicht gesendet, oder der Stream brach vor dem letzten Chunk ab.
-   **Stream endet mit `finish_reason` `length` und wenig Text.** Ein Reasoning-Modell hat `max_tokens` für das Reasoning verbraucht. Siehe [warum Reasoning-Modelle leere Antworten liefern](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **429 beim parallelen Streaming.** Jeder offene Stream zählt als laufende Anfrage; ein Pay-as-you-go-Schlüssel erlaubt 4. Siehe [Fehlercodes und Retries bei BroadNet](https://broadrouter.com/de/guides/errors-and-retries/).

## Begriffe in dieser Anleitung

[Server-Sent Events (SSE)](https://broadrouter.com/de/glossary/sse/)

Server-Sent Events (SSE) sind ein Webstandard, mit dem ein Server einem Client über eine einzige, lang offene HTTP-Antwort mit dem Content-Type text/event-stream einen Strom von Text-Events schickt. Jedes Event besteht aus einer oder mehreren Feldzeilen, etwa data:, und endet mit einer Leerzeile.

[Streaming](https://broadrouter.com/de/glossary/streaming/)

Streaming ist eine Art, die Antwort eines Sprachmodells in kleinen Chunks zurückzugeben, während sie noch erzeugt wird, statt als eine Antwort am Ende. OpenAI-kompatible APIs streamen über Server-Sent Events, wenn die Anfrage stream auf true setzt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Gecachte Input-Tokens (Cached Input Tokens)](https://broadrouter.com/de/glossary/cached-input-tokens/)

Gecachte Input-Tokens sind Prompt-Tokens, die ein LLM-Anbieter kürzlich verarbeitet hat und aus einem Cache wiederverwenden kann, statt sie neu zu berechnen, meist ein wiederholtes Präfix wie ein System-Prompt oder ein Dokument. Anbieter berechnen sie günstiger als neue Input-Tokens.

## Häufige Fragen

### Wie bekomme ich die Token-Nutzung beim Streaming von Chat Completions?

Senden Sie stream\_options mit include\_usage auf true. Kurz vor data: \[DONE\] kommt dann ein zusätzlicher Chunk mit ausgefülltem usage und leerem choices-Array. Bricht der Stream vorher ab, kommt dieser Chunk nie an.

### Warum gibt curl die gestreamte Antwort auf einmal aus?

curl puffert seine Ausgabe standardmäßig. Mit dem Flag -N (keine Pufferung) wird jedes Server-Sent Event ausgegeben, sobald es ankommt.

### Wird ein wiederholter Stream doppelt berechnet?

Bei Pay-as-you-go ja. Ein Retry ist eine neue Inferenz-Anfrage. Bei einem unbegrenzten Plan für DeepSeek V4.1 Flash gibt es keinen Token-Zähler, aber der Retry belegt die Session, solange er läuft.

### Kostet Streaming mehr als eine normale Anfrage?

Nein. Streaming ändert, wie die Antwort ausgeliefert wird, nicht, wie sie abgerechnet wird. Bei Pay-as-you-go zahlen Sie dieselben Preise pro Input- und Output-Token wie bei einer Anfrage ohne Streaming.

## Verwandte Anleitungen

-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-streaming-chat-completions&utm_content=page-cta) ·

**Quellen**

-   [API-Referenz von BroadNet Inference, Streaming (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, Server-Sent Events (geprüft am 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, Docstring zu stream\_options include\_usage (geprüft am 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
