---
title: "Was ist Streaming bei LLM-APIs? Server-Sent Events | BroadRouter"
description: "Streaming liefert die Antwort eines LLM in Chunks, während sie entsteht. Wie SSE und [DONE] funktionieren, wie Sie die Usage erhalten und was bei Abbrüchen hilft."
url: https://broadrouter.com/de/glossary/streaming/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/streaming/) (aktualisiert am 2026-11-14).

# Streaming

Aktualisiert 2026-11-14

Streaming ist eine Art, die Antwort eines Sprachmodells in kleinen Chunks zurückzugeben, während sie noch erzeugt wird, statt als eine Antwort am Ende. OpenAI-kompatible APIs streamen über Server-Sent Events, wenn die Anfrage stream auf true setzt.

Auch genannt: Streaming, LLM-Streaming, Antworten streamen, Token-Streaming, stream=true, streaming responses, token streaming

Ohne Streaming wartet der Client, bis die ganze Antwort fertig ist. Mit Streaming erscheint der Text, während das Modell ihn schreibt.

## So funktioniert es

Streaming nutzt [Server-Sent Events (SSE)](https://broadrouter.com/de/glossary/sse/). Der Server antwortet mit dem Content-Type `text/event-stream` und hält die Verbindung offen. MDN beschreibt das Format: Zeilen der Form `field: value`, wobei Nachrichten „separated by a pair of newline characters“ sind (Übersetzung: „durch ein Paar von Zeilenumbrüchen getrennt“).

Im Format von Chat Completions trägt jedes Event einen Chunk mit einem kleinen `delta`:

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

Der Client fügt die Deltas zusammen. Die wörtliche Zeile `data: [DONE]` markiert das Ende. Der Usage-Chunk erscheint nur, wenn die Anfrage ihn mit `stream_options: {"include_usage": true}` angefordert hat.

## Warum es wichtig ist

-   **Gefühlte Geschwindigkeit.** Nutzer sehen die ersten Wörter nach der [Time to First Token](https://broadrouter.com/de/glossary/time-to-first-token/), nicht erst nach der ganzen Antwort. Danach fließt der Text mit den [Tokens pro Sekunde](https://broadrouter.com/de/glossary/tokens-per-second/) des Modells.
-   **Lange Outputs.** Streaming hält die Verbindung aktiv; das hilft bei Proxys, die untätige Anfragen schließen.
-   **Frühes Handeln.** Agenten und Oberflächen können vor dem Ende mit Parsen oder Rendern beginnen.

Es gibt Nachteile. OpenAI merkt an, dass Streaming die Moderation erschwert, weil „partial completions may be more difficult to evaluate“ (Übersetzung: „Teilantworten schwerer zu bewerten sein können“). Ein Stream kann außerdem mittendrin abbrechen, und eine gestreamte Antwort belegt einen [Concurrency](https://broadrouter.com/de/glossary/concurrency/)\-Slot, bis sie endet.

## Bei BroadNet Inference

BroadNet nutzt auf `https://inference.broadnet.ai/v1/chat/completions` das Standardformat für Streaming von Chat Completions; das [Python SDK](https://broadrouter.com/de/guides/openai-python-sdk/) und das [Node SDK](https://broadrouter.com/de/guides/openai-node-sdk/) parsen es also für Sie. Mit curl schalten Sie mit `-N` die Pufferung ab:

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

Reasoning-Modelle können `reasoning_tokens` und `cached_tokens` im letzten Usage-Chunk melden. Schließt sich die Verbindung vor `[DONE]`, behandeln Sie die Antwort als unvollständig, notieren Sie den Header `X-Request-ID` und entscheiden Sie, ob eine neue Anfrage sicher ist. Laut BroadNet-Dokumentation sollten Sie Streaming mit dem Modell prüfen, das Sie ausliefern, bevor Sie sich in der Produktion darauf verlassen. Details finden Sie in der [Streaming-Anleitung](https://broadrouter.com/de/guides/streaming-chat-completions/) und unter [Fehlercodes und Retries](https://broadrouter.com/de/guides/errors-and-retries/).

## Häufige Fehler

-   Eine geschlossene Verbindung als fertige Antwort werten. Nur `[DONE]` bedeutet vollständig.
-   Einen puffernden Proxy vor den Client schalten. Die Antwort kommt dann auf einmal an.

## Häufige Fragen

### Macht Streaming das Modell schneller?

Nein. Die Generierungsgeschwindigkeit bleibt gleich. Streaming zeigt die ersten Wörter früher, sodass sich die Antwort schneller anfühlt, und erlaubt Code, auf Teil-Output zu reagieren.

### Wie erhalte ich die Token-Usage in einem Stream?

Senden Sie im Format von Chat Completions stream\_options mit include\_usage auf true. Der letzte Chunk enthält dann die Usage und eine leere choices-Liste.

### Wird ein wiederholter Stream doppelt abgerechnet?

Bei einem Schlüssel mit Abrechnung pro Token meist ja. Ein Retry ist eine neue Inferenz und wird erneut berechnet. Bei einem Flatrate-Plan ohne Token-Zähler kostet er nur Zeit.

## Siehe auch

-   [Tokens pro Sekunde (TPS)](https://broadrouter.com/de/glossary/tokens-per-second/) (Begriff)
-   [Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/) (Begriff)
-   [OpenAI-kompatible API](https://broadrouter.com/de/glossary/openai-compatible-api/) (Begriff)
-   [Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/) (Begriff)
-   [Server-Sent Events (SSE)](https://broadrouter.com/de/glossary/sse/) (Begriff)
-   [Time to First Token (TTFT)](https://broadrouter.com/de/glossary/time-to-first-token/) (Begriff)
-   [Chat Completions streamen und abgebrochene Verbindungen behandeln](https://broadrouter.com/de/guides/streaming-chat-completions/) (Anleitung)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [OpenAI Node.js SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-node-sdk/) (Anleitung)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/) (Anleitung)
-   [Wechsel zu einer OpenAI-kompatiblen API: die Migrations-Checkliste](https://broadrouter.com/de/blog/openai-compatible-api-migration-checklist/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-streaming&utm_content=page-cta) ·

**Quellen**

-   [MDN, Server-Sent Events verwenden](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, API-Antworten streamen](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [API-Referenz von BroadNet Inference, Streaming (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-streaming&utm_content=sources#requests)
