BroadRouter
Loslegen

Server-Sent Events (SSE)

Aktualisiert

Server-Sent Events (SSE) sind ein Webstandard, mit dem ein Server einem Client über eine einzige, lang offene HTTP-Antwort mit dem Content-Type text/event-stream einen Strom von Text-Events schickt. Jedes Event besteht aus einer oder mehreren Feldzeilen, etwa data:, und endet mit einer Leerzeile.

Auch genannt: SSE, Server-Sent Events, Server Sent Events, Event-Stream, text/event-stream, event stream, EventSource, server-sent events

SSE ist die Klartext-Rahmung unter fast jeder gestreamten LLM-Antwort. Wer das Format kennt, kommt weiter, wenn kein SDK verfügbar ist oder ein Stream sich seltsam verhält.

So funktioniert es

Der WHATWG HTML Standard definiert das Format. Die Antwort hat den MIME-Typ text/event-stream und ist immer UTF-8. Der Body besteht aus Zeilen der Form field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Die Parsing-Regeln, auf die es ankommt:

  • Eine Leerzeile löst das Event aus. Bis sie kommt, puffert der Client.
  • Mehrere data:-Zeilen werden mit Zeilenumbrüchen zu einer Nachricht verbunden.
  • Eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar. Server senden solche Zeilen, um untätige Verbindungen offen zu halten.
  • Ein Leerzeichen nach dem Doppelpunkt wird entfernt. Zeilen dürfen auf CRLF, LF oder CR enden.
  • event, id und retry setzen den Event-Typ, die letzte Event-ID und die Wartezeit bis zum Reconnect in Millisekunden.

Netzwerk-Reads decken sich nicht mit Events. Ein Read kann ein halbes Event enthalten oder drei, ein Parser muss also Bytes puffern und an Leerzeilen trennen, nicht an Reads.

Reconnect, Proxys und [DONE]

Der Standard baut eine Wiederherstellung für Browser ein: Nach einem Abbruch verbindet sich EventSource neu und sendet einen Last-Event-ID-Header, und ein Server kann weitere Versuche mit HTTP 204 beenden. Die Spezifikation warnt außerdem, dass „legacy proxy servers“ (Übersetzung: „veraltete Proxy-Server“) HTTP-Verbindungen nach kurzem Timeout trennen können, und schlägt eine Kommentarzeile „every 15 seconds or so“ (Übersetzung: „etwa alle 15 Sekunden“) vor.

LLM-APIs nutzen davon weniger. Der Chat-Completions-Stream von OpenAI sendet nur data:-Zeilen und endet mit data: [DONE], einer Konvention der API, nicht von SSE. Es gibt keine Event-ID zum Fortsetzen, ein abgebrochener Stream lässt sich also nicht weiterführen; ein Retry ist eine neue Anfrage. Das Gesamtbild von Streaming und der Vorteil bei der Time to First Token stehen auf jener Seite.

Bei BroadNet Inference

Laut BroadNet-Dokumentation setzen Sie stream=true und „read Server-Sent Events until the literal data: [DONE] marker“ (Übersetzung: „lesen Server-Sent Events bis zur wörtlichen Markierung data: [DONE]“). Endet die Verbindung vorher, behandeln Sie die Antwort als unvollständig, notieren Sie den Header X-Request-ID und entscheiden Sie, ob eine neue Inferenz-Anfrage sicher ist. Mit stream_options: {"include_usage": true} kommt die Usage im letzten Chunk. Das curl-Beispiel der Dokumentation nutzt -N, damit curl nicht puffert. Ein Stream belegt außerdem einen Concurrency-Slot, bis er endet: 4 bei einem Pay-as-you-go-Schlüssel, einen bei einem Stundenschlüssel. Die Dokumentation bittet Sie, Streaming vor dem Produktiveinsatz für jedes Modell zu prüfen. Code für jedes SDK finden Sie in der Streaming-Anleitung, und den Inhalt der Chunks erklärt LLM-Streaming erklärt.

Häufige Fragen

Kann ich die EventSource-API des Browsers mit einer LLM-API nutzen?

Meist nicht direkt. Der EventSource-Konstruktor der Spezifikation nimmt nur eine URL und ein withCredentials-Flag entgegen, kann also weder einen POST-Body noch einen Authorization-Header senden. Verwenden Sie fetch und parsen Sie den Stream selbst, oder nutzen Sie ein SDK.

Was bedeutet „data: [DONE]“?

Es gehört nicht zum SSE-Standard. APIs im OpenAI-Stil senden die wörtliche Zeile „data: [DONE]“ als letztes Event, um zu melden, dass die Antwort vollständig ist.

Warum kommt mein Stream auf einmal an?

Irgendetwas zwischen dem Server und Ihrem Code puffert die Antwort, etwa ein Reverse Proxy, ein Framework oder curl ohne -N. Schalten Sie die Pufferung für diese Route ab.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen