SSE ist die Klartext-Rahmung unter fast jeder gestreamten LLM-Antwort. Wer das Format kennt, kommt weiter, wenn kein SDK verfügbar ist oder ein Stream sich seltsam verhält.
So funktioniert es
Der WHATWG HTML Standard definiert das Format. Die Antwort hat den MIME-Typ text/event-stream und ist immer UTF-8. Der Body besteht aus Zeilen der Form field: value:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Die Parsing-Regeln, auf die es ankommt:
- Eine Leerzeile löst das Event aus. Bis sie kommt, puffert der Client.
- Mehrere
data:-Zeilen werden mit Zeilenumbrüchen zu einer Nachricht verbunden. - Eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar. Server senden solche Zeilen, um untätige Verbindungen offen zu halten.
- Ein Leerzeichen nach dem Doppelpunkt wird entfernt. Zeilen dürfen auf CRLF, LF oder CR enden.
event,idundretrysetzen den Event-Typ, die letzte Event-ID und die Wartezeit bis zum Reconnect in Millisekunden.
Netzwerk-Reads decken sich nicht mit Events. Ein Read kann ein halbes Event enthalten oder drei, ein Parser muss also Bytes puffern und an Leerzeilen trennen, nicht an Reads.
Reconnect, Proxys und [DONE]
Der Standard baut eine Wiederherstellung für Browser ein: Nach einem Abbruch verbindet sich EventSource neu und sendet einen Last-Event-ID-Header, und ein Server kann weitere Versuche mit HTTP 204 beenden. Die Spezifikation warnt außerdem, dass „legacy proxy servers“ (Übersetzung: „veraltete Proxy-Server“) HTTP-Verbindungen nach kurzem Timeout trennen können, und schlägt eine Kommentarzeile „every 15 seconds or so“ (Übersetzung: „etwa alle 15 Sekunden“) vor.
LLM-APIs nutzen davon weniger. Der Chat-Completions-Stream von OpenAI sendet nur data:-Zeilen und endet mit data: [DONE], einer Konvention der API, nicht von SSE. Es gibt keine Event-ID zum Fortsetzen, ein abgebrochener Stream lässt sich also nicht weiterführen; ein Retry ist eine neue Anfrage. Das Gesamtbild von Streaming und der Vorteil bei der Time to First Token stehen auf jener Seite.
Bei BroadNet Inference
Laut BroadNet-Dokumentation setzen Sie stream=true und „read Server-Sent Events until the literal data: [DONE] marker“ (Übersetzung: „lesen Server-Sent Events bis zur wörtlichen Markierung data: [DONE]“). Endet die Verbindung vorher, behandeln Sie die Antwort als unvollständig, notieren Sie den Header X-Request-ID und entscheiden Sie, ob eine neue Inferenz-Anfrage sicher ist. Mit stream_options: {"include_usage": true} kommt die Usage im letzten Chunk. Das curl-Beispiel der Dokumentation nutzt -N, damit curl nicht puffert. Ein Stream belegt außerdem einen Concurrency-Slot, bis er endet: 4 bei einem Pay-as-you-go-Schlüssel, einen bei einem Stundenschlüssel. Die Dokumentation bittet Sie, Streaming vor dem Produktiveinsatz für jedes Modell zu prüfen. Code für jedes SDK finden Sie in der Streaming-Anleitung, und den Inhalt der Chunks erklärt LLM-Streaming erklärt.