Le SSE est le format texte brut qui encadre presque toutes les réponses de LLM en streaming. Le connaître aide quand aucun SDK n’est disponible ou qu’un flux se comporte mal.
Comment ça marche
Le WHATWG HTML Standard définit le format. La réponse a le type MIME text/event-stream et est toujours en UTF-8. Le corps se compose de lignes field: value :
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Les règles de parsing qui comptent :
- Une ligne vide déclenche l’événement. Tant qu’elle n’arrive pas, le client met en tampon.
- Plusieurs lignes
data:sont jointes par des sauts de ligne en un seul message. - Une ligne qui commence par deux-points est un commentaire. Les serveurs en envoient pour garder ouvertes les connexions inactives.
- Une espace après les deux-points est supprimée. Les lignes peuvent se terminer par CRLF, LF ou CR.
event,idetretryfixent le type d’événement, l’identifiant du dernier événement et le délai de reconnexion en millisecondes.
Les lectures réseau ne coïncident pas avec les événements. Une lecture peut contenir un demi-événement ou trois : un parseur doit donc mettre les octets en tampon et découper sur les lignes vides, pas sur les lectures.
Reconnexion, proxys et [DONE]
Le standard prévoit une reprise pour les navigateurs : après une coupure, EventSource se reconnecte et envoie un en-tête Last-Event-ID, et un serveur peut arrêter les tentatives avec un HTTP 204. La spécification avertit aussi que des « legacy proxy servers » (traduction : « serveurs proxy anciens ») peuvent couper les connexions HTTP après un court délai, et suggère une ligne de commentaire « every 15 seconds or so » (traduction : « toutes les 15 secondes environ »).
Les API de LLM en utilisent moins. Le flux Chat Completions d’OpenAI n’envoie que des lignes data: et se termine par data: [DONE], une convention de l’API, pas du SSE. Il n’y a pas d’identifiant d’événement à partir duquel reprendre : un flux interrompu ne peut pas être poursuivi, et une nouvelle tentative est une nouvelle requête. La vue d’ensemble du streaming et son avantage sur le time to first token sont traités sur cette page.
Sur BroadNet Inference
La documentation de BroadNet indique de définir stream=true et de « read Server-Sent Events until the literal data: [DONE] marker » (traduction : « lire les server-sent events jusqu’au marqueur littéral data: [DONE] »). Si la connexion se termine avant, considérez la réponse comme incomplète, notez l’en-tête X-Request-ID et décidez si une nouvelle requête d’inférence est sûre. Avec stream_options: {"include_usage": true}, l’usage arrive dans le dernier chunk. L’exemple curl de la documentation utilise -N pour que curl ne mette pas en tampon. Un flux occupe aussi un emplacement de concurrence jusqu’à sa fin : 4 sur une clé à l’usage, un seul sur une clé horaire. La documentation demande de vérifier le streaming pour chaque modèle avant la production. Le code pour chaque SDK se trouve dans le guide du streaming, et le contenu des chunks est expliqué dans le streaming de LLM expliqué.