BroadRouter
Commencer

Server-sent events (SSE)

Mis à jour

Les server-sent events (SSE) sont un standard du web qui permet à un serveur de pousser un flux d’événements texte vers un client, via une seule réponse HTTP de longue durée de type text/event-stream. Chaque événement se compose d’une ou plusieurs lignes de champ, comme data:, et se termine par une ligne vide.

Aussi appelé : SSE, server-sent events, événements envoyés par le serveur, text/event-stream, event stream, flux d’événements, EventSource

Le SSE est le format texte brut qui encadre presque toutes les réponses de LLM en streaming. Le connaître aide quand aucun SDK n’est disponible ou qu’un flux se comporte mal.

Comment ça marche

Le WHATWG HTML Standard définit le format. La réponse a le type MIME text/event-stream et est toujours en UTF-8. Le corps se compose de lignes field: value :

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Les règles de parsing qui comptent :

  • Une ligne vide déclenche l’événement. Tant qu’elle n’arrive pas, le client met en tampon.
  • Plusieurs lignes data: sont jointes par des sauts de ligne en un seul message.
  • Une ligne qui commence par deux-points est un commentaire. Les serveurs en envoient pour garder ouvertes les connexions inactives.
  • Une espace après les deux-points est supprimée. Les lignes peuvent se terminer par CRLF, LF ou CR.
  • event, id et retry fixent le type d’événement, l’identifiant du dernier événement et le délai de reconnexion en millisecondes.

Les lectures réseau ne coïncident pas avec les événements. Une lecture peut contenir un demi-événement ou trois : un parseur doit donc mettre les octets en tampon et découper sur les lignes vides, pas sur les lectures.

Reconnexion, proxys et [DONE]

Le standard prévoit une reprise pour les navigateurs : après une coupure, EventSource se reconnecte et envoie un en-tête Last-Event-ID, et un serveur peut arrêter les tentatives avec un HTTP 204. La spécification avertit aussi que des « legacy proxy servers » (traduction : « serveurs proxy anciens ») peuvent couper les connexions HTTP après un court délai, et suggère une ligne de commentaire « every 15 seconds or so » (traduction : « toutes les 15 secondes environ »).

Les API de LLM en utilisent moins. Le flux Chat Completions d’OpenAI n’envoie que des lignes data: et se termine par data: [DONE], une convention de l’API, pas du SSE. Il n’y a pas d’identifiant d’événement à partir duquel reprendre : un flux interrompu ne peut pas être poursuivi, et une nouvelle tentative est une nouvelle requête. La vue d’ensemble du streaming et son avantage sur le time to first token sont traités sur cette page.

Sur BroadNet Inference

La documentation de BroadNet indique de définir stream=true et de « read Server-Sent Events until the literal data: [DONE] marker » (traduction : « lire les server-sent events jusqu’au marqueur littéral data: [DONE] »). Si la connexion se termine avant, considérez la réponse comme incomplète, notez l’en-tête X-Request-ID et décidez si une nouvelle requête d’inférence est sûre. Avec stream_options: {"include_usage": true}, l’usage arrive dans le dernier chunk. L’exemple curl de la documentation utilise -N pour que curl ne mette pas en tampon. Un flux occupe aussi un emplacement de concurrence jusqu’à sa fin : 4 sur une clé à l’usage, un seul sur une clé horaire. La documentation demande de vérifier le streaming pour chaque modèle avant la production. Le code pour chaque SDK se trouve dans le guide du streaming, et le contenu des chunks est expliqué dans le streaming de LLM expliqué.

Questions fréquentes

Puis-je utiliser l’API EventSource du navigateur avec une API de LLM ?

En général, pas directement. Le constructeur EventSource de la spécification ne prend qu’une URL et un drapeau withCredentials : il ne peut donc envoyer ni corps POST ni en-tête Authorization. Utilisez fetch et analysez le flux vous-même, ou passez par un SDK.

Que signifie « data: [DONE] » ?

Cela ne fait pas partie du standard SSE. Les API de style OpenAI envoient la ligne littérale « data: [DONE] » comme dernier événement pour signaler que la réponse est complète.

Pourquoi mon flux arrive-t-il d’un seul bloc ?

Un élément entre le serveur et votre code met la réponse en tampon : un reverse proxy, un framework ou curl sans -N, par exemple. Désactivez la mise en tampon pour cette route.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity