BroadRouter
Commencer

Streaming

Mis à jour

Le streaming est une manière de renvoyer la réponse d’un modèle de langage par petits chunks pendant sa génération, plutôt qu’en un seul bloc à la fin. Les API compatibles OpenAI streament via des server-sent events quand la requête règle stream sur true.

Aussi appelé : streaming, streaming LLM, réponse en streaming, diffusion en flux, streaming de tokens, stream=true, streaming responses, token streaming

Sans streaming, le client attend que toute la réponse soit terminée. Avec, le texte apparaît au fur et à mesure que le modèle l’écrit.

Comment ça marche

Le streaming utilise les server-sent events (SSE). Le serveur répond avec le type de contenu text/event-stream et garde la connexion ouverte. MDN décrit le format : des lignes field: value, avec des messages « separated by a pair of newline characters » (traduction : « séparés par une paire de caractères de saut de ligne »).

Dans le format Chat Completions, chaque événement transporte un chunk avec un petit delta :

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Le client assemble les deltas. La ligne littérale data: [DONE] marque la fin. Le chunk d’usage n’apparaît que si la requête l’a demandé avec stream_options: {"include_usage": true}.

Pourquoi c’est important

  • Rapidité perçue. Les utilisateurs voient les premiers mots après le time to first token, pas après la réponse entière. Ensuite, le texte défile au rythme des tokens par seconde du modèle.
  • Sorties longues. Le streaming garde la connexion active, ce qui aide avec les proxys qui ferment les requêtes inactives.
  • Action anticipée. Les agents et les interfaces peuvent commencer à parser ou à afficher avant la fin.

Il y a des inconvénients. OpenAI note que le streaming complique la modération, car « partial completions may be more difficult to evaluate » (traduction : « les réponses partielles peuvent être plus difficiles à évaluer »). Un flux peut aussi casser en cours de route, et une réponse streamée occupe un créneau de concurrence jusqu’à sa fin.

Sur BroadNet Inference

BroadNet utilise le format de streaming standard des chat completions sur https://inference.broadnet.ai/v1/chat/completions : les SDK Python et Node le parsent donc pour vous. Avec curl, ajoutez -N pour désactiver la mise en mémoire tampon :

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Les modèles de raisonnement peuvent indiquer reasoning_tokens et cached_tokens dans le dernier chunk d’usage. Si la connexion se ferme avant [DONE], considérez la réponse comme incomplète, notez l’en-tête X-Request-ID et décidez si une nouvelle requête est sans risque. La documentation de BroadNet recommande de vérifier le streaming sur le modèle que vous mettez en production avant de vous y fier. Les détails figurent dans le guide du streaming et dans codes d’erreur et nouvelles tentatives.

Erreurs fréquentes

  • Considérer une connexion fermée comme une réponse terminée. Seul [DONE] signifie que la réponse est complète.
  • Placer un proxy qui met en mémoire tampon devant le client. La réponse arrive alors d’un seul coup.

Questions fréquentes

Le streaming rend-il le modèle plus rapide ?

Non. La vitesse de génération ne change pas. Le streaming affiche les premiers mots plus tôt, ce qui donne une impression de rapidité, et permet au code d’agir sur une sortie partielle.

Comment obtenir l’usage des tokens dans un flux ?

Dans le format Chat Completions, envoyez stream_options avec include_usage réglé sur true. Le dernier chunk contient alors l’usage et une liste choices vide.

Un flux relancé est-il facturé deux fois ?

Avec une clé facturée au token, généralement oui. Une nouvelle tentative est une nouvelle inférence, facturée à nouveau. Avec un forfait sans compteur de tokens, elle ne coûte que du temps.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity