BroadRouter

Streamer des chat completions et gérer les connexions coupées

Mis à jour

Définissez stream à true sur /v1/chat/completions et lisez les Server-Sent Events jusqu’au marqueur littéral data: [DONE]. Ajoutez stream_options include_usage pour obtenir le nombre de tokens dans le dernier chunk. Si la connexion se termine avant [DONE], considérez la réponse comme incomplète et journalisez le X-Request-ID.

Le streaming permet à un agent ou à une interface de chat d’afficher la réponse au fil de sa génération. BroadNet Inference utilise le format de streaming standard des chat completions : le SDK Python d’OpenAI et le SDK Node d’OpenAI se chargent de l’analyse pour vous.

Avec curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N désactive la mise en mémoire tampon de curl, et -D enregistre les en-têtes, dont X-Request-ID.

À quoi ressemble le flux ?

La réponse est un flux de Server-Sent Events. Selon le standard HTML du WHATWG, chaque événement se compose d’une ou plusieurs lignes data: suivies d’une ligne vide, et une ligne qui commence par un deux-points est un commentaire que vous pouvez ignorer. Chaque ligne data: contient un chunk JSON, et le texte arrive dans choices[0].delta.content.

Les règles

  1. Lisez les événements jusqu’à la ligne littérale data: [DONE], puis fermez le lecteur.
  2. Avec stream_options: {"include_usage": true}, un chunk supplémentaire arrive juste avant [DONE]. Il porte usage pour toute la requête et une liste choices vide : vérifiez donc choices avant d’y accéder par index.
  3. Quand le modèle les fournit, cet usage inclut completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent d’abord) et prompt_tokens_details.cached_tokens. Les tokens en cache sont facturés au prix réduit de l’entrée en cache.

Avec le SDK Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

Le SDK lit jusqu’à [DONE] à votre place. Si le dernier print affiche None, le flux s’est terminé avant le chunk d’usage. Le guide du SDK Node d’OpenAI montre la même boucle en JavaScript.

Quand le flux s’arrête trop tôt

Si la connexion se ferme avant [DONE], la réponse est incomplète. Les recommandations de BroadNet :

  • notez le X-Request-ID ;
  • décidez si votre application peut sans risque envoyer une nouvelle requête. Une nouvelle tentative est une nouvelle inférence, facturée à nouveau en paiement à l’usage.

Pour les agents sur un forfait illimité, les nouvelles tentatives ne coûtent rien de plus, mais elles occupent la session pendant leur exécution.

La documentation de BroadNet indique qu’une vérification de mise en production par modèle reste nécessaire avant de compter sur le streaming en production : testez-le donc sur le modèle que vous déployez.

Dépannage

  • Tout s’affiche à la fin. curl a besoin de -N. Derrière votre propre proxy, désactivez la mise en tampon des réponses pour text/event-stream.
  • IndexError ou undefined sur le dernier chunk. Le chunk d’usage a une liste choices vide. Vérifiez chunk.choices avant de lire [0].
  • Aucun usage. Vous n’avez pas envoyé stream_options, ou le flux s’est coupé avant le dernier chunk.
  • Le flux s’arrête avec finish_reason length et peu de texte. Un modèle de raisonnement a consommé max_tokens en raisonnant. Voir pourquoi les modèles de raisonnement renvoient des réponses vides.
  • 429 en streaming parallèle. Chaque flux ouvert compte comme une requête en cours ; une clé à l’usage en autorise 4. Voir codes d’erreur et nouvelles tentatives chez BroadNet.

Questions fréquentes

Comment obtenir l’usage en tokens quand je streame des chat completions ?

Envoyez stream_options avec include_usage à true. Un chunk supplémentaire arrive juste avant data: [DONE], avec usage renseigné et un tableau choices vide. Si le flux se coupe avant, ce chunk n’arrive jamais.

Pourquoi curl affiche-t-il toute la réponse streamée d’un coup ?

Par défaut, curl met sa sortie en mémoire tampon. Ajoutez l’option -N (pas de mise en tampon) pour que chaque Server-Sent Event s’affiche dès son arrivée.

Un flux réessayé est-il facturé deux fois ?

En paiement à l’usage, oui : une nouvelle tentative est une nouvelle requête d’inférence. Avec un forfait illimité DeepSeek V4.1 Flash, il n’y a pas de compteur de tokens, mais la nouvelle tentative occupe la session pendant qu’elle s’exécute.

Le streaming coûte-t-il plus cher qu’une requête normale ?

Non. Le streaming change la façon dont la réponse est livrée, pas la façon dont elle est facturée. En paiement à l’usage, vous payez les mêmes prix par token d’entrée et de sortie que pour une requête sans streaming.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity