Sin streaming, el cliente espera hasta que la respuesta completa termina. Con streaming, el texto aparece a medida que el modelo lo escribe.
Cómo funciona
El streaming usa server-sent events (SSE). El servidor responde con el tipo de contenido text/event-stream y mantiene abierta la conexión. MDN describe el formato: líneas field: value, con mensajes “separated by a pair of newline characters.” (traducción: separados por un par de saltos de línea.)
En el formato de Chat Completions, cada evento lleva un fragmento con un pequeño delta:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
El cliente une los deltas. La línea literal data: [DONE] marca el final. El fragmento de uso aparece solo si la solicitud lo pidió con stream_options: {"include_usage": true}.
Por qué importa
- Velocidad percibida. Los usuarios ven las primeras palabras tras el tiempo hasta el primer token, no al terminar toda la respuesta. Después, el texto fluye a los tokens por segundo del modelo.
- Salidas largas. El streaming mantiene activa la conexión, lo que ayuda con proxies que cierran solicitudes inactivas.
- Acción temprana. Los agentes y las interfaces pueden empezar a parsear o a mostrar antes del final.
Tiene costos. OpenAI señala que el streaming dificulta la moderación, porque “partial completions may be more difficult to evaluate” (traducción: las respuestas parciales pueden ser más difíciles de evaluar). Un stream también puede cortarse a la mitad, y una respuesta en streaming ocupa un espacio de concurrencia hasta que termina.
En BroadNet Inference
BroadNet usa el formato estándar de streaming de chat completions en https://inference.broadnet.ai/v1/chat/completions, así que los SDKs de Python y Node lo procesan por usted. Con curl, agregue -N para desactivar el búfer:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Los modelos de razonamiento pueden informar reasoning_tokens y cached_tokens en el fragmento final de uso. Si la conexión se cierra antes de [DONE], trate la respuesta como incompleta, registre el encabezado X-Request-ID y decida si es seguro enviar una nueva solicitud. La documentación de BroadNet recomienda verificar el streaming con el modelo que vaya a poner en producción antes de depender de él. Los detalles están en la guía de streaming y en errores y reintentos.
Errores comunes
- Tratar una conexión cerrada como una respuesta terminada. Solo
[DONE]significa completa. - Poner un proxy con búfer delante del cliente. La respuesta llega entonces toda de golpe.