BroadRouter
Comenzar

Streaming (respuestas en tiempo real)

Actualizado

El streaming es una forma de devolver la respuesta de un modelo de lenguaje en pequeños fragmentos mientras aún se genera, en lugar de una sola respuesta al final. Las APIs compatibles con OpenAI hacen streaming mediante server-sent events cuando la solicitud define stream como true.

También llamado: streaming, respuestas en streaming, transmisión de respuestas, streaming de tokens, stream=true, streaming responses, token streaming

Sin streaming, el cliente espera hasta que la respuesta completa termina. Con streaming, el texto aparece a medida que el modelo lo escribe.

Cómo funciona

El streaming usa server-sent events (SSE). El servidor responde con el tipo de contenido text/event-stream y mantiene abierta la conexión. MDN describe el formato: líneas field: value, con mensajes “separated by a pair of newline characters.” (traducción: separados por un par de saltos de línea.)

En el formato de Chat Completions, cada evento lleva un fragmento con un pequeño delta:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

El cliente une los deltas. La línea literal data: [DONE] marca el final. El fragmento de uso aparece solo si la solicitud lo pidió con stream_options: {"include_usage": true}.

Por qué importa

  • Velocidad percibida. Los usuarios ven las primeras palabras tras el tiempo hasta el primer token, no al terminar toda la respuesta. Después, el texto fluye a los tokens por segundo del modelo.
  • Salidas largas. El streaming mantiene activa la conexión, lo que ayuda con proxies que cierran solicitudes inactivas.
  • Acción temprana. Los agentes y las interfaces pueden empezar a parsear o a mostrar antes del final.

Tiene costos. OpenAI señala que el streaming dificulta la moderación, porque “partial completions may be more difficult to evaluate” (traducción: las respuestas parciales pueden ser más difíciles de evaluar). Un stream también puede cortarse a la mitad, y una respuesta en streaming ocupa un espacio de concurrencia hasta que termina.

En BroadNet Inference

BroadNet usa el formato estándar de streaming de chat completions en https://inference.broadnet.ai/v1/chat/completions, así que los SDKs de Python y Node lo procesan por usted. Con curl, agregue -N para desactivar el búfer:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Los modelos de razonamiento pueden informar reasoning_tokens y cached_tokens en el fragmento final de uso. Si la conexión se cierra antes de [DONE], trate la respuesta como incompleta, registre el encabezado X-Request-ID y decida si es seguro enviar una nueva solicitud. La documentación de BroadNet recomienda verificar el streaming con el modelo que vaya a poner en producción antes de depender de él. Los detalles están en la guía de streaming y en errores y reintentos.

Errores comunes

  • Tratar una conexión cerrada como una respuesta terminada. Solo [DONE] significa completa.
  • Poner un proxy con búfer delante del cliente. La respuesta llega entonces toda de golpe.

Preguntas frecuentes

¿El streaming hace más rápido al modelo?

No. La velocidad de generación es la misma. El streaming muestra antes las primeras palabras, así que la respuesta se siente más rápida, y permite que el código actúe sobre una salida parcial.

¿Cómo obtengo el uso de tokens en un stream?

En el formato de Chat Completions, envíe stream_options con include_usage en true. El último fragmento traerá entonces el uso y una lista choices vacía.

¿Un stream reintentado se cobra dos veces?

Con una clave que cobra por token, por lo general sí. Un reintento es una nueva inferencia y se cobra de nuevo. En un plan de tarifa plana sin medidor de tokens, solo cuesta tiempo.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity