Sem streaming, o cliente espera até a resposta inteira ficar pronta. Com streaming, o texto aparece conforme o modelo escreve.
Como funciona
O streaming usa server-sent events (SSE). O servidor responde com content type text/event-stream e mantém a conexão aberta. O MDN descreve o formato: linhas field: value, com mensagens “separated by a pair of newline characters” (tradução: separadas por um par de caracteres de nova linha).
No formato Chat Completions, cada evento traz um chunk com um pequeno delta:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
O cliente junta os deltas. A linha literal data: [DONE] marca o fim. O chunk de uso só aparece se a requisição pediu, com stream_options: {"include_usage": true}.
Por que isso importa
- Velocidade percebida. O usuário vê as primeiras palavras depois do time to first token, não depois da resposta inteira. A partir daí, o texto flui na velocidade de tokens por segundo do modelo.
- Saídas longas. O streaming mantém a conexão ativa, o que ajuda com proxies que fecham requisições ociosas.
- Ação antecipada. Agentes e interfaces podem começar a interpretar ou renderizar antes do fim.
Há custos. A OpenAI observa que o streaming dificulta a moderação, porque “partial completions may be more difficult to evaluate” (tradução: respostas parciais podem ser mais difíceis de avaliar). Um stream também pode cair no meio, e uma resposta em streaming ocupa uma vaga de concorrência até terminar.
Na BroadNet Inference
A BroadNet usa o formato padrão de streaming de chat completions em https://inference.broadnet.ai/v1/chat/completions, então os SDKs de Python e Node fazem a interpretação por você. Com curl, adicione -N para desligar o buffering:
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Modelos de raciocínio podem informar reasoning_tokens e cached_tokens no chunk final de uso. Se a conexão fechar antes do [DONE], trate a resposta como incompleta, registre o cabeçalho X-Request-ID e decida se é seguro fazer uma nova requisição. A documentação da BroadNet recomenda verificar o streaming no modelo que você vai usar antes de depender dele em produção. Os detalhes estão no guia de streaming e em erros e novas tentativas.
Erros comuns
- Tratar uma conexão fechada como resposta concluída. Só o
[DONE]significa que terminou. - Colocar um proxy com buffering na frente do cliente. Aí a resposta chega toda de uma vez.