---
title: "Streaming de respostas de LLM via SSE, com usage e retries"
description: "Como o streaming funciona na BroadNet Inference: Server-Sent Events, o marcador [DONE], o uso de tokens no último chunk e o que fazer se o stream acabar antes."
url: https://broadrouter.com/pt/guides/streaming-chat-completions/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/guides/streaming-chat-completions/) (atualizado em 2026-11-15).

# Streaming de chat completions e conexões que caem

Atualizado em 2026-11-15

Defina stream como true em /v1/chat/completions e leia os Server-Sent Events até o marcador literal data: \[DONE\]. Adicione stream\_options include\_usage para receber as contagens de tokens no último chunk. Se a conexão terminar antes de \[DONE\], trate a resposta como incompleta e registre o X-Request-ID.

O streaming permite que um agente ou uma interface de chat mostre a resposta enquanto ela é gerada. A BroadNet Inference usa o formato padrão de streaming de chat completions, então o [SDK Python da OpenAI](https://broadrouter.com/pt/guides/openai-python-sdk/) e o [SDK Node da OpenAI](https://broadrouter.com/pt/guides/openai-node-sdk/) fazem a interpretação por você.

## Com curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` desliga o buffer do curl, e `-D` salva os cabeçalhos, incluindo `X-Request-ID`.

## Como é o stream?

A resposta é um stream de [Server-Sent Events](https://broadrouter.com/pt/glossary/sse/). Pelo padrão HTML do WHATWG, cada evento é uma ou mais linhas `data:` seguidas de uma linha em branco, e uma linha que começa com dois-pontos é um comentário que você pode ignorar. Cada linha `data:` contém um chunk JSON, e o texto chega em `choices[0].delta.content`.

## As regras

1.  Leia os eventos até a linha literal `data: [DONE]` e depois feche o leitor.
2.  Com `stream_options: {"include_usage": true}`, um chunk extra chega logo antes de `[DONE]`. Ele traz o `usage` da requisição inteira e uma lista `choices` vazia, então confira `choices` antes de acessar um índice.
3.  Quando o modelo os informa, esse usage inclui `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam primeiro) e `prompt_tokens_details.cached_tokens`. Tokens em cache são cobrados pelo preço menor de entrada em cache.

## Com o SDK Python

No código, o comentário final indica que `None` significa que o stream terminou antes do chunk com o usage.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

O SDK lê até `[DONE]` por você. O [guia do SDK Node da OpenAI](https://broadrouter.com/pt/guides/openai-node-sdk/) mostra o mesmo loop em JavaScript.

## Quando o stream termina antes

Se a conexão fechar antes de `[DONE]`, a resposta está incompleta. A orientação da BroadNet:

-   registre o `X-Request-ID`;
-   decida se a sua aplicação pode fazer com segurança uma **nova** requisição. Uma nova tentativa é uma nova inferência e, no pagamento por uso, é cobrada de novo.

Para agentes em um [plano ilimitado](https://broadrouter.com/pt/guides/unlimited-llm-api-sessions/), as novas tentativas não custam nada a mais, mas ainda ocupam a sessão enquanto rodam.

A documentação da BroadNet diz que ainda é necessária uma verificação de liberação por modelo antes de confiar no streaming em produção, então teste no modelo que você vai colocar em produção.

## Solução de problemas

-   **Tudo aparece só no final.** O curl precisa de `-N`. Atrás do seu próprio proxy, desligue o buffer de resposta para `text/event-stream`.
-   **`IndexError` ou `undefined` no último chunk.** O chunk de usage tem uma lista `choices` vazia. Confira `chunk.choices` antes de ler `[0]`.
-   **Nenhum usage.** Você não enviou `stream_options`, ou o stream caiu antes do chunk final.
-   **O stream para com `finish_reason` `length` e pouco texto.** Um modelo de raciocínio gastou `max_tokens` raciocinando. Veja [por que modelos de raciocínio retornam respostas vazias](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/).
-   **429 ao fazer streaming em paralelo.** Cada stream aberto conta como uma requisição em andamento; uma chave de pagamento por uso permite 4. Veja [códigos de erro e novas tentativas na BroadNet](https://broadrouter.com/pt/guides/errors-and-retries/).

## Termos neste guia

[Streaming](https://broadrouter.com/pt/glossary/streaming/)

Streaming é uma forma de devolver a resposta de um modelo de linguagem em pequenos pedaços enquanto ela ainda está sendo gerada, em vez de uma resposta única no final. APIs compatíveis com a OpenAI fazem streaming via server-sent events quando a requisição define stream como true.

[Pagamento por uso (pay-as-you-go)](https://broadrouter.com/pt/glossary/pay-as-you-go/)

Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Concorrência (concurrency)](https://broadrouter.com/pt/glossary/concurrency/)

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

[Server-sent events (SSE)](https://broadrouter.com/pt/glossary/sse/)

Server-sent events (SSE) é um padrão web para um servidor enviar a um cliente um fluxo de eventos de texto por uma única resposta HTTP de longa duração, com content type text/event-stream. Cada evento tem uma ou mais linhas de campo, como data:, e termina com uma linha em branco.

[Tokens de entrada em cache (cached input)](https://broadrouter.com/pt/glossary/cached-input-tokens/)

Tokens de entrada em cache são tokens do prompt que um provedor de LLM processou há pouco e pode reaproveitar de um cache em vez de calcular de novo, normalmente um prefixo repetido, como um system prompt ou um documento. Os provedores os cobram com uma tarifa menor que a dos tokens de entrada novos.

[Chat Completions API](https://broadrouter.com/pt/glossary/chat-completions-api/)

A Chat Completions API é o endpoint HTTP da OpenAI, POST /v1/chat/completions, que recebe o nome de um modelo e uma lista de mensagens marcadas com papéis e devolve a próxima mensagem do modelo. O formato da requisição e da resposta virou o padrão comum que provedores e SDKs compatíveis com a OpenAI reutilizam.

## Perguntas frequentes

### Como obter o uso de tokens ao fazer streaming de chat completions?

Envie stream\_options com include\_usage definido como true. Um chunk extra chega logo antes de data: \[DONE\], com usage preenchido e um array choices vazio. Se o stream cair antes, esse chunk nunca chega.

### Por que o curl imprime a resposta do streaming toda de uma vez?

O curl usa buffer na saída por padrão. Adicione a opção -N (sem buffer) para que cada Server-Sent Event apareça assim que chegar.

### Um stream repetido é cobrado duas vezes?

No pagamento por uso, sim. Uma nova tentativa é uma nova requisição de inferência. Em um plano ilimitado de DeepSeek V4.1 Flash não há medidor de tokens, mas a nova tentativa ainda ocupa a sessão enquanto roda.

### Streaming custa mais do que uma requisição normal?

Não. O streaming muda a forma como a resposta é entregue, não como ela é cobrada. No pagamento por uso, você paga os mesmos preços por token de entrada e de saída de uma requisição sem streaming.

## Guias relacionados

-   [Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/)
-   [Códigos de erro da BroadNet Inference e quando tentar de novo](https://broadrouter.com/pt/guides/errors-and-retries/)
-   [Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-streaming-chat-completions&utm_content=page-cta) ·

**Fontes**

-   [Referência da API da BroadNet Inference, streaming (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, server-sent events (conferido em 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [SDK Python da OpenAI, docstring de stream\_options include\_usage (conferido em 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
