BroadRouter
Começar

Streaming

Atualizado em

Streaming é uma forma de devolver a resposta de um modelo de linguagem em pequenos pedaços enquanto ela ainda está sendo gerada, em vez de uma resposta única no final. APIs compatíveis com a OpenAI fazem streaming via server-sent events quando a requisição define stream como true.

Também chamado de: streaming de respostas, respostas em streaming, streaming de tokens, stream=true, streaming, streaming responses, token streaming

Sem streaming, o cliente espera até a resposta inteira ficar pronta. Com streaming, o texto aparece conforme o modelo escreve.

Como funciona

O streaming usa server-sent events (SSE). O servidor responde com content type text/event-stream e mantém a conexão aberta. O MDN descreve o formato: linhas field: value, com mensagens “separated by a pair of newline characters” (tradução: separadas por um par de caracteres de nova linha).

No formato Chat Completions, cada evento traz um chunk com um pequeno delta:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

O cliente junta os deltas. A linha literal data: [DONE] marca o fim. O chunk de uso só aparece se a requisição pediu, com stream_options: {"include_usage": true}.

Por que isso importa

  • Velocidade percebida. O usuário vê as primeiras palavras depois do time to first token, não depois da resposta inteira. A partir daí, o texto flui na velocidade de tokens por segundo do modelo.
  • Saídas longas. O streaming mantém a conexão ativa, o que ajuda com proxies que fecham requisições ociosas.
  • Ação antecipada. Agentes e interfaces podem começar a interpretar ou renderizar antes do fim.

Há custos. A OpenAI observa que o streaming dificulta a moderação, porque “partial completions may be more difficult to evaluate” (tradução: respostas parciais podem ser mais difíceis de avaliar). Um stream também pode cair no meio, e uma resposta em streaming ocupa uma vaga de concorrência até terminar.

Na BroadNet Inference

A BroadNet usa o formato padrão de streaming de chat completions em https://inference.broadnet.ai/v1/chat/completions, então os SDKs de Python e Node fazem a interpretação por você. Com curl, adicione -N para desligar o buffering:

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Modelos de raciocínio podem informar reasoning_tokens e cached_tokens no chunk final de uso. Se a conexão fechar antes do [DONE], trate a resposta como incompleta, registre o cabeçalho X-Request-ID e decida se é seguro fazer uma nova requisição. A documentação da BroadNet recomenda verificar o streaming no modelo que você vai usar antes de depender dele em produção. Os detalhes estão no guia de streaming e em erros e novas tentativas.

Erros comuns

  • Tratar uma conexão fechada como resposta concluída. Só o [DONE] significa que terminou.
  • Colocar um proxy com buffering na frente do cliente. Aí a resposta chega toda de uma vez.

Perguntas frequentes

O streaming deixa o modelo mais rápido?

Não. A velocidade de geração é a mesma. O streaming mostra as primeiras palavras mais cedo, então a resposta parece mais rápida, e permite que o código trabalhe com a saída parcial.

Como recebo o uso de tokens em um stream?

No formato Chat Completions, envie stream_options com include_usage definido como true. O último chunk passa a trazer o usage e uma lista choices vazia.

Um stream repetido é cobrado duas vezes?

Em uma chave cobrada por token, normalmente sim. Uma nova tentativa é uma nova inferência, cobrada de novo. Em um plano de preço fixo sem medidor de tokens, custa só tempo.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity