BroadRouter

Стриминг chat completions и обрыв соединения

Обновлено

Задайте stream: true в запросе к /v1/chat/completions и читайте Server-Sent Events до строки data: [DONE]. Добавьте stream_options с include_usage, чтобы получить число токенов в последнем чанке. Если соединение закрылось до [DONE], считайте ответ неполным и запишите X-Request-ID.

Стриминг позволяет агенту или чат-интерфейсу показывать ответ по мере генерации. BroadNet Inference использует стандартный формат стриминга chat completions, поэтому разбор берут на себя OpenAI Python SDK и OpenAI Node SDK.

Через curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N отключает буферизацию curl, а -D сохраняет заголовки, включая X-Request-ID.

Как выглядит поток?

Ответ приходит потоком Server-Sent Events. По стандарту WHATWG HTML каждое событие — это одна или несколько строк data:, за которыми идёт пустая строка, а строка, начинающаяся с двоеточия, — комментарий, который можно пропустить. Каждая строка data: содержит один JSON-чанк, а текст приходит в choices[0].delta.content.

Правила

  1. Читайте события до строки data: [DONE], затем закройте чтение.
  2. С stream_options: {"include_usage": true} прямо перед [DONE] приходит ещё один чанк. В нём usage для всего запроса и пустой список choices, поэтому проверяйте choices, прежде чем обращаться к элементу по индексу.
  3. Если модель их сообщает, usage включает completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают) и prompt_tokens_details.cached_tokens. Входные токены из кэша оплачиваются по сниженной цене входа из кэша.

Через Python SDK

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK сам читает поток до [DONE]. Комментарий в последней строке кода означает: None — поток закончился раньше, чем пришёл чанк с usage. Тот же цикл на JavaScript — в руководстве по OpenAI Node SDK.

Если поток оборвался

Если соединение закрылось до [DONE], ответ неполный. Рекомендации BroadNet:

  • запишите X-Request-ID;
  • решите, может ли ваше приложение безопасно отправить новый запрос. Повтор — это новый инференс, и при оплате по факту он оплачивается заново.

Для агентов на безлимитном тарифе повторы ничего не стоят, но, пока выполняются, занимают сессию.

Документация BroadNet говорит, что прежде чем полагаться на стриминг в продакшене, нужна проверка каждой модели перед релизом, поэтому протестируйте его на той модели, с которой будете работать.

Решение проблем

  • Всё выводится в конце. curl нужен флаг -N. Если запросы идут через ваш собственный прокси, отключите в нём буферизацию ответов для text/event-stream.
  • IndexError или undefined на последнем чанке. У чанка с usage пустой список choices. Проверяйте chunk.choices, прежде чем читать [0].
  • Usage вообще не приходит. Вы не передали stream_options, или поток оборвался до последнего чанка.
  • Поток останавливается с finish_reason length и почти без текста. Модель с рассуждениями потратила max_tokens на рассуждения. См. почему модели с рассуждениями возвращают пустые ответы.
  • 429 при параллельном стриминге. Каждый открытый поток считается выполняющимся запросом; ключ с оплатой по факту допускает не больше 4 одновременно. См. коды ошибок BroadNet и повторные запросы.

Вопросы и ответы

Как получить расход токенов при стриминге chat completions?

Передайте stream_options с include_usage: true. Прямо перед data: [DONE] придёт ещё один чанк с заполненным usage и пустым массивом choices. Если поток оборвётся раньше, этого чанка не будет.

Почему curl выводит весь потоковый ответ разом?

По умолчанию curl буферизует вывод. Добавьте флаг -N (без буферизации), и каждое событие Server-Sent Events будет выводиться сразу по приходе.

Оплачивается ли повторный поток дважды?

При оплате по факту — да: повтор — это новый запрос на инференс. На безлимитном тарифе DeepSeek V4.1 Flash счётчика токенов нет, но повтор всё равно занимает сессию, пока выполняется.

Стриминг стоит дороже обычного запроса?

Нет. Стриминг меняет способ доставки ответа, а не тарификацию. При оплате по факту вы платите те же цены за входные и выходные токены, что и за запрос без стриминга.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity