---
title: "Стриминг ответов LLM через SSE: usage и повторы | BroadRouter"
description: "Как работает стриминг в BroadNet Inference: Server-Sent Events, маркер [DONE], расход токенов в последнем чанке и что делать, если поток оборвался раньше."
url: https://broadrouter.com/ru/guides/streaming-chat-completions/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/streaming-chat-completions/) (обновлён 2026-11-15).

# Стриминг chat completions и обрыв соединения

Обновлено 2026-11-15

Задайте stream: true в запросе к /v1/chat/completions и читайте Server-Sent Events до строки data: \[DONE\]. Добавьте stream\_options с include\_usage, чтобы получить число токенов в последнем чанке. Если соединение закрылось до \[DONE\], считайте ответ неполным и запишите X-Request-ID.

Стриминг позволяет агенту или чат-интерфейсу показывать ответ по мере генерации. BroadNet Inference использует стандартный формат стриминга chat completions, поэтому разбор берут на себя [OpenAI Python SDK](https://broadrouter.com/ru/guides/openai-python-sdk/) и [OpenAI Node SDK](https://broadrouter.com/ru/guides/openai-node-sdk/).

## Через curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` отключает буферизацию curl, а `-D` сохраняет заголовки, включая `X-Request-ID`.

## Как выглядит поток?

Ответ приходит потоком [Server-Sent Events](https://broadrouter.com/ru/glossary/sse/). По стандарту WHATWG HTML каждое событие — это одна или несколько строк `data:`, за которыми идёт пустая строка, а строка, начинающаяся с двоеточия, — комментарий, который можно пропустить. Каждая строка `data:` содержит один JSON-чанк, а текст приходит в `choices[0].delta.content`.

## Правила

1.  Читайте события до строки `data: [DONE]`, затем закройте чтение.
2.  С `stream_options: {"include_usage": true}` прямо перед `[DONE]` приходит ещё один чанк. В нём `usage` для всего запроса и пустой список `choices`, поэтому проверяйте `choices`, прежде чем обращаться к элементу по индексу.
3.  Если модель их сообщает, usage включает `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают) и `prompt_tokens_details.cached_tokens`. Входные токены из кэша оплачиваются по сниженной цене входа из кэша.

## Через Python SDK

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK сам читает поток до `[DONE]`. Комментарий в последней строке кода означает: `None` — поток закончился раньше, чем пришёл чанк с usage. Тот же цикл на JavaScript — в [руководстве по OpenAI Node SDK](https://broadrouter.com/ru/guides/openai-node-sdk/).

## Если поток оборвался

Если соединение закрылось до `[DONE]`, ответ неполный. Рекомендации BroadNet:

-   запишите `X-Request-ID`;
-   решите, может ли ваше приложение безопасно отправить **новый** запрос. Повтор — это новый инференс, и при оплате по факту он оплачивается заново.

Для агентов на [безлимитном тарифе](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) повторы ничего не стоят, но, пока выполняются, занимают сессию.

Документация BroadNet говорит, что прежде чем полагаться на стриминг в продакшене, нужна проверка каждой модели перед релизом, поэтому протестируйте его на той модели, с которой будете работать.

## Решение проблем

-   **Всё выводится в конце.** curl нужен флаг `-N`. Если запросы идут через ваш собственный прокси, отключите в нём буферизацию ответов для `text/event-stream`.
-   **`IndexError` или `undefined` на последнем чанке.** У чанка с usage пустой список `choices`. Проверяйте `chunk.choices`, прежде чем читать `[0]`.
-   **Usage вообще не приходит.** Вы не передали `stream_options`, или поток оборвался до последнего чанка.
-   **Поток останавливается с `finish_reason` `length` и почти без текста.** Модель с рассуждениями потратила `max_tokens` на рассуждения. См. [почему модели с рассуждениями возвращают пустые ответы](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **429 при параллельном стриминге.** Каждый открытый поток считается выполняющимся запросом; ключ с оплатой по факту допускает не больше 4 одновременно. См. [коды ошибок BroadNet и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Термины в этом руководстве

[Server-sent events (SSE)](https://broadrouter.com/ru/glossary/sse/)

Server-sent events (SSE) — это веб-стандарт, по которому сервер передаёт клиенту поток текстовых событий в одном долгоживущем HTTP-ответе с типом содержимого text/event-stream. Каждое событие — одна или несколько строк-полей, например data:, и завершается пустой строкой.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/)

Вход из кэша (cached input tokens) — это токены промпта, которые провайдер LLM недавно обработал и может взять из кэша, а не вычислять заново; обычно это повторяющийся префикс, например системный промпт или документ. Провайдеры тарифицируют их дешевле, чем новые входные токены.

[Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/)

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Chat Completions API](https://broadrouter.com/ru/glossary/chat-completions-api/)

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

## Вопросы и ответы

### Как получить расход токенов при стриминге chat completions?

Передайте stream\_options с include\_usage: true. Прямо перед data: \[DONE\] придёт ещё один чанк с заполненным usage и пустым массивом choices. Если поток оборвётся раньше, этого чанка не будет.

### Почему curl выводит весь потоковый ответ разом?

По умолчанию curl буферизует вывод. Добавьте флаг -N (без буферизации), и каждое событие Server-Sent Events будет выводиться сразу по приходе.

### Оплачивается ли повторный поток дважды?

При оплате по факту — да: повтор — это новый запрос на инференс. На безлимитном тарифе DeepSeek V4.1 Flash счётчика токенов нет, но повтор всё равно занимает сессию, пока выполняется.

### Стриминг стоит дороже обычного запроса?

Нет. Стриминг меняет способ доставки ответа, а не тарификацию. При оплате по факту вы платите те же цены за входные и выходные токены, что и за запрос без стриминга.

## Похожие руководства

-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-streaming-chat-completions&utm_content=page-cta) ·

**Источники**

-   [Справочник API BroadNet Inference, стриминг (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-streaming-chat-completions&utm_content=sources#requests)
-   [Стандарт WHATWG HTML, server-sent events (дата обращения 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, docstring stream\_options include\_usage (дата обращения 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
