---
title: "Стриминг LLM через SSE: чанки, дельты, usage, отмена"
description: "Как устроен стриминг chat completions на уровне протокола, как собрать ответ из дельт, взять usage из последнего чанка и отменить поток в Python, Node и curl."
url: https://broadrouter.com/ru/blog/llm-streaming-sse-explained/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/llm-streaming-sse-explained/) (обновлён 2026-11-16).

# Стриминг LLM: чанки SSE, дельты, usage и отмена

Команда BroadNet Inference · 4 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

LLM API передаёт chat completion потоком Server-Sent Events: каждая строка data содержит JSON-чанк, в котором choices\[0\].delta несёт следующий кусок текста. Склеивайте дельты, останавливайтесь на data: \[DONE\] и задайте stream\_options include\_usage, чтобы получить счётчики токенов в финальном чанке с пустым списком choices. Чтобы отменить поток, закройте соединение.

## Главное

-   Поток — это обычный HTTP: `Content-Type: text/event-stream`, по одной строке `data:` на чанк, пустая строка между событиями и `data: [DONE]` в конце.
-   Каждый чанк несёт `delta`, а не всё сообщение целиком. Чтобы собрать ответ, склейте строки `delta.content`.
-   В потоке usage по умолчанию выключен. `stream_options: {"include_usage": true}` добавляет последний чанк с usage и пустым массивом `choices`.
-   Защищайте каждое обращение к `choices[0]`: в чанке с usage нет choices, и парсер, который на них рассчитывает, упадёт.
-   Отмена — это закрытие HTTP-соединения. Поток, закончившийся без `[DONE]`, — это неполный ответ, а не завершённый.

**На этой странице**

1.  Как выглядит поток SSE на уровне протокола?
2.  Что содержится в чанке?
3.  Как получить usage из потока?
4.  Python: стриминг, сбор usage, отмена
5.  Node: стриминг с AbortController
6.  curl: смотрим «сырые» события
7.  Как отменить поток и сколько это стоит?
8.  Пять ошибок стриминга, которые стоит проверить
9.  Место BroadNet Inference

Без [стриминга](https://broadrouter.com/ru/glossary/streaming/) chat completion ничего не возвращает, пока не готов весь ответ. Ответ на 600 токенов при скорости около 100 токенов в секунду — это несколько секунд тишины. Со стримингом первые слова появляются, как только модель их пишет. В этой статье — что на самом деле передаётся по сети, как это разбирать, как достать из потока статистику по [токенам](https://broadrouter.com/ru/glossary/token/) и как корректно его остановить. Правила, специфичные для BroadNet, в кратком виде собраны в [справочном руководстве по стримингу](https://broadrouter.com/ru/guides/streaming-chat-completions/).

## Как выглядит поток SSE на уровне протокола?

Server-Sent Events — это обычный HTTP-ответ с `Content-Type: text/event-stream`. Сервер держит соединение открытым и пишет события. Каждое событие — одна или несколько строк `data:`, за которыми следует пустая строка. OpenAI-совместимые API кладут в каждое событие один JSON-чанк и завершают поток буквальным `[DONE]`:

```text
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]
```

Структура выше упрощена и сокращена для иллюстрации. Настоящие чанки также содержат `model` и `created`, а модели с рассуждениями могут сообщать в usage токены рассуждений.

## Что содержится в чанке?

| Поле | Где | Что означает |
| --- | --- | --- |
| `choices[0].delta.role` | Первый чанк | Обычно `assistant`. Отправляется один раз. |
| `choices[0].delta.content` | Большинство чанков | Следующий кусок текста. Может быть пустым. |
| `choices[0].delta.tool_calls` | Вызовы инструментов | Фрагменты имени функции и JSON-аргументов, которые склеиваются по `index`. |
| `choices[0].finish_reason` | Последний чанк с контентом | `stop`, `length` или `tool_calls`. До этого — `null`. |
| `usage` | Финальный чанк, если запрошен | Итоги по всему запросу. Во всех остальных — `null`. |

Главная идея — **дельта, а не снимок**. Каждый чанк содержит только новое. Сообщение собирается склейкой кусков по порядку. [Вызовы инструментов](https://broadrouter.com/ru/glossary/tool-calling/) стримятся так же: аргументы приходят строковыми фрагментами, которые не являются валидным JSON, пока не придёт последний, поэтому разбирайте их только после того, как `finish_reason` станет `tool_calls`.

## Как получить usage из потока?

Нестриминговый ответ всегда содержит `usage`. Поток — нет, если не попросить. Задайте `stream_options: {"include_usage": true}`, и сервер отправит перед `[DONE]` ещё один чанк. В нём итоговые суммы и **пустой массив `choices`**. В BroadNet Inference usage может также содержать `prompt_tokens_details.cached_tokens` и `completion_tokens_details.reasoning_tokens`, если модель их сообщает, — это именно то, что нужно для [логирования расходов](https://broadrouter.com/ru/blog/llm-api-usage-logging/).

Типичная ошибка: код, который читает `chunk.choices[0]` на каждом чанке, падает с ошибкой индекса на чанке с usage. Сначала проверяйте `choices`.

## Python: стриминг, сбор usage, отмена

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)
```

Один `break` останавливает чтение, но сокет остаётся открытым, пока его не соберёт сборщик мусора. Закрывайте его явно, чтобы сервер увидел отключение.

## Node: стриминг с AbortController

```javascript
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}
```

[README openai-node](https://github.com/openai/openai-node) документирует опцию `signal`, и она работает, пока тело ответа ещё читается. В веб-сервере привяжите `controller.abort()` к событию `close` клиентского запроса, чтобы пользователь, покинувший страницу, заодно останавливал генерацию. Подробнее о настройке — в [руководстве по Node SDK](https://broadrouter.com/ru/guides/openai-node-sdk/).

## curl: смотрим «сырые» события

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
```

`-N` отключает буферизацию вывода, чтобы события печатались по мере поступления. Нажмите Ctrl+C для отмены — это закроет соединение. [Конструктор API-запросов](https://broadrouter.com/tools/api-request-builder/) генерирует этот запрос, а также версии для Python и Node, для любой модели и базового URL.

## Как отменить поток и сколько это стоит?

Отмена в SSE — это просто закрытие соединения. Сообщения «стоп» не существует. Что будет дальше, решает сервер: корректно работающий сервер замечает закрытый сокет и прекращает генерацию. Токены, выданные до этого момента, — реально проделанная работа. Справочник API BroadNet не документирует тарификацию отменённых потоков, поэтому исходите из того, что при [оплате по факту](https://broadrouter.com/ru/glossary/pay-as-you-go/) сгенерированные до отключения токены оплачиваются, и сверяйтесь с записями об использовании. На тарифе с фиксированной ценой отменённый поток ничего дополнительно не стоит, но сессия освобождается только тогда, когда сервер остановится.

## Пять ошибок стриминга, которые стоит проверить

1.  **Буферизующие прокси.** Nginx и некоторые CDN буферизуют ответы, и клиент получает всё разом. Отключите буферизацию прокси для маршрута со стримингом.
2.  **Нет проверки `[DONE]`.** Оборванное соединение выглядит как короткий ответ. Считайте отсутствие `[DONE]` признаком неполного ответа и записывайте `X-Request-ID`, как описано в [руководстве по ошибкам](https://broadrouter.com/ru/guides/errors-and-retries/).
3.  **Повтор посреди потока.** SDK не повторяют запрос, когда тело ответа уже начало приходить. Повтор — это новый запрос и, при оплате по факту, новый счёт.
4.  **Игнорирование `finish_reason: length`.** У моделей с рассуждениями, таких как [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/), размышления входят в [max\_tokens](https://broadrouter.com/ru/glossary/max-tokens/), и при маленьком лимите поток может остановиться ещё до видимого текста. [Сколько стоят токены рассуждений](https://broadrouter.com/ru/blog/reasoning-tokens-cost/).
5.  **Неправильное разбиение строк.** Если вы разбираете SSE вручную, накапливайте байты, пока не увидите пустую строку. Чтение из TCP может закончиться посреди JSON-чанка.

## Место BroadNet Inference

BroadNet Inference использует стандартный формат стриминга [OpenAI-совместимых API](https://broadrouter.com/ru/glossary/openai-compatible-api/), так что SDK для Python и Node разбирают его без изменений. Usage в финальном чанке включает кэшированные токены и токены рассуждений, если модель их сообщает. В документации сказано, что стриминг всё же стоит проверить на каждой модели перед использованием в продакшене, поэтому прогоните код выше на той самой модели, с которой выходите в продакшен. Если вас в первую очередь волнует, как быстро приходит первый токен, читайте дальше [TTFT и пропускная способность](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/). Если нужен голос в реальном времени через WebSockets, этот API для этого не предназначен: он предлагает chat completions и распознавание речи из файлов.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Server-sent events (SSE)](https://broadrouter.com/ru/glossary/sse/)

Server-sent events (SSE) — это веб-стандарт, по которому сервер передаёт клиенту поток текстовых событий в одном долгоживущем HTTP-ответе с типом содержимого text/event-stream. Каждое событие — одна или несколько строк-полей, например data:, и завершается пустой строкой.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/)

Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.

[Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/)

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

[Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/)

Вход из кэша (cached input tokens) — это токены промпта, которые провайдер LLM недавно обработал и может взять из кэша, а не вычислять заново; обычно это повторяющийся префикс, например системный промпт или документ. Провайдеры тарифицируют их дешевле, чем новые входные токены.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Чанкинг (chunking) в RAG](https://broadrouter.com/ru/glossary/chunking/)

Чанкинг — это шаг конвейера поиска, на котором документы разбиваются на небольшие фрагменты, чанки, перед векторизацией и индексацией. Размер чанка задаёт, сколько текста в каждом фрагменте, а перекрытие повторяет часть текста между соседними чанками, чтобы мысль, разрезанная границей, не потерялась.

## Вопросы и ответы

### Чем SSE отличается от WebSockets для стриминга LLM?

SSE — односторонний канал от сервера к клиенту поверх обычного HTTP-ответа. Для chat completion больше и не нужно, поэтому OpenAI-совместимые API используют SSE. WebSockets двусторонние и требуют апгрейда протокола; их используют для голоса в реальном времени, а не для chat completions.

### Почему в чанках стриминга usage равен null?

Usage отправляется, только если вы его запросили. Добавьте stream\_options с include\_usage, равным true. Тогда во всех чанках, кроме последнего, usage будет null, а последний чанк принесёт итоговые суммы с пустым списком choices.

### Платите ли вы, если отменили поток?

У провайдеров по-разному, и многие это не документируют. Исходите из того, что токены, сгенерированные до того, как сервер заметил закрытое соединение, оплачиваются. Логируйте X-Request-ID и сверяйте с записями об использовании.

### Как понять, что поток завершился нормально?

Вы получили data: \[DONE\], а в последнем чанке с контентом был finish\_reason, например stop. finish\_reason length означает, что ответ обрезан по max\_tokens. Отсутствие \[DONE\] означает, что соединение оборвалось.

### Стриминг ускоряет модель?

Нет. Общее время генерации то же. Стриминг сокращает время, пока пользователь не увидит первые слова, — именно из-за этого чат-интерфейс кажется быстрым.

## Читайте также

-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/)
-   [Логирование LLM API: стоимость по пользователям и функциям без ПДн](https://broadrouter.com/ru/blog/llm-api-usage-logging/)
-   [Ошибка 429 в LLM API: экспоненциальная задержка, jitter и лимитеры](https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Руководство: OpenAI Node.js SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-node-sdk/)
-   [Руководство: Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-streaming-sse-explained&utm_content=page-cta) ·

**Источники**

-   [Справочник API BroadNet Inference, стриминг и usage (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-streaming-sse-explained&utm_content=sources#requests)
-   [MDN, использование server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [Объявление в сообществе OpenAI, статистика usage при стриминге (stream\_options)](https://community.openai.com/t/usage-stats-now-available-when-using-streaming-with-the-chat-completions-api-or-completions-api/738156)
-   [README openai-python, потоковые ответы и повторы (проверено 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, отмена через AbortSignal (проверено 2026-11-14)](https://github.com/openai/openai-node)
