---
title: "Что такое стриминг в LLM API? Server-sent events | BroadRouter"
description: "Стриминг отдаёт ответ LLM частями по мере генерации. Как работают server-sent events и [DONE], как получить расход токенов и что делать, если поток оборвался."
url: https://broadrouter.com/ru/glossary/streaming/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/streaming/) (обновлён 2026-11-14).

# Стриминг (streaming)

Обновлено 2026-11-14

Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.

Также называют: потоковая передача, потоковый ответ, потоковая генерация, стриминг токенов, streaming, streaming responses, stream=true, token streaming

Без стриминга клиент ждёт, пока ответ будет готов целиком. Со стримингом текст появляется по мере того, как модель его пишет.

## Как это работает

Стриминг использует [server-sent events (SSE)](https://broadrouter.com/ru/glossary/sse/). Сервер отвечает с типом содержимого `text/event-stream` и держит соединение открытым. MDN описывает формат: строки вида `field: value`, а сообщения “separated by a pair of newline characters” (перевод: «разделены парой символов новой строки»).

В формате Chat Completions каждое событие несёт чанк с небольшим `delta`:

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

Клиент склеивает дельты. Конец отмечает буквальная строка `data: [DONE]`. Чанк с расходом токенов приходит, только если запрос попросил его через `stream_options: {"include_usage": true}`.

## Почему это важно

-   **Ощущение скорости.** Пользователи видят первые слова через [время до первого токена](https://broadrouter.com/ru/glossary/time-to-first-token/), а не после всего ответа. Дальше текст идёт со скоростью модели в [токенах в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/).
-   **Длинные ответы.** Стриминг держит соединение активным, а это помогает с прокси, которые закрывают простаивающие запросы.
-   **Раннее действие.** Агенты и интерфейсы могут начать разбор или отрисовку до конца ответа.

Есть и издержки. OpenAI отмечает, что стриминг усложняет модерацию, потому что “partial completions may be more difficult to evaluate” (перевод: «частичные ответы может быть труднее оценить»). Кроме того, поток может оборваться на середине, а потоковый ответ занимает слот [параллельных запросов](https://broadrouter.com/ru/glossary/concurrency/) до самого конца.

## В BroadNet Inference

BroadNet использует стандартный формат стриминга chat completions на `https://inference.broadnet.ai/v1/chat/completions`, поэтому SDK для [Python](https://broadrouter.com/ru/guides/openai-python-sdk/) и [Node](https://broadrouter.com/ru/guides/openai-node-sdk/) разбирают его за вас. В curl добавьте `-N`, чтобы отключить буферизацию (в примере модель просят посчитать до трёх):

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

Модели с рассуждениями могут возвращать `reasoning_tokens` и `cached_tokens` в последнем чанке с расходом. Если соединение закрылось до `[DONE]`, считайте ответ неполным, сохраните заголовок `X-Request-ID` и решите, безопасно ли отправить новый запрос. Документация BroadNet советует проверить стриминг на модели, которую вы выпускаете, прежде чем полагаться на него в продакшене. Подробности — в [руководстве по стримингу](https://broadrouter.com/ru/guides/streaming-chat-completions/) и в статье [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Частые ошибки

-   Считать закрытое соединение законченным ответом. Полный ответ означает только `[DONE]`.
-   Ставить перед клиентом прокси с буферизацией. Тогда ответ придёт весь сразу.

## Вопросы и ответы

### Ускоряет ли стриминг модель?

Нет. Скорость генерации та же. Стриминг раньше показывает первые слова, поэтому ответ кажется быстрее, и позволяет коду работать с частичным выводом.

### Как получить расход токенов при стриминге?

В формате Chat Completions передайте stream\_options с include\_usage: true. Тогда последний чанк будет содержать usage и пустой список choices.

### Оплачивается ли повторный поток дважды?

На ключе с оплатой за токены — как правило, да. Повтор — это новый инференс, и он оплачивается заново. На тарифе с фиксированной ценой без учёта токенов он стоит только времени.

## См. также

-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/) (термин)
-   [OpenAI-совместимый API](https://broadrouter.com/ru/glossary/openai-compatible-api/) (термин)
-   [Входные и выходные токены (input and output tokens)](https://broadrouter.com/ru/glossary/input-and-output-tokens/) (термин)
-   [Server-sent events (SSE)](https://broadrouter.com/ru/glossary/sse/) (термин)
-   [Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/) (руководство)
-   [OpenAI Node.js SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-node-sdk/) (руководство)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/) (руководство)
-   [Переход на OpenAI-совместимый API: чек-лист миграции](https://broadrouter.com/ru/blog/openai-compatible-api-migration-checklist/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-streaming&utm_content=page-cta) ·

**Источники**

-   [MDN, использование server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, стриминг ответов API](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [Справочник API BroadNet Inference, стриминг (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-streaming&utm_content=sources#requests)
