BroadRouter
Начать

Стриминг (streaming)

Обновлено

Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.

Также называют: потоковая передача, потоковый ответ, потоковая генерация, стриминг токенов, streaming, streaming responses, stream=true, token streaming

Без стриминга клиент ждёт, пока ответ будет готов целиком. Со стримингом текст появляется по мере того, как модель его пишет.

Как это работает

Стриминг использует server-sent events (SSE). Сервер отвечает с типом содержимого text/event-stream и держит соединение открытым. MDN описывает формат: строки вида field: value, а сообщения “separated by a pair of newline characters” (перевод: «разделены парой символов новой строки»).

В формате Chat Completions каждое событие несёт чанк с небольшим delta:

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

Клиент склеивает дельты. Конец отмечает буквальная строка data: [DONE]. Чанк с расходом токенов приходит, только если запрос попросил его через stream_options: {"include_usage": true}.

Почему это важно

  • Ощущение скорости. Пользователи видят первые слова через время до первого токена, а не после всего ответа. Дальше текст идёт со скоростью модели в токенах в секунду.
  • Длинные ответы. Стриминг держит соединение активным, а это помогает с прокси, которые закрывают простаивающие запросы.
  • Раннее действие. Агенты и интерфейсы могут начать разбор или отрисовку до конца ответа.

Есть и издержки. OpenAI отмечает, что стриминг усложняет модерацию, потому что “partial completions may be more difficult to evaluate” (перевод: «частичные ответы может быть труднее оценить»). Кроме того, поток может оборваться на середине, а потоковый ответ занимает слот параллельных запросов до самого конца.

В BroadNet Inference

BroadNet использует стандартный формат стриминга chat completions на https://inference.broadnet.ai/v1/chat/completions, поэтому SDK для Python и Node разбирают его за вас. В curl добавьте -N, чтобы отключить буферизацию (в примере модель просят посчитать до трёх):

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

Модели с рассуждениями могут возвращать reasoning_tokens и cached_tokens в последнем чанке с расходом. Если соединение закрылось до [DONE], считайте ответ неполным, сохраните заголовок X-Request-ID и решите, безопасно ли отправить новый запрос. Документация BroadNet советует проверить стриминг на модели, которую вы выпускаете, прежде чем полагаться на него в продакшене. Подробности — в руководстве по стримингу и в статье ошибки и повторные запросы.

Частые ошибки

  • Считать закрытое соединение законченным ответом. Полный ответ означает только [DONE].
  • Ставить перед клиентом прокси с буферизацией. Тогда ответ придёт весь сразу.

Вопросы и ответы

Ускоряет ли стриминг модель?

Нет. Скорость генерации та же. Стриминг раньше показывает первые слова, поэтому ответ кажется быстрее, и позволяет коду работать с частичным выводом.

Как получить расход токенов при стриминге?

В формате Chat Completions передайте stream_options с include_usage: true. Тогда последний чанк будет содержать usage и пустой список choices.

Оплачивается ли повторный поток дважды?

На ключе с оплатой за токены — как правило, да. Повтор — это новый инференс, и он оплачивается заново. На тарифе с фиксированной ценой без учёта токенов он стоит только времени.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity