Без стриминга клиент ждёт, пока ответ будет готов целиком. Со стримингом текст появляется по мере того, как модель его пишет.
Как это работает
Стриминг использует server-sent events (SSE). Сервер отвечает с типом содержимого text/event-stream и держит соединение открытым. MDN описывает формат: строки вида field: value, а сообщения “separated by a pair of newline characters” (перевод: «разделены парой символов новой строки»).
В формате Chat Completions каждое событие несёт чанк с небольшим delta:
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
Клиент склеивает дельты. Конец отмечает буквальная строка data: [DONE]. Чанк с расходом токенов приходит, только если запрос попросил его через stream_options: {"include_usage": true}.
Почему это важно
- Ощущение скорости. Пользователи видят первые слова через время до первого токена, а не после всего ответа. Дальше текст идёт со скоростью модели в токенах в секунду.
- Длинные ответы. Стриминг держит соединение активным, а это помогает с прокси, которые закрывают простаивающие запросы.
- Раннее действие. Агенты и интерфейсы могут начать разбор или отрисовку до конца ответа.
Есть и издержки. OpenAI отмечает, что стриминг усложняет модерацию, потому что “partial completions may be more difficult to evaluate” (перевод: «частичные ответы может быть труднее оценить»). Кроме того, поток может оборваться на середине, а потоковый ответ занимает слот параллельных запросов до самого конца.
В BroadNet Inference
BroadNet использует стандартный формат стриминга chat completions на https://inference.broadnet.ai/v1/chat/completions, поэтому SDK для Python и Node разбирают его за вас. В curl добавьте -N, чтобы отключить буферизацию (в примере модель просят посчитать до трёх):
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
Модели с рассуждениями могут возвращать reasoning_tokens и cached_tokens в последнем чанке с расходом. Если соединение закрылось до [DONE], считайте ответ неполным, сохраните заголовок X-Request-ID и решите, безопасно ли отправить новый запрос. Документация BroadNet советует проверить стриминг на модели, которую вы выпускаете, прежде чем полагаться на него в продакшене. Подробности — в руководстве по стримингу и в статье ошибки и повторные запросы.
Частые ошибки
- Считать закрытое соединение законченным ответом. Полный ответ означает только
[DONE]. - Ставить перед клиентом прокси с буферизацией. Тогда ответ придёт весь сразу.