ストリーミングしない場合、クライアントは回答全体ができあがるまで待ちます。ストリーミングすれば、モデルが書くそばから文字が表示されます。
しくみ
ストリーミングには Server-Sent Events(SSE)を使います。サーバーはコンテンツタイプ text/event-stream で応答し、接続を開いたままにします。MDN の説明では、形式は field: value の行の並びで、メッセージ同士は「separated by a pair of newline characters.」(訳:2 つの改行文字で区切られる)とされています。
Chat Completions の形式では、各イベントが小さな delta を持つチャンクを運びます。
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}
data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}
data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}
data: [DONE]
クライアントはデルタをつなぎ合わせます。文字どおりの data: [DONE] の行が終わりの合図です。使用量のチャンクは、リクエストで stream_options: {"include_usage": true} を指定した場合にだけ現れます。
なぜ重要か
- 体感速度。 ユーザーは応答全体を待たず、最初のトークンまでの時間(TTFT)の後に最初の言葉を目にします。その後は、モデルの 1 秒あたりのトークン数で文字が流れます。
- 長い出力。 ストリーミングは接続をアクティブに保つので、アイドル状態のリクエストを切断するプロキシへの対策になります。
- 早い段階での処理。 エージェントや UI は、終わりを待たずにパースや描画を始められます。
コストもあります。OpenAI は、「partial completions may be more difficult to evaluate.」(訳:途中までの出力は評価が難しい場合がある)ため、ストリーミングではモデレーションが難しくなると指摘しています。ストリームは途中で切れることもあり、ストリーミング中の応答は終わるまで同時実行の枠を 1 つ占有します。
BroadNet Inference の場合
BroadNet は https://inference.broadnet.ai/v1/chat/completions で標準的な chat completions のストリーミング形式を使うので、Python と Node の SDK がパースしてくれます。curl では、-N を付けてバッファリングをオフにします。
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
推論モデルは、最後の使用量のチャンクで reasoning_tokens と cached_tokens を報告することがあります。[DONE] の前に接続が閉じた場合は、回答を不完全なものとして扱い、X-Request-ID ヘッダーを記録したうえで、新しいリクエストを送っても安全かを判断してください。BroadNet のドキュメントは、本番でストリーミングに頼る前に、使うモデルで動作を確認するよう求めています。詳しくはストリーミングのガイドとエラーとリトライを参照してください。
よくある間違い
- 接続が閉じたことを、回答が完了したと受け取ること。完了を意味するのは
[DONE]だけです。 - クライアントの前にバッファリングするプロキシを置くこと。応答が一度にまとめて届いてしまいます。