BroadRouter
始める

ストリーミング(streaming)

更新日

ストリーミングとは、言語モデルの応答を最後にまとめて返すのではなく、生成中に小さなチャンクに分けて返す方式です。OpenAI 互換 API では、リクエストで stream を true にすると Server-Sent Events(SSE)でストリーミングされます。

別名: ストリーミング出力、ストリーミング応答、ストリーム出力、SSE、streaming、streaming responses、stream=true、token streaming

ストリーミングしない場合、クライアントは回答全体ができあがるまで待ちます。ストリーミングすれば、モデルが書くそばから文字が表示されます。

しくみ

ストリーミングには Server-Sent Events(SSE)を使います。サーバーはコンテンツタイプ text/event-stream で応答し、接続を開いたままにします。MDN の説明では、形式は field: value の行の並びで、メッセージ同士は「separated by a pair of newline characters.」(訳:2 つの改行文字で区切られる)とされています。

Chat Completions の形式では、各イベントが小さな delta を持つチャンクを運びます。

data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]

クライアントはデルタをつなぎ合わせます。文字どおりの data: [DONE] の行が終わりの合図です。使用量のチャンクは、リクエストで stream_options: {"include_usage": true} を指定した場合にだけ現れます。

なぜ重要か

  • 体感速度。 ユーザーは応答全体を待たず、最初のトークンまでの時間(TTFT)の後に最初の言葉を目にします。その後は、モデルの 1 秒あたりのトークン数で文字が流れます。
  • 長い出力。 ストリーミングは接続をアクティブに保つので、アイドル状態のリクエストを切断するプロキシへの対策になります。
  • 早い段階での処理。 エージェントや UI は、終わりを待たずにパースや描画を始められます。

コストもあります。OpenAI は、「partial completions may be more difficult to evaluate.」(訳:途中までの出力は評価が難しい場合がある)ため、ストリーミングではモデレーションが難しくなると指摘しています。ストリームは途中で切れることもあり、ストリーミング中の応答は終わるまで同時実行の枠を 1 つ占有します。

BroadNet Inference の場合

BroadNet は https://inference.broadnet.ai/v1/chat/completions で標準的な chat completions のストリーミング形式を使うので、Python と Node の SDK がパースしてくれます。curl では、-N を付けてバッファリングをオフにします。

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'

推論モデルは、最後の使用量のチャンクで reasoning_tokens と cached_tokens を報告することがあります。[DONE] の前に接続が閉じた場合は、回答を不完全なものとして扱い、X-Request-ID ヘッダーを記録したうえで、新しいリクエストを送っても安全かを判断してください。BroadNet のドキュメントは、本番でストリーミングに頼る前に、使うモデルで動作を確認するよう求めています。詳しくはストリーミングのガイドとエラーとリトライを参照してください。

よくある間違い

  • 接続が閉じたことを、回答が完了したと受け取ること。完了を意味するのは [DONE] だけです。
  • クライアントの前にバッファリングするプロキシを置くこと。応答が一度にまとめて届いてしまいます。

よくある質問

ストリーミングでモデルは速くなりますか?

いいえ。生成の速度は同じです。ストリーミングでは最初の言葉が早く表示されるので応答が速く感じられ、コードが途中の出力を処理できるようになります。

ストリーミング中にトークンの使用量を取得するには?

Chat Completions の形式では、stream_options の include_usage を true にして送ります。すると最後のチャンクに usage と空の choices リストが入ります。

リトライしたストリームは二重に課金されますか?

トークン課金のキーでは、通常はされます。リトライは新しい推論なので、もう一度課金されます。トークンの計量がない定額プランでは、かかるのは時間だけです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く