BroadRouter

chat completions のストリーミングと接続切断への対処

更新日

/v1/chat/completions で stream を true にし、data: [DONE] という行そのものが届くまで Server-Sent Events を読みます。stream_options の include_usage を付けると、最後のチャンクでトークン数が届きます。[DONE] の前に接続が切れたら回答は不完全として扱い、X-Request-ID をログに残してください。

ストリーミングを使うと、エージェントやチャット画面で、生成中の回答を順に表示できます。BroadNet Inference は標準的な chat completions のストリーミング形式を使っているので、OpenAI Python SDK や OpenAI Node SDK がパースを代わりに行ってくれます。

curl の場合

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N は curl のバッファリングを無効にし、-D は X-Request-ID を含むヘッダーを保存します。

ストリームはどのような形ですか?

レスポンスは Server-Sent Events のストリームです。WHATWG HTML Standard では、各イベントは 1 行以上の data: 行と、その後の空行でできています。コロンで始まる行はコメントで、無視して構いません。各 data: 行には JSON のチャンクが 1 つ入り、テキストは choices[0].delta.content で届きます。

ルール

  1. data: [DONE] という行そのものが届くまでイベントを読み、届いたらリーダーを閉じます。
  2. stream_options: {"include_usage": true} を付けると、[DONE] の直前に追加のチャンクが 1 つ届きます。このチャンクにはリクエスト全体の usage と空の choices リストが入っているので、インデックスでアクセスする前に choices を確認してください。
  3. モデルが報告する場合、その usage には completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は先に推論します)と prompt_tokens_details.cached_tokens が含まれます。キャッシュされたトークンは、安いキャッシュ入力の単価で課金されます。

Python SDK の場合

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK は [DONE] まで代わりに読み取ります。最後に usage が None のままなら、usage のチャンクが届く前にストリームが終わったということです。JavaScript での同じループは OpenAI Node SDK のガイドにあります。

ストリームが途中で終わったとき

[DONE] の前に接続が閉じた場合、回答は不完全です。BroadNet のガイダンスは次のとおりです。

  • X-Request-ID を記録する。
  • アプリケーションが安全に新しいリクエストを送れるかを判断する。リトライは新しい推論で、従量課金ではもう一度課金されます。

無制限プランのエージェントでは、リトライに追加料金はかかりませんが、実行中はそのセッションを使います。

BroadNet のドキュメントによると、本番でストリーミングに頼る前に、モデルごとのリリース検証がまだ必要です。実際に使うモデルでテストしてください。

トラブルシューティング

  • 最後にまとめて表示される。 curl には -N が必要です。独自のプロキシを挟んでいる場合は、text/event-stream のレスポンスバッファリングを無効にしてください。
  • 最後のチャンクで IndexError や undefined になる。 usage のチャンクの choices リストは空です。[0] を読む前に chunk.choices を確認してください。
  • usage がまったく届かない。 stream_options を送っていないか、最後のチャンクの前にストリームが切れています。
  • finish_reason が length で、テキストがわずかなままストリームが止まる。 推論モデルが max_tokens を推論に使い切りました。推論モデルが空の回答を返す理由を参照してください。
  • 並列でストリーミングすると 429 になる。 開いているストリームは、それぞれ実行中のリクエストとして数えられます。従量課金のキーは同時に 4 までです。BroadNet のエラーコードとリトライを参照してください。

よくある質問

chat completions をストリーミングするとき、トークン使用量はどう取得しますか?

stream_options で include_usage を true にして送ります。data: [DONE] の直前に追加のチャンクが 1 つ届き、usage が入っていて choices は空の配列です。先にストリームが切れると、このチャンクは届きません。

curl でストリーミングの回答が最後にまとめて表示されるのはなぜですか?

curl はデフォルトで出力をバッファリングします。-N フラグ(バッファリングなし)を付けると、Server-Sent Events が届くたびに表示されます。

リトライしたストリームは二重に課金されますか?

従量課金では、はい。リトライは新しい推論リクエストです。DeepSeek V4.1 Flash の無制限プランにはトークンの課金メーターがありませんが、リトライ中はそのセッションが使われます。

ストリーミングは通常のリクエストより高くなりますか?

いいえ。ストリーミングで変わるのは回答の届き方で、課金方法は変わりません。従量課金では、ストリーミングなしのリクエストと同じ入力・出力のトークン単価を支払います。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く