---
title: "LLM の応答を SSE でストリーミング：usage とリトライ | BroadRouter"
description: "BroadNet Inference のストリーミングの仕組みです。Server-Sent Events、[DONE] マーカー、最後のチャンクに入るトークン使用量、ストリームが途中で切れたときの対処を説明します。"
url: https://broadrouter.com/ja/guides/streaming-chat-completions/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/guides/streaming-chat-completions/)（2026-11-15 更新）。

# chat completions のストリーミングと接続切断への対処

更新日 2026-11-15

/v1/chat/completions で stream を true にし、data: \[DONE\] という行そのものが届くまで Server-Sent Events を読みます。stream\_options の include\_usage を付けると、最後のチャンクでトークン数が届きます。\[DONE\] の前に接続が切れたら回答は不完全として扱い、X-Request-ID をログに残してください。

ストリーミングを使うと、エージェントやチャット画面で、生成中の回答を順に表示できます。BroadNet Inference は標準的な chat completions のストリーミング形式を使っているので、[OpenAI Python SDK](https://broadrouter.com/ja/guides/openai-python-sdk/) や [OpenAI Node SDK](https://broadrouter.com/ja/guides/openai-node-sdk/) がパースを代わりに行ってくれます。

## curl の場合

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` は curl のバッファリングを無効にし、`-D` は `X-Request-ID` を含むヘッダーを保存します。

## ストリームはどのような形ですか？

レスポンスは [Server-Sent Events](https://broadrouter.com/ja/glossary/sse/) のストリームです。WHATWG HTML Standard では、各イベントは 1 行以上の `data:` 行と、その後の空行でできています。コロンで始まる行はコメントで、無視して構いません。各 `data:` 行には JSON のチャンクが 1 つ入り、テキストは `choices[0].delta.content` で届きます。

## ルール

1.  `data: [DONE]` という行そのものが届くまでイベントを読み、届いたらリーダーを閉じます。
2.  `stream_options: {"include_usage": true}` を付けると、`[DONE]` の直前に追加のチャンクが 1 つ届きます。このチャンクにはリクエスト全体の `usage` と空の `choices` リストが入っているので、インデックスでアクセスする前に `choices` を確認してください。
3.  モデルが報告する場合、その usage には `completion_tokens_details.reasoning_tokens`（DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は先に推論します）と `prompt_tokens_details.cached_tokens` が含まれます。キャッシュされたトークンは、安いキャッシュ入力の単価で課金されます。

## Python SDK の場合

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK は `[DONE]` まで代わりに読み取ります。最後に `usage` が `None` のままなら、usage のチャンクが届く前にストリームが終わったということです。JavaScript での同じループは [OpenAI Node SDK のガイド](https://broadrouter.com/ja/guides/openai-node-sdk/)にあります。

## ストリームが途中で終わったとき

`[DONE]` の前に接続が閉じた場合、回答は不完全です。BroadNet のガイダンスは次のとおりです。

-   `X-Request-ID` を記録する。
-   アプリケーションが安全に**新しい**リクエストを送れるかを判断する。リトライは新しい推論で、従量課金ではもう一度課金されます。

[無制限プラン](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)のエージェントでは、リトライに追加料金はかかりませんが、実行中はそのセッションを使います。

BroadNet のドキュメントによると、本番でストリーミングに頼る前に、モデルごとのリリース検証がまだ必要です。実際に使うモデルでテストしてください。

## トラブルシューティング

-   **最後にまとめて表示される。** curl には `-N` が必要です。独自のプロキシを挟んでいる場合は、`text/event-stream` のレスポンスバッファリングを無効にしてください。
-   **最後のチャンクで `IndexError` や `undefined` になる。** usage のチャンクの `choices` リストは空です。`[0]` を読む前に `chunk.choices` を確認してください。
-   **usage がまったく届かない。** `stream_options` を送っていないか、最後のチャンクの前にストリームが切れています。
-   **`finish_reason` が `length` で、テキストがわずかなままストリームが止まる。** 推論モデルが `max_tokens` を推論に使い切りました。[推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)を参照してください。
-   **並列でストリーミングすると 429 になる。** 開いているストリームは、それぞれ実行中のリクエストとして数えられます。従量課金のキーは同時に 4 までです。[BroadNet のエラーコードとリトライ](https://broadrouter.com/ja/guides/errors-and-retries/)を参照してください。

## このガイドの用語

[SSE（Server-Sent Events）](https://broadrouter.com/ja/glossary/sse/)

SSE（Server-Sent Events）とは、content type が text/event-stream の長時間続く 1 つの HTTP 応答を通じて、サーバーがクライアントにテキストイベントのストリームを送るための Web 標準です。各イベントは data: などのフィールド行 1 行以上と、最後の空行からなります。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[Chat Completions API（チャット補完 API）](https://broadrouter.com/ja/glossary/chat-completions-api/)

Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

[ストリーミング（streaming）](https://broadrouter.com/ja/glossary/streaming/)

ストリーミングとは、言語モデルの応答を最後にまとめて返すのではなく、生成中に小さなチャンクに分けて返す方式です。OpenAI 互換 API では、リクエストで stream を true にすると Server-Sent Events（SSE）でストリーミングされます。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

## よくある質問

### chat completions をストリーミングするとき、トークン使用量はどう取得しますか？

stream\_options で include\_usage を true にして送ります。data: \[DONE\] の直前に追加のチャンクが 1 つ届き、usage が入っていて choices は空の配列です。先にストリームが切れると、このチャンクは届きません。

### curl でストリーミングの回答が最後にまとめて表示されるのはなぜですか？

curl はデフォルトで出力をバッファリングします。-N フラグ（バッファリングなし）を付けると、Server-Sent Events が届くたびに表示されます。

### リトライしたストリームは二重に課金されますか？

従量課金では、はい。リトライは新しい推論リクエストです。DeepSeek V4.1 Flash の無制限プランにはトークンの課金メーターがありませんが、リトライ中はそのセッションが使われます。

### ストリーミングは通常のリクエストより高くなりますか？

いいえ。ストリーミングで変わるのは回答の届き方で、課金方法は変わりません。従量課金では、ストリーミングなしのリクエストと同じ入力・出力のトークン単価を支払います。

## 関連ガイド

-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-streaming-chat-completions&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス、ストリーミング（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard、Server-Sent Events（2026-11-14 確認）](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK、stream\_options include\_usage の docstring（2026-11-14 確認）](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
