BroadRouter
始める

SSE(Server-Sent Events)

更新日

SSE(Server-Sent Events)とは、content type が text/event-stream の長時間続く 1 つの HTTP 応答を通じて、サーバーがクライアントにテキストイベントのストリームを送るための Web 標準です。各イベントは data: などのフィールド行 1 行以上と、最後の空行からなります。

別名: サーバー送信イベント、Server-Sent Events、イベントストリーム、SSE ストリーミング、SSE、server-sent events、text/event-stream、event stream、EventSource

SSE は、ストリーミングされるほぼすべての LLM 応答の下にある、プレーンテキストの区切り形式です。形式を知っておくと、SDK が使えないときやストリームの挙動がおかしいときに役立ちます。

しくみ

形式は WHATWG の HTML 標準で定義されています。応答の MIME タイプは text/event-stream で、常に UTF-8 です。本文は field: value の行で構成されます。

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

重要なパースのルールは次のとおりです。

  • 空行でイベントがディスパッチされる。 空行が来るまで、クライアントはバッファリングします。
  • 複数の data: 行は改行で連結されて 1 つのメッセージになります。
  • コロンで始まる行はコメント。 サーバーはアイドル状態の接続を維持するためにこれを送ります。
  • コロンの後のスペース 1 つは取り除かれる。 行末は CRLF、LF、CR のいずれでもかまいません。
  • event、id、retry は、それぞれイベントタイプ、最後のイベント ID、ミリ秒単位の再接続待ち時間を設定します。

ネットワークの読み取り単位はイベントの境界と一致しません。1 回の読み取りにイベントの半分しか入っていないことも、3 つ入っていることもあります。そのためパーサーはバイトをバッファリングし、読み取り単位ではなく空行で分割しなければなりません。

再接続、プロキシ、[DONE]

標準にはブラウザー向けの回復機能が組み込まれています。切断後、EventSource は再接続して Last-Event-ID ヘッダーを送り、サーバーは HTTP 204 で再試行を止めさせることができます。仕様は、「legacy proxy servers」(訳:古いプロキシサーバー)が短いタイムアウトで HTTP 接続を切ることがあると警告し、「every 15 seconds or so」(訳:15 秒程度ごとに)コメント行を送ることを勧めています。

LLM API が使うのはこのうちの一部だけです。OpenAI の Chat Completions のストリームは data: 行だけを送り、data: [DONE] で終わります。これは SSE ではなくこの API の慣習です。再開に使えるイベント ID がないため、切れたストリームは続きから読めず、再試行は新しいリクエストになります。ストリーミングの全体像と、最初のトークンまでの時間における利点はそちらのページで扱っています。

BroadNet Inference の場合

BroadNet のドキュメントは、stream=true を設定し、「read Server-Sent Events until the literal data: [DONE] marker」(訳:文字どおりの data: [DONE] マーカーまで Server-Sent Events を読む)よう求めています。その前に接続が終わったら、応答は不完全なものとして扱い、X-Request-ID ヘッダーを記録し、新しい推論リクエストを送っても安全かを判断してください。stream_options: {"include_usage": true} を付けると、使用量は最後のチャンクで届きます。ドキュメントの curl の例では、curl がバッファリングしないよう -N を使っています。ストリームは終わるまで同時実行の枠を 1 つ占有します。従量課金キーでは 4、時間制キーでは 1 つです。ドキュメントは、本番運用の前にモデルごとにストリーミングを検証するよう求めています。各 SDK のコードはストリーミングのガイドに、チャンクの中身の説明は LLM ストリーミング解説にあります。

よくある質問

ブラウザーの EventSource API で LLM API を呼べますか?

通常、そのままでは使えません。仕様上の EventSource コンストラクターが受け取るのは URL と withCredentials フラグだけなので、POST のボディや Authorization ヘッダーを送れません。fetch でストリームを自分でパースするか、SDK を使ってください。

「data: [DONE]」とはどういう意味ですか?

SSE 標準の一部ではありません。OpenAI 形式の API は、応答が完了したことを示すために「data: [DONE]」という文字どおりの行を最後のイベントとして送ります。

ストリームが一度にまとめて届くのはなぜですか?

リバースプロキシ、フレームワーク、-N なしの curl など、サーバーとコードのあいだのどこかが応答をバッファリングしています。そのルートのバッファリングを無効にしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く