BroadRouter
始める

リクエストタイムアウト(request timeout)

更新日

リクエストタイムアウト(request timeout)とは、HTTP クライアントがサーバーを待つ最長時間で、超えるとリクエストを諦めます。通常は接続タイムアウトと読み取りタイムアウトに分かれます。長い回答には時間がかかるため、LLM では読み取りタイムアウトを長めにします。

別名: タイムアウト、読み取りタイムアウト、接続タイムアウト、クライアントタイムアウト、HTTP タイムアウト、read timeout、connect timeout、client timeout、HTTP timeout

どんなネットワーク呼び出しにも、待つのをやめる時点が必要です。LLM の呼び出しではその時点を決めるのが難しいものです。しばらくのあいだ、遅い回答と切れた接続は見分けがつかないからです。

しくみ

HTTP クライアントは、待ち時間をいくつかの段階に分けます。Python でよく使われる HTTP クライアントの HTTPX には 4 つあります。

タイムアウト HTTPX での意味 エラー
Connect(接続) ソケット接続を確立するまでの最長時間 ConnectTimeout
Read(読み取り) 受信データのチャンクを待つ最長時間 ReadTimeout
Write(書き込み) リクエストボディのチャンクを送るまでの最長待ち時間 WriteTimeout
Pool(プール) プールから接続を得るまでの最長待ち時間 PoolTimeout

素の HTTPX は、デフォルトでネットワークの無通信が 5 秒続くとタイムアウトします。OpenAI Python SDK は独自のデフォルトを持っています。「By default requests time out after 10 minutes」(訳:デフォルトではリクエストは 10 分でタイムアウトする)で、APITimeoutError を送出し、タイムアウトしたリクエストを 2 回再試行します。また、接続エラーや 408、409、429、5xx の応答もデフォルトで再試行します。

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

サーバーにもタイムアウトがあります。MDN は、504 Gateway Timeout をゲートウェイやプロキシが「did not get a response in time from the upstream server」(訳:上流サーバーから時間内に応答を得られなかった)状態、408 Request Timeout をサーバーが「to shut down this unused connection」(訳:この使われていない接続を閉じたい)状態と定義しています。

なぜ重要か

  • 推論モデルは出だしが遅い。 思考は最初の見えるトークンより前に行われます。ストリーミングしない呼び出しに短い読み取りタイムアウトを設定すると、正常なリクエストを途中で切ってしまうことがあります。
  • ストリームなら停止を検出できる。 ストリーミングではチャンクが届くたびに読み取りタイマーがリセットされるので、長い回答でも停止がすぐにわかります。
  • 再試行でコストが倍になりうる。 タイムアウトしても、サーバーが処理を止めたとは限りません。まだ動いているリクエストを再試行すると、二重に課金されるかもしれません。上限付きの指数バックオフを使い、API が対応していれば冪等キーも使ってください。

BroadNet Inference の場合

BroadNet の API リファレンスは、data: [DONE] までストリームを読むよう求めています。その前に接続が終わったら、「treat the response as incomplete, record the X-Request-ID」(訳:応答を不完全として扱い、X-Request-ID を記録する)うえで、アプリケーションが新しいリクエストを安全に送れるかを判断します。500、502、503、504 については上限付きの指数バックオフで再試行するよう記載されています。429 は、レート、同時実行、トークンレート、支出のいずれかの上限に達したことを意味します。サポートへの問い合わせ用に X-Request-ID を保存しておいてください。エラーと再試行のガイドと長時間動くエージェントの記事に、実際に使える設定があります。

よくある間違い

  • デフォルトのままにして、固まった呼び出しが 10 分間ワーカーを塞ぐ理由がわからずに悩むこと。
  • 上限なしで再試行し、たった 1 分の不調をリクエストの洪水に変えてしまうこと。

よくある質問

OpenAI Python SDK のデフォルトのタイムアウトはどれくらいですか?

README には「By default requests time out after 10 minutes」(訳:デフォルトではリクエストは 10 分でタイムアウトする)とあり、タイムアウトしたリクエストはデフォルトで短い指数バックオフを挟んで 2 回再試行されます。

すべての LLM 呼び出しに同じタイムアウトを使ってよいですか?

いいえ。短い分類の呼び出しと長い推論の回答では、必要な上限が違います。ストリーミングなら、1 つの長い全体の上限よりも、チャンク間の間隔に読み取りタイムアウトをかけるほうが停止をうまく検出できます。

BroadNet のストリームが途中で止まったらどうすればよいですか?

BroadNet は、data: [DONE] より前に終わったストリームは不完全として扱い、X-Request-ID を記録し、アプリケーションが新しいリクエストを安全に送れるかを判断するよう求めています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く