どんなネットワーク呼び出しにも、待つのをやめる時点が必要です。LLM の呼び出しではその時点を決めるのが難しいものです。しばらくのあいだ、遅い回答と切れた接続は見分けがつかないからです。
しくみ
HTTP クライアントは、待ち時間をいくつかの段階に分けます。Python でよく使われる HTTP クライアントの HTTPX には 4 つあります。
| タイムアウト | HTTPX での意味 | エラー |
|---|---|---|
| Connect(接続) | ソケット接続を確立するまでの最長時間 | ConnectTimeout |
| Read(読み取り) | 受信データのチャンクを待つ最長時間 | ReadTimeout |
| Write(書き込み) | リクエストボディのチャンクを送るまでの最長待ち時間 | WriteTimeout |
| Pool(プール) | プールから接続を得るまでの最長待ち時間 | PoolTimeout |
素の HTTPX は、デフォルトでネットワークの無通信が 5 秒続くとタイムアウトします。OpenAI Python SDK は独自のデフォルトを持っています。「By default requests time out after 10 minutes」(訳:デフォルトではリクエストは 10 分でタイムアウトする)で、APITimeoutError を送出し、タイムアウトしたリクエストを 2 回再試行します。また、接続エラーや 408、409、429、5xx の応答もデフォルトで再試行します。
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
サーバーにもタイムアウトがあります。MDN は、504 Gateway Timeout をゲートウェイやプロキシが「did not get a response in time from the upstream server」(訳:上流サーバーから時間内に応答を得られなかった)状態、408 Request Timeout をサーバーが「to shut down this unused connection」(訳:この使われていない接続を閉じたい)状態と定義しています。
なぜ重要か
- 推論モデルは出だしが遅い。 思考は最初の見えるトークンより前に行われます。ストリーミングしない呼び出しに短い読み取りタイムアウトを設定すると、正常なリクエストを途中で切ってしまうことがあります。
- ストリームなら停止を検出できる。 ストリーミングではチャンクが届くたびに読み取りタイマーがリセットされるので、長い回答でも停止がすぐにわかります。
- 再試行でコストが倍になりうる。 タイムアウトしても、サーバーが処理を止めたとは限りません。まだ動いているリクエストを再試行すると、二重に課金されるかもしれません。上限付きの指数バックオフを使い、API が対応していれば冪等キーも使ってください。
BroadNet Inference の場合
BroadNet の API リファレンスは、data: [DONE] までストリームを読むよう求めています。その前に接続が終わったら、「treat the response as incomplete, record the X-Request-ID」(訳:応答を不完全として扱い、X-Request-ID を記録する)うえで、アプリケーションが新しいリクエストを安全に送れるかを判断します。500、502、503、504 については上限付きの指数バックオフで再試行するよう記載されています。429 は、レート、同時実行、トークンレート、支出のいずれかの上限に達したことを意味します。サポートへの問い合わせ用に X-Request-ID を保存しておいてください。エラーと再試行のガイドと長時間動くエージェントの記事に、実際に使える設定があります。
よくある間違い
- デフォルトのままにして、固まった呼び出しが 10 分間ワーカーを塞ぐ理由がわからずに悩むこと。
- 上限なしで再試行し、たった 1 分の不調をリクエストの洪水に変えてしまうこと。