BroadRouter
始める

指数バックオフ(exponential backoff)

更新日

指数バックオフ(exponential backoff)とは、失敗するたびに待ち時間を長くして再試行するリトライ戦略で、通常は上限まで遅延を 2 倍ずつ増やします。各待ち時間にランダムなジッターを加えると、多数のクライアントの再試行が分散し、同時にサーバーへ集中しなくなります。

別名: エクスポネンシャルバックオフ、バックオフ、ジッター、リトライ戦略、再試行、backoff and jitter、retry with backoff、jittered backoff、capped exponential backoff、full jitter

API が「ペースを落として」と言っているときに即座に再試行すると、状況を悪化させます。指数バックオフは、そのたびに少しずつ長く待ちます。

しくみ

失敗したら基本の待ち時間だけ待ち、その後は失敗するたびにそれを 2 倍にし、最大値で頭打ちにします。基本 1 秒、上限 32 秒なら、待ち時間は 1、2、4、8、16、32、32 秒と進みます。決まった回数試したらやめて、エラーを呼び出し元に返します。

バックオフだけでは不十分です。100 台のクライアントが同じ瞬間に失敗すれば、再試行もまた同じ瞬間にそろいます。Marc Brooker は AWS の記事で、「Full Jitter」(0 から現在の上限までのランダムな待ち時間)、「Equal Jitter」、「Decorrelated Jitter」を比較しました。最も成績が悪かったのは Equal Jitter で、Full Jitter は「uses less work, but slightly more time.」(訳:仕事量は少ないが、時間はやや多くかかる)という結果でした。彼の結論は、ジッター付きのバックオフは「should be considered a standard approach for remote clients.」(訳:リモートクライアントの標準的な手法と考えるべきだ)というものです。

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

なぜ重要か

  • 429 もカウントされる。 OpenAI のレート制限ガイドは「unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.」(訳:失敗したリクエストも毎分の上限に加算されるので、リクエストを送り続けてもうまくいかない)と注意しています。レート制限を叩き続けると、締め出されたままになります。
  • 再試行は増幅する。 AWS の Builders’ Library は、再試行は「selfish」(訳:利己的)だと指摘し、スタックの 1 か所だけで再試行するよう勧めています。すべての層で再試行すると、負荷が何倍にも膨れ上がることがあります。
  • 副作用。 課金が発生する呼び出しの再試行が安全なのは、冪等キーがある場合だけです。
  • 再試行より予防。 処理中のリクエスト数を同時実行数の上限より低く抑え、そもそも 429 がめったに起きないようにしてください。

BroadNet Inference の場合

BroadNet のエラー表は、429 には「response details and bounded backoff」(訳:応答の詳細と上限付きのバックオフ)で対応し、500、502、503、504 は「with bounded exponential backoff」(訳:上限付きの指数バックオフで)再試行するよう求めています。従量課金キーでは毎分 30 リクエスト、同時実行 4 までです。400、401、403、413、422 は、まず原因を直してください。サポートへの問い合わせ用に X-Request-ID ヘッダーを保存しておいてください。エラーと再試行のガイドで SDK の再試行回数を設定し、LLM API の 429 への対処法ではリミッターとキューのコードを紹介しています。レート制限計算ツールで、上限内にどれだけのトラフィックが収まるかがわかります。

よくある質問

どのエラーをバックオフで再試行すべきですか?

レート制限(429)、サーバーエラー(5xx)、タイムアウト、接続の切断です。400、401、403、413、422 はそのまま再試行せず、先にリクエストやキーを直してください。

なぜジッターを加えるのですか?

ジッターがないと、一緒に失敗したクライアントが一緒に再試行し、再びサーバーに過負荷をかけます。ジッターは各待ち時間をランダムにし、再試行を分散させます。

OpenAI の SDK はすでにバックオフしますか?

はい。公式の OpenAI SDK は、接続エラー、429、5xx の応答を短い指数バックオフで再試行します。max_retries は明示的に設定し、長いバッチジョブでは大きめにして、その上に独自のリミッターを加えてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く