---
title: "LLM API 429 レート制限の対処：バックオフとキュー | BroadRouter"
description: "429 と 5xx の違い、フルジッター付き指数バックオフ、LLM API 向けの同時実行リミッターとキューを、本番環境にそのまま使える Python と Node のコード付きで解説します。"
url: https://broadrouter.com/ja/blog/handle-llm-api-429-rate-limits/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/)（2026-11-15 更新）。

# LLM API の 429 エラー対処法：バックオフ、ジッター、同時実行制限

BroadNet Inference チーム · 約 5 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-15

429 は、レート、同時実行、支出のいずれかの上限に達したという意味です。上限付きの指数バックオフとランダムなジッターでリトライし、Retry-After が送られたら従います。そのうえで、キーの上限に合わせたセマフォで同時リクエスト数を抑え、残りをキューに入れれば 429 の大半は防げます。5xx も同様にリトライし、他の 4xx は修正します。

## 要点

-   429 と 5xx は上限付きの指数バックオフでリトライします。400、401、403、413、422 はリトライせず、リクエストかアカウントを修正してください。
-   フルジッター（ゼロから指数上限までのランダムな待ち時間）により、多数のクライアントが同じ瞬間にリトライするのを防げます。
-   429 の大半は量ではなく同時実行数が原因です。キーの同時実行上限に合わせたセマフォで、発生源から取り除けます。
-   BroadNet の従量課金キーは毎分 30 リクエスト、同時実行 4 リクエストまでです。プランのセッションは同時に 1 リクエストを実行します。
-   リトライは新しい推論です。トークン課金ではそのたびに再度課金されるので、試行回数に上限を設けてください。

**このページの内容**

1.  429 と 5xx の違いは？
2.  429 の原因になる上限は？
3.  ジッター付きバックオフはどう書くか？
4.  429 を未然に防ぐには？
5.  本格的なキューが必要になるのはいつか？
6.  429 を障害に変えてしまうリトライのミスは？
7.  BroadNet Inference が向いているケース

429 は、トラフィックが[レート制限](https://broadrouter.com/ja/glossary/rate-limit/)を超えたことを意味します。毎分のリクエスト数、同時実行中のリクエスト数、毎分のトークン数、または支出のいずれかです。対処は 2 つに分かれます。**上手にリトライする**：上限付きの指数バックオフにランダムなジッターを加え、`Retry-After` に従います。**一度に送る量を減らす**：キーの同時実行上限に合わせたセマフォとキューを使います。どちらも下にコード付きで説明します。

ステータスコードの完全な一覧は[エラーとリトライのガイド](https://broadrouter.com/ja/guides/errors-and-retries/)を、チェックポイントやタイムアウトを伴う数時間がかりのエージェント実行については[長時間動くエージェント：タイムアウトとリトライ](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)を参照してください。

## 429 と 5xx の違いは？

| ステータス | 誰の問題か | リトライ？ | 方法 |
| --- | --- | --- | --- |
| 429 | トラフィックが上限を超えた | はい | ジッター付きバックオフ。`Retry-After` に従う。同時実行数を下げる |
| 500 / 502 / 503 / 504 | サーバー側 | はい | 上限付きの指数バックオフ |
| 接続リセット、タイムアウト | ネットワークまたはサーバー | 通常は | バックオフ。ストリームの場合は再課金を許容できるときだけ |
| 400 / 422 | 不正なリクエスト | いいえ | ペイロードを修正 |
| 401 / 402 / 403 | キー、残高、ポリシー | いいえ | キーを修正、アカウントにチャージ、許可リストを修正 |
| 413 | リクエストが大きすぎる | いいえ | 小さくする |

BroadNet Inference では、429 はレート、同時実行、トークンレート、支出の 4 つのどの上限からも返る可能性があります。支出の上限は 30 秒では解除されません。BroadNet のドキュメントには、エラー本文のどのフィールドが上限の種類を示すのか書かれていないので、本文をログに残し、キーの詳細に表示される上限と照らし合わせてください。

オープンデータセット [LLM API の無料枠とレート制限](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/)では、14 のプロバイダーが無料利用、初期のレート制限、カード登録の要否、無料枠データでの学習について公開している内容を比較しており、各値に出典と日付を付けています。

## 429 の原因になる上限は？

相手にしている数字を把握しておきましょう。BroadNet Inference では次のとおりです。

| キーの種類 | 毎分のリクエスト数 | 同時実行数 | その他 |
| --- | --- | --- | --- |
| 従量課金 | 30 | 4 | 共有の支出予算 |
| 時間制キー | 120 | 1 ストリーム | 毎分 300,000 トークン |
| 無制限プランのセッション | — | セッションごとに 1 リクエスト | トークンメーターなし |

LLM でいちばん重要なのは同時実行数です。ストリーミング回答は最後のトークンが届くまでスロットを占有するため、長い回答ほど、モデルが書き終えるまでの時間だけスロットがふさがります（BroadNet が示す標準的な速度は 毎秒約 100 トークン です）。キーのスロット数 4 を超える並列呼び出しを送ると、その 1 分間に送ったリクエストがわずかでも、超えた分は 429 になります。これは[同時実行](https://broadrouter.com/ja/glossary/concurrency/)の問題で、バックオフだけではうまく対処できません。リリース前に上限に合わせてワーカー数を決めるには、無料の [LLM レート制限計算ツール](https://broadrouter.com/tools/llm-rate-limit-calculator/)を使ってください。多数の項目からなる決まったジョブなら、[LLM バッチジョブ計画ツール](https://broadrouter.com/tools/llm-batch-job-planner/)が同じ上限から実行時間を算出します。ほかのプロバイダーは数え方が異なります（毎分のトークン数、1 日のリクエスト数、同時実行数）。[プロバイダー別の LLM API レート制限](https://broadrouter.com/ja/blog/llm-api-rate-limits-by-provider/)では、13 社を各社のドキュメントに基づいて比較しています。

## ジッター付きバックオフはどう書くか？

素の[指数バックオフ](https://broadrouter.com/ja/glossary/exponential-backoff/)は 1、2、4、8 秒と待ちます。100 のワーカーが同じ瞬間に制限されると、全員が同じ瞬間に戻ってきます。AWS が 100 の競合クライアントで行ったシミュレーションでは、フルジッターは呼び出し回数を半分以下に減らし、ジッターなしのバックオフより早く完了しました。もっとも単純な**フルジッター**は、ゼロから指数上限までのランダムな時間を待ちます。

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0` は SDK 自身のリトライを無効にし、二重にリトライしないようにします。SDK の組み込みの挙動で十分なら、逆に自前のループをなくし、[Python SDK ガイド](https://broadrouter.com/ja/guides/openai-python-sdk/)のようにクライアントで `max_retries=4` を設定する方法もあります。公式の Python と Node の SDK は、接続エラー、408、409、429、5xx をデフォルトで 2 回リトライします。

`Retry-After` は標準のヘッダー（RFC 9110）で、秒数か日付が入ります。BroadNet のドキュメントでは送信が約束されていないので、コードではオプションとして扱っています。

## 429 を未然に防ぐには？

同時実行中のリクエスト数を、キーの上限に抑えます。Python では、`asyncio.Semaphore` のオブジェクト 1 つと `async with` ブロック 1 つで実現できます。コードでは例として 4 を使っています。実際にはキーの同時実行上限（BroadNet の従量課金キーでは 4）に設定してください。

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather` はすべてのタスクを開始しますが、同時に動くのはセマフォが許可する数だけで、残りはセマフォの待ち行列で待機します。Node では、`p-limit` パッケージで同じことができます。ここでも 4 を例の値にしています。

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

毎分の上限にも対応するには、60 / rpm 秒ごとに 1 つ許可を出すトークンバケットを追加します。rpm はキーの毎分リクエスト上限です（BroadNet の従量課金キーでは 30）。

## 本格的なキューが必要になるのはいつか？

セマフォは 1 つのプロセスの中にしか存在しません。複数のワーカーやサーバーが 1 つのキーを共有すると、上限は共有されるのに、各プロセスには自分のトラフィックしか見えません。その場合は次のようにします。

1.  ジョブを共有キュー（Redis、SQS、データベースのテーブル）に入れます。
2.  キーの同時実行上限と同じ数のコンシューマーを固定で動かします。
3.  各ジョブに ID を付けて結果を ID ごとに保存し、リトライしたジョブが二重に実行されないようにします。
4.  対話型のトラフィックとバッチのトラフィックは別のキーか別のキューに分け、バッチの滞留が返答を待つユーザーを妨げないようにします。

Batch API なしで数千項目を処理する一括ジョブについては、[再開可能なバッチランナー](https://broadrouter.com/ja/blog/llm-batch-processing-without-batch-api/)を参照してください。

## 429 を障害に変えてしまうリトライのミスは？

-   \*\*上限のないリトライ。\*\*長い障害の間に上限のないリトライループが回ると、負荷が何倍にもなり、トークン課金では請求額も膨らみます。
-   \*\*途中まで進んだストリームをやみくもにリトライする。\*\*ストリームがすでにトークンを返していた場合、リトライはまったく新しい推論になり、ユーザーには文章が二重に表示されるかもしれません。不完全なストリームの検出方法は[ストリーミングの記事](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)を参照してください。
-   \*\*アカウントのエラーをリトライする。\*\*従量課金の利用枠を使い切ったときの 401 や、残高不足の 402 は、自然には解消しません。

すべてのリトライを、ステータス、待ち時間、レスポンスヘッダー `X-Request-ID` とともに記録してください。BroadNet のドキュメントは、サポート用にこのヘッダーを保存するよう求めています。リトライ率の上昇は、容量が足りなくなっていることを示すいちばん早い兆候です。記録の方法は[使用量ログ](https://broadrouter.com/ja/blog/llm-api-usage-logging/)で紹介しています。

## BroadNet Inference が向いているケース

BroadNet の上限は公開されており、それを前提に設計できる程度に小さい値です。従量課金キーでは同時実行 4 リクエストです。アプリやエージェントには十分ですが、1 つのキーで数百の並列呼び出しをしたい一括ジョブには窮屈です。エージェント向けには、[無制限プラン](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)にトークンメーターがなく、セッションごとに同時に 1 リクエストを実行します。並列で作業するにはセッションを増やします。詳しくは[コーディングエージェントの並列実行](https://broadrouter.com/ja/blog/run-parallel-coding-agents-flat-rate/)を参照してください。最新の上限は [API リファレンス](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-handle-llm-api-429-rate-limits&utm_content=body#limits)にあります。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[指数バックオフ（exponential backoff）](https://broadrouter.com/ja/glossary/exponential-backoff/)

指数バックオフ（exponential backoff）とは、失敗するたびに待ち時間を長くして再試行するリトライ戦略で、通常は上限まで遅延を 2 倍ずつ増やします。各待ち時間にランダムなジッターを加えると、多数のクライアントの再試行が分散し、同時にサーバーへ集中しなくなります。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[レート制限（rate limit）](https://broadrouter.com/ja/glossary/rate-limit/)

レート制限とは、1 分あたりのリクエスト数やトークン数など、一定時間内にクライアントが API を使える量に API 側が設ける上限です。上限を超えたリクエストは、使用量が下回るまで通常 HTTP 429 Too Many Requests で拒否されます。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[リクエストタイムアウト（request timeout）](https://broadrouter.com/ja/glossary/request-timeout/)

リクエストタイムアウト（request timeout）とは、HTTP クライアントがサーバーを待つ最長時間で、超えるとリクエストを諦めます。通常は接続タイムアウトと読み取りタイムアウトに分かれます。長い回答には時間がかかるため、LLM では読み取りタイムアウトを長めにします。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

## よくある質問

### LLM API の HTTP 429 は何を意味しますか？

Too Many Requests（リクエスト過多）です。毎分のリクエスト数、同時実行中のリクエスト数、毎分のトークン数、または支出の上限を超えました。リクエストは処理されていないので、少し待ってから再送しても安全です。

### 429 のあと、どれくらい待ってからリトライすべきですか？

サーバーが Retry-After を送ってきたらそれに従います。送られない場合は 1 秒前後から始めて試行ごとに 2 倍にし、上限を 30〜60 秒程度にして、ゼロからその上限までのランダムな時間を待ちます。4〜6 回試したら止めてください。

### LLM API の 500 や 503 エラーはリトライすべきですか？

はい、同じく上限付きのバックオフでリトライします。これらはサーバー側の問題です。400、401、403、422 は毎回同じように失敗するので、修正してください。

### OpenAI SDK は 429 を自動でリトライしますか？

はい。公式の Python と Node の SDK は、接続エラー、408、409、429、5xx をデフォルトで 2 回、短い指数バックオフでリトライします。バッチジョブでは max\_retries を増やし、独自の同時実行制限を追加してください。

### 毎分のリクエスト数の上限を下回っているのに 429 が出るのはなぜですか？

たいていは同時実行数の上限です。長いストリーミングレスポンスは何秒も実行中のままなので、数本の並列呼び出しで同時実行の上限に達することがあり、毎分のカウントは低く見えます。

## 続けて読む

-   [長時間動くエージェント：崩れないタイムアウト、リトライ、チェックポイント](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)
-   [LLM のストリーミング解説：SSE のチャンク、delta、usage、キャンセル](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)
-   [定額の LLM API で並列コーディングエージェントを動かす方法](https://broadrouter.com/ja/blog/run-parallel-coding-agents-flat-rate/)
-   [LLM API の利用ログ：ユーザー別・機能別のコストと PII のマスキング](https://broadrouter.com/ja/blog/llm-api-usage-logging/)
-   [Batch API なしで LLM を一括処理する：再開できるランナー](https://broadrouter.com/ja/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)
-   [ガイド：エージェント向け無制限 LLM API プランのしくみ](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス：エラーと制限（2026-11-14 取得）（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog：Exponential Backoff and Jitter（2026-11-14 取得）](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585：ステータスコード 429 Too Many Requests（2026-11-14 取得）](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110：Retry-After ヘッダー（2026-11-14 取得）](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [openai-python README：自動リトライ（2026-11-14 取得）](https://github.com/openai/openai-python)
-   [openai-node README：リトライ（2026-11-14 取得）](https://github.com/openai/openai-node)
