---
title: "LLM API のフェイルオーバーとフォールバック（Python 実装） | BroadRouter"
description: "OpenAI 互換の LLM プロバイダー間でフェイルオーバーする方法。切り替えるべきエラー、サーキットブレーカー、モデル ID の対応付け、ストリーミング、費用とプライバシー条件の揃え方を解説します。"
url: https://broadrouter.com/ja/blog/llm-api-failover-fallback/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/blog/llm-api-failover-fallback/) (2026-11-16 更新).

# LLM API のフェイルオーバー：自前のコードで別プロバイダーへ切り替える

BroadNet Inference チーム · 約 8 分で読めます · 公開日 2026-11-15 · 更新日 2026-11-16

OpenAI 互換プロバイダーを順序付きで並べ、それぞれにクライアントとモデル ID を持たせます。SDK のリトライを使い切ったら、接続エラー、タイムアウト、5xx、レート制限の 429 で切り替えます。400、401、402、403、413、422 では切り替えません。サーキットブレーカーを加え、予備が機能とデータ条件で本番側と揃っているか確認します。

## 要点

-   回数を限ったリトライのあと、接続エラー、タイムアウト、5xx、レート制限の 429 で切り替えます。400、401、402、403、413、422 は次のプロバイダーでも同じように失敗します。
-   モデル ID はプロバイダーごとに異なります。GLM 5.3 は BroadNet では \`broadnet/glm-5.3\`、DeepInfra では \`zai-org/GLM-5.3\`、Fireworks では \`accounts/fireworks/models/glm-5p3\` です。
-   サーキットブレーカーがあれば、本番側が落ちている間、毎リクエストでタイムアウトを待たされずに済みます。
-   ストリームを切り替えるのは最初のトークンの前だけにし、何かを変更するツール呼び出しは決して再実行しないでください。
-   BroadNet も BroadRouter も、ルーティングやフェイルオーバーを代わりに行いません。BroadNet のセルフサービスには可用性の約束がないため、本番アプリはフォールバックを用意すべきです。

**このページの内容**

1.  そもそも予備のプロバイダーを用意する理由は？
2.  フェイルオーバーを発動させるべきエラーは？
3.  Python でのフェイルオーバーはどうなるか？
4.  プロバイダー間でモデル ID をどう対応付けるか？
5.  切り替え後も回答の質を揃えるには？
6.  ストリーミングとツール呼び出しはどうするか？
7.  フェイルオーバーにはどんなコストがかかるか？
8.  フォールバック先は同じデータ条件を満たしているか？
9.  代わりに LiteLLM のようなゲートウェイを使うべきか？
10.  必要になる前にフェイルオーバーをテストするには？
11.  BroadNet Inference が向いているケース

どの LLM API にも調子の悪い数分があります。503、タイムアウト、429 の連発などです。フォールバックとは、その数分をアプリの障害にしないための仕組みです。この記事では、[OpenAI 互換](https://broadrouter.com/ja/glossary/openai-compatible-api/)のプロバイダー間で自前のコードでフェイルオーバーする方法を紹介します。どのエラーで切り替えるべきか、サーキットブレーカーでどう素早く切り替えるか、そしてユーザーに切り替えを気づかせないためにプロバイダー間で何を揃える必要があるかを扱います。

最初にひとつ。**BroadNet Inference は、プロバイダー間のルーティングやフェイルオーバーを代わりに行いません**。BroadRouter も同様です。BroadRouter は BroadNet 自身のウェブサイトであり、ルーターではありません。フォールバックは自分で作ります。以下のようにクライアントに組み込むか、LiteLLM などのゲートウェイに置きます。

## そもそも予備のプロバイダーを用意する理由は？

ほとんどのセルフサービス API は、稼働率について何も約束していないからです。BroadNet の[利用規約](https://www.broadnet.ai/terms)は第 7.4 条ではっきりと “self-serve has no availability commitment”（訳：セルフサービスには可用性の約束はありません）と述べ、サービスレベルは別途の書面契約でのみ定めるとしています（2026 年 11 月 15 日確認）。他のプロバイダーが何を約束しているかは [LLM API の SLA 比較](https://broadrouter.com/ja/blog/llm-api-sla-uptime-compared/)で取り上げています。機能を止めてはならないなら、SLA に何が書かれていようと、2 つ目のプロバイダーが現実的な保険になります。

2 つ目の理由は[レート制限](https://broadrouter.com/ja/glossary/rate-limit/)です。BroadNet の従量課金のキーは 1 分あたり 30 リクエスト、同時実行 4 件までです。それを超えるトラフィックの急増には 429 が返りますが、容量を引き上げるまでの間、2 つ目のプロバイダーがあふれた分を受け止められます。

## フェイルオーバーを発動させるべきエラーは？

エラーを 2 つのグループに分けます。プロバイダー側の問題で、別の場所なら成功する可能性があるもの。そして自分側の問題で、どこでも失敗するものです。

| エラー | 切り替える？ | 理由 |
| --- | --- | --- |
| 接続エラー、タイムアウト | はい（リトライ後） | プロバイダーまたはネットワークに到達できない |
| 500、502、503、504 | はい（リトライ後） | BroadNet のドキュメントは、まず “retry with bounded exponential backoff”（訳：上限付きの指数バックオフでリトライする）よう求めている |
| 429、レートまたは同時実行の制限 | はい（バックオフ後） | 不正なリクエストではなく、このプロバイダーの容量の問題 |
| 429、支出上限 | いいえ | 切り替えると、意図して設定した予算を回避してしまう |
| 400、422 | いいえ | リクエストが無効で、次のプロバイダーでも失敗する |
| 401、402 | いいえ | キー、利用枠、残高の問題。BroadNet では 401 は従量課金の利用枠を使い切った場合も含むので、切り替えると課金の問題が隠れる |
| 403、413 | いいえ | ポリシーかサイズの問題。リクエストを修正する |

BroadNet の [API リファレンス](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-api-failover-fallback&utm_content=body)によると、429 は “a rate, concurrency, token-rate or spending limit was reached”（訳：レート、同時実行、トークンレート、または支出の上限に達した）ことを意味し、“use response details and bounded backoff”（訳：レスポンスの詳細と上限付きのバックオフを使う）よう求めています。切り替える前にその詳細を読み、支出上限の 429 ならリクエストを別に回さずに止めてください。すべてのステータスは[エラーコードガイド](https://broadrouter.com/ja/guides/errors-and-retries/)に一覧があります。

切り替える前にリトライします。OpenAI Python SDK はすでに、接続エラー、408、409、429、5xx レスポンスを “2 times by default, with a short exponential backoff”（訳：デフォルトで 2 回、短い指数バックオフで）リトライし、デフォルトのタイムアウトは 10 分です（[README](https://github.com/openai/openai-python)、2026 年 11 月 15 日確認）。切り替えるまで 10 分待つのは長すぎます。クライアントごとに `timeout` を設定してください。ジッター付きのバックオフは [429 対応の記事](https://broadrouter.com/ja/blog/handle-llm-api-429-rate-limits/)で説明しています。

## Python でのフェイルオーバーはどうなるか？

2 つのクライアント、順序付きリスト、小さなサーキットブレーカーです。本番側は BroadNet の GLM 5.3、予備は DeepInfra の同じオープンウェイトモデルで、DeepInfra のドキュメントはベース URL を `https://api.deepinfra.com/v1/openai` としています（2026 年 11 月 15 日確認）。

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

重要な点が 4 つあります。

1.  \*\*例外クラス。\*\*SDK は 429 で `RateLimitError`、500 以上で `InternalServerError`、接続できないときに `APIConnectionError`（`APITimeoutError` はそのサブクラス）を送出します。それ以外はあえて捕捉しません。支出上限の 429 を除外したい場合は、続行する前に `err.response` を確認してください。
2.  \*\*サーキットブレーカー。\*\*これがないと、本番側が落ちている間、すべてのリクエストがタイムアウトを丸ごと待ってから次に移ります。3 回続けて失敗すると、本番側は 30 秒間スキップされます。その後、次のリクエストで再び試されます。
3.  \*\*どこが応答したかを記録する。\*\*プロバイダー名を返し、`reply.model` を保存します。品質が変わったとき、どのプロバイダーが回答したかを知る必要があります。
4.  \*\*推論の予算。\*\*GLM 5.3 は回答の前に推論します。BroadNet のドキュメントでは推論が `max_tokens` に含まれるとされているので、どのプロバイダーでも 1,000 以上を確保してください。

## プロバイダー間でモデル ID をどう対応付けるか？

同じオープンウェイトモデルでもホストごとに ID が異なり、各ホストが記載している機能も異なることがあります。2026 年 11 月 15 日時点の GLM 5.3 は次のとおりです。

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| モデル ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| コンテキスト | 1,048,576 トークン | 1,048,576 トークン | “1040k” トークン |
| ツール | ドキュメントに記載 | “Function” と記載 | 対応 |
| 構造化出力 | ドキュメントに記載 | “JSON” と記載 | 未確認 |

ここから 2 つのルールが導かれます。第一に、対応表はコードのあちこちに散らばらせず、設定に置くこと。第二に、フォールバック先は自分のリクエストが使う機能に合わせること。BroadNet では、ツールと構造化出力がドキュメントに記載されているのは GLM 5.3 と Qwen3.8 27B だけです。ツール呼び出しを使うエージェントは、GLM 5.3 から別ホストの GLM 5.3 には切り替えられますが、ツールが記載されていないモデルに安全に切り替えることはできません。予備のコンテキストウィンドウが小さい場合は、プロンプトを削るか、長いリクエストではその予備をスキップしてください。14 のプロバイダーのベース URL は[ベース URL 一覧](https://broadrouter.com/ja/blog/openai-compatible-api-base-urls/)にあります。

## 切り替え後も回答の質を揃えるには？

同じ重みでも、2 つのホストでは回答が異なることがあります。ホストによって精度、チャットテンプレート、デフォルトのパラメーターが違う場合があるからです。別のモデルなら、回答は確実に変わります。

-   本番側だけでなく、リストのすべての項目に対して[評価セット](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)を実行します。
-   リクエストごとに `temperature`、`max_tokens`、システムプロンプトを固定し、プロバイダーのデフォルト値で出力が変わらないようにします。
-   構造化出力は、どの経路でも同じ方法で検証します。修正とリトライのループは[不正な JSON の直し方](https://broadrouter.com/ja/blog/fix-invalid-json-from-llm/)で説明しています。
-   同じホストの別モデルより、別ホストの同じモデルを優先します。ユーザーは数秒の遅延よりも文体の変化に気づきやすいものです。

## ストリーミングとツール呼び出しはどうするか？

ストリームは途中で失敗することがあります。BroadNet のドキュメントでは、`data: [DONE]` の前に終わったストリームは不完全なものとして扱い、`X-Request-ID` を記録したうえで、アプリが新しいリクエストを安全に送れるか判断するよう求めています。

-   \*\*最初のトークンの前：\*\*自由に切り替えてかまいません。ユーザーはまだ何も見ていません。
-   \*\*トークンを表示したあと：\*\*予備で最初からやり直して途中の回答を置き換えるか、リトライボタン付きでエラーを表示します。2 つのプロバイダーの回答の断片をつなぎ合わせると、読みにくくなります。
-   \*\*副作用のあるツール呼び出し：\*\*モデル呼び出しが失敗したというだけで、メール送信、カード決済、データベース書き込みのステップを再実行してはいけません。各操作に[冪等キー](https://broadrouter.com/ja/glossary/idempotency-key/)を付けてください。チェックポイントについては[長時間動くエージェント](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)で説明しています。

途中で終わったストリームの検出方法は [SSE によるストリーミングの解説](https://broadrouter.com/ja/blog/llm-streaming-sse-explained/)を参照してください。

## フェイルオーバーにはどんなコストがかかるか？

-   \*\*重複した処理。\*\*こちら側のタイムアウトは、プロバイダーが処理を止めたことの証明にはなりません。トークン課金ではリトライのたびに新しい推論になるので、一部のリクエストは 2 回分支払うことを想定してください。
-   \*\*異なる料金。\*\*予備は自社の料金で課金します。DeepInfra は 2026 年 11 月 15 日時点で GLM-5.3 にキャンペーン価格を掲載していたので、予算を立てる前に再確認してください。BroadNet の料金は 100 万トークンあたり入力 $0.78、キャッシュ入力 $0.173、出力 $3.46 です。
-   \*\*冷えたキャッシュ。\*\*キャッシュ入力はプロバイダー間で移りません。予備での最初のリクエストは、本番側でキャッシュされていたプレフィックスにも入力の満額を支払います。[キャッシュ入力トークン](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)を参照してください。
-   \*\*ヘッジ。\*\*すべてのリクエストを 2 つのプロバイダーに同時に送り、先に返った回答を使えば裾のレイテンシは下がりますが、請求額はおよそ 2 倍になります。それだけの価値がある箇所に限って使ってください。

## フォールバック先は同じデータ条件を満たしているか？

フォールバック先のプロバイダーは、同じプロンプトを受け取る別の処理者です。顧客にデータについて何かを約束しているなら、その約束はリストのすべての項目で守られなければなりません。

BroadNet の[プライバシー声明](https://www.broadnet.ai/inference-privacy)には “We do not retain prompts, audio, images, answers or transcripts”（訳：プロンプト、音声、画像、回答、文字起こしは保持しません）とあります。推論のコンテンツは保持されず、必要なアカウント、課金、セキュリティのメタデータは声明の記載どおりに保持されます。また、推論データをモデルの学習、ファインチューニング、評価に使わないとしています。声明によれば、ホストされるモデルは “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”（訳：米国にある BroadNet 所有またはリースのハードウェアで動作し、パートナーの容量を予備とする）とされています。DeepSeek V4.1 Flash はパートナーがホストしています。所在地の要件があるデータについて、利用規約（第 7.3a 条）は送信前に処理場所を取り決めるよう定めています。予備についても同じ点を確認してください：データ保持、学習への利用、所在地、サブプロセッサー。条件を満たさないなら、機密性の高いリクエストはフォールバック経路に乗せず、失敗時はそのまま拒否（fail closed）してください。確認すべき質問は[ゼロデータ保持のチェックリスト](https://broadrouter.com/ja/blog/zero-data-retention-llm-api-checklist/)にまとめています。

## 代わりに LiteLLM のようなゲートウェイを使うべきか？

複数のサービスで同じフォールバックのルールが必要なら、ゲートウェイを使ってください。LiteLLM のプロキシは、順番に試す `fallbacks` リストを受け付けます。`num_retries` はフォールバックする前にモデルグループをリトライします。`allowed_fails` と `cooldown_time` は失敗しているデプロイメントをしばらく外し、サーキットブレーカーとして機能します。`context_window_fallbacks` と `content_policy_fallbacks` は、それぞれの種類のエラーを別に扱います（[LiteLLM ドキュメント](https://docs.litellm.ai/docs/proxy/reliability)、2026 年 11 月 15 日確認）。

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

BroadNet のエントリーの全体は [LiteLLM プロキシガイド](https://broadrouter.com/ja/guides/litellm-proxy-custom-provider/)にあります。どちらのエントリーも、ガイドと同じく LiteLLM 汎用の `openai/` プレフィックスと `api_base` を使います。ゲートウェイを入れると経由先が 1 つ増え、動かし続けるべきものも 1 つ増えます。単一のアプリなら、上のようにクライアントに 40 行ほど書くだけで十分です。

## 必要になる前にフェイルオーバーをテストするには？

1.  テスト用の設定で本番側を到達できないホストに向け、リクエストが予備に届くか確認します。
2.  わざと無効なリクエストを送り、切り替えが**起きない**ことを確認します。
3.  本番側に無効なキーを使い、401 が黙って切り替わるのではなくエラーとして表に出ることを確認します。
4.  ブレーカーを観察します。3 回失敗したら、タイムアウトを待たずに本番側がスキップされるはずです。
5.  予備が処理するトラフィックの割合が少しでも増えたらアラートを出します。黙ったままのフェイルオーバーは、壊れた本番側を何日も隠してしまうことがあります。

LiteLLM の `Router` は、直接のテストでフォールバックを強制するための `mock_testing_fallbacks=True` を受け付けます。

## BroadNet Inference が向いているケース

BroadRouter は BroadNet のウェブサイトであり、BroadNet Inference はリストのどちらの位置にも置けます。本番側としては、ツールと構造化出力がドキュメントに記載された GLM 5.3 と Qwen3.8 27B、さらに Gemma 4 VL 26B と DeepSeek V4.1 Flash を、1 つの[ベース URL](https://broadrouter.com/ja/glossary/base-url/) でコンテンツを保持せずに提供します。予備としては、リストに加えられる OpenAI 互換エンドポイントがもう 1 つ増えることになります。いずれにしても、フェイルオーバーのロジックは自分で持ちます。BroadNet はプロバイダー間でルーティングせず、セルフサービスには SLA もありません。契約で定めたサービスレベルが必要なら、それは別途の書面契約でのみ得られます。[モデル](https://broadrouter.com/ja/models/)を比較するか、[アカウントを作成](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-api-failover-fallback&utm_content=body)して、$5 の初回クレジットで Gemma 4 VL 26B を使って切り替えの流れをテストしてください。GLM 5.3 と Qwen3.8 27B にはチャージが必要です。

関連する無料ツール （英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール （英語）](https://broadrouter.com/tools/)

## この記事の用語

[モデルフォールバック（model fallback）](https://broadrouter.com/ja/glossary/model-fallback/)

モデルフォールバックとは、失敗した LLM リクエストを順序付きリストの別のモデルやプロバイダーで再試行する手法です。きっかけはエラー、レート制限、コンテキスト長エラー、ポリシーによる拒否などで、クライアントか前段のゲートウェイで実行します。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[指数バックオフ（exponential backoff）](https://broadrouter.com/ja/glossary/exponential-backoff/)

指数バックオフ（exponential backoff）とは、失敗するたびに待ち時間を長くして再試行するリトライ戦略で、通常は上限まで遅延を 2 倍ずつ増やします。各待ち時間にランダムなジッターを加えると、多数のクライアントの再試行が分散し、同時にサーバーへ集中しなくなります。

[リクエストタイムアウト（request timeout）](https://broadrouter.com/ja/glossary/request-timeout/)

リクエストタイムアウト（request timeout）とは、HTTP クライアントがサーバーを待つ最長時間で、超えるとリクエストを諦めます。通常は接続タイムアウトと読み取りタイムアウトに分かれます。長い回答には時間がかかるため、LLM では読み取りタイムアウトを長めにします。

[同時実行数（concurrency）](https://broadrouter.com/ja/glossary/concurrency/)

同時実行数（concurrency）とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

[ベース URL（base URL）](https://broadrouter.com/ja/glossary/base-url/)

ベース URL とは、https://api.example.com/v1 のような API の固定のルートアドレスで、クライアントが /chat/completions などのエンドポイントパスの前に付けます。OpenAI 互換の SDK では、API キーとモデル ID と一緒にベース URL を変えるだけで、同じコードを別のプロバイダーに向けられます。

[構造化出力（Structured Outputs）](https://broadrouter.com/ja/glossary/structured-output/)

構造化出力とは、モデルの回答を開発者が指定した形式（通常は JSON Schema）に制約し、コードで確実に解析できるようにする LLM API の機能です。有効な JSON であることだけを保証し、特定の形までは保証しない JSON モードより厳格です。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

## よくある質問

### LLM API のフォールバックはどのエラーで発動させるべきですか？

SDK 自体のリトライのあと、接続エラー、タイムアウト、5xx、レート制限の 429 です。400、401、402、403、413、422 では切り替えないでください。リクエストかアカウントに問題があり、次のプロバイダーでも同じように失敗するか、課金の問題が隠れてしまいます。

### BroadNet は自動で別のプロバイダーに切り替えますか？

いいえ。BroadNet Inference はモデルやプロバイダー間でリクエストをルーティングしません。また当サイト BroadRouter は BroadNet の情報サイトであり、ルーターではありません。フォールバックはクライアント側か、LiteLLM などのゲートウェイで自分で構築します。

### どのプロバイダーでも同じモデル ID を使えますか？

いいえ。同じオープンウェイトモデルでも、プロバイダーごとに名前が異なります。GLM 5.3 は BroadNet では \`broadnet/glm-5.3\`、DeepInfra では \`zai-org/GLM-5.3\`、Fireworks では \`accounts/fireworks/models/glm-5p3\` です（2026 年 11 月 15 日確認）。プロバイダーごとの対応表を用意してください。

### 失敗した試行にも費用はかかりますか？

かかることがあります。こちら側のタイムアウトは、プロバイダーが処理を止めたことの証明にはなりません。トークン課金では、リトライのたびに新しい推論になります。一部のリクエストが二重に課金されることを見込んで予算を立て、リクエストあたりの試行回数に上限を設けてください。

### フォールバック先のプロバイダーも同じプライバシー条件であるべきですか？

はい。フォールバック先は、同じプロンプトを受け取る別の処理者です。追加する前に、データ保持、学習への利用、処理場所の条件を確認してください。そうしないと、プライバシーの約束は本番側が動いている間しか守られません。

### BroadNet に SLA はありますか？

セルフサービスにはありません。BroadNet の利用規約（第 7.4 条）は、セルフサービスに可用性の約束はなく、サービスレベルは別途の書面契約でのみ定めると述べています。

## 続けて読む

-   [LLM API の 429 エラー対処法：バックオフ、ジッター、同時実行制限](https://broadrouter.com/ja/blog/handle-llm-api-429-rate-limits/)
-   [長時間動くエージェント：崩れないタイムアウト、リトライ、チェックポイント](https://broadrouter.com/ja/blog/long-running-agents-timeouts-retries/)
-   [OpenAI 互換 API の base\_url 一覧：14 社を公式ドキュメントで確認](https://broadrouter.com/ja/blog/openai-compatible-api-base-urls/)
-   [LLM API の SLA 比較：Azure、Bedrock、Google、OpenAI は何を約束しているか](https://broadrouter.com/ja/blog/llm-api-sla-uptime-compared/)
-   [プロバイダーを乗り換える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：BroadNet Inference のエラーコードとリトライすべき場合](https://broadrouter.com/ja/guides/errors-and-retries/)
-   [ガイド：LiteLLM から BroadNet Inference にルーティングする（SDK とプロキシ）](https://broadrouter.com/ja/guides/litellm-proxy-custom-provider/)
-   [ガイド：OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス：エラーとリトライ、制限、ストリーミング、モデルの機能（2026-11-15 確認） （英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-api-failover-fallback&utm_content=sources)
-   [BroadNet 利用規約 第 7.3a 条（処理場所）と第 7.4 条（可用性）（2026-11-15 確認） （英語）](https://www.broadnet.ai/terms)
-   [BroadNet 推論プライバシー声明：コンテンツを保持せず、学習に使わず、米国のハードウェアでパートナーの容量を予備とする（2026-11-15 確認） （英語）](https://www.broadnet.ai/inference-privacy)
-   [OpenAI Python SDK README：リトライ、タイムアウト、エラークラス（2026-11-15 確認）](https://github.com/openai/openai-python)
-   [LiteLLM ドキュメント、プロキシの信頼性：fallbacks、num\_retries、allowed\_fails、cooldown\_time（2026-11-15 確認）](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra ドキュメント、チャットの概要：OpenAI 互換のベース URL（2026-11-15 確認）](https://docs.deepinfra.com/chat/overview)
-   [DeepInfra のモデルページ zai-org/GLM-5.3：コンテキスト、関数呼び出し、JSON 対応（2026-11-15 確認）](https://deepinfra.com/zai-org/GLM-5.3)
-   [Fireworks AI のモデルページ GLM 5.3：モデル ID、コンテキスト、ツール対応（2026-11-15 確認）](https://fireworks.ai/models/fireworks/glm-5p3)
