どの LLM API にも調子の悪い数分があります。503、タイムアウト、429 の連発などです。フォールバックとは、その数分をアプリの障害にしないための仕組みです。この記事では、OpenAI 互換のプロバイダー間で自前のコードでフェイルオーバーする方法を紹介します。どのエラーで切り替えるべきか、サーキットブレーカーでどう素早く切り替えるか、そしてユーザーに切り替えを気づかせないためにプロバイダー間で何を揃える必要があるかを扱います。
最初にひとつ。BroadNet Inference は、プロバイダー間のルーティングやフェイルオーバーを代わりに行いません。BroadRouter も同様です。BroadRouter は BroadNet 自身のウェブサイトであり、ルーターではありません。フォールバックは自分で作ります。以下のようにクライアントに組み込むか、LiteLLM などのゲートウェイに置きます。
そもそも予備のプロバイダーを用意する理由は?
ほとんどのセルフサービス API は、稼働率について何も約束していないからです。BroadNet の利用規約は第 7.4 条ではっきりと “self-serve has no availability commitment”(訳:セルフサービスには可用性の約束はありません)と述べ、サービスレベルは別途の書面契約でのみ定めるとしています(2026 年 11 月 15 日確認)。他のプロバイダーが何を約束しているかは LLM API の SLA 比較で取り上げています。機能を止めてはならないなら、SLA に何が書かれていようと、2 つ目のプロバイダーが現実的な保険になります。
2 つ目の理由はレート制限です。BroadNet の従量課金のキーは 1 分あたり 30 リクエスト、同時実行 4 件までです。それを超えるトラフィックの急増には 429 が返りますが、容量を引き上げるまでの間、2 つ目のプロバイダーがあふれた分を受け止められます。
フェイルオーバーを発動させるべきエラーは?
エラーを 2 つのグループに分けます。プロバイダー側の問題で、別の場所なら成功する可能性があるもの。そして自分側の問題で、どこでも失敗するものです。
| エラー | 切り替える? | 理由 |
|---|---|---|
| 接続エラー、タイムアウト | はい(リトライ後) | プロバイダーまたはネットワークに到達できない |
| 500、502、503、504 | はい(リトライ後) | BroadNet のドキュメントは、まず “retry with bounded exponential backoff”(訳:上限付きの指数バックオフでリトライする)よう求めている |
| 429、レートまたは同時実行の制限 | はい(バックオフ後) | 不正なリクエストではなく、このプロバイダーの容量の問題 |
| 429、支出上限 | いいえ | 切り替えると、意図して設定した予算を回避してしまう |
| 400、422 | いいえ | リクエストが無効で、次のプロバイダーでも失敗する |
| 401、402 | いいえ | キー、利用枠、残高の問題。BroadNet では 401 は従量課金の利用枠を使い切った場合も含むので、切り替えると課金の問題が隠れる |
| 403、413 | いいえ | ポリシーかサイズの問題。リクエストを修正する |
BroadNet の API リファレンスによると、429 は “a rate, concurrency, token-rate or spending limit was reached”(訳:レート、同時実行、トークンレート、または支出の上限に達した)ことを意味し、“use response details and bounded backoff”(訳:レスポンスの詳細と上限付きのバックオフを使う)よう求めています。切り替える前にその詳細を読み、支出上限の 429 ならリクエストを別に回さずに止めてください。すべてのステータスはエラーコードガイドに一覧があります。
切り替える前にリトライします。OpenAI Python SDK はすでに、接続エラー、408、409、429、5xx レスポンスを “2 times by default, with a short exponential backoff”(訳:デフォルトで 2 回、短い指数バックオフで)リトライし、デフォルトのタイムアウトは 10 分です(README、2026 年 11 月 15 日確認)。切り替えるまで 10 分待つのは長すぎます。クライアントごとに timeout を設定してください。ジッター付きのバックオフは 429 対応の記事で説明しています。
Python でのフェイルオーバーはどうなるか?
2 つのクライアント、順序付きリスト、小さなサーキットブレーカーです。本番側は BroadNet の GLM 5.3、予備は DeepInfra の同じオープンウェイトモデルで、DeepInfra のドキュメントはベース URL を https://api.deepinfra.com/v1/openai としています(2026 年 11 月 15 日確認)。
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
重要な点が 4 つあります。
- **例外クラス。**SDK は 429 で
RateLimitError、500 以上でInternalServerError、接続できないときにAPIConnectionError(APITimeoutErrorはそのサブクラス)を送出します。それ以外はあえて捕捉しません。支出上限の 429 を除外したい場合は、続行する前にerr.responseを確認してください。 - **サーキットブレーカー。**これがないと、本番側が落ちている間、すべてのリクエストがタイムアウトを丸ごと待ってから次に移ります。3 回続けて失敗すると、本番側は 30 秒間スキップされます。その後、次のリクエストで再び試されます。
- **どこが応答したかを記録する。**プロバイダー名を返し、
reply.modelを保存します。品質が変わったとき、どのプロバイダーが回答したかを知る必要があります。 - **推論の予算。**GLM 5.3 は回答の前に推論します。BroadNet のドキュメントでは推論が
max_tokensに含まれるとされているので、どのプロバイダーでも 1,000 以上を確保してください。
プロバイダー間でモデル ID をどう対応付けるか?
同じオープンウェイトモデルでもホストごとに ID が異なり、各ホストが記載している機能も異なることがあります。2026 年 11 月 15 日時点の GLM 5.3 は次のとおりです。
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| モデル ID | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| コンテキスト | 1,048,576 トークン | 1,048,576 トークン | “1040k” トークン |
| ツール | ドキュメントに記載 | “Function” と記載 | 対応 |
| 構造化出力 | ドキュメントに記載 | “JSON” と記載 | 未確認 |
ここから 2 つのルールが導かれます。第一に、対応表はコードのあちこちに散らばらせず、設定に置くこと。第二に、フォールバック先は自分のリクエストが使う機能に合わせること。BroadNet では、ツールと構造化出力がドキュメントに記載されているのは GLM 5.3 と Qwen3.8 27B だけです。ツール呼び出しを使うエージェントは、GLM 5.3 から別ホストの GLM 5.3 には切り替えられますが、ツールが記載されていないモデルに安全に切り替えることはできません。予備のコンテキストウィンドウが小さい場合は、プロンプトを削るか、長いリクエストではその予備をスキップしてください。14 のプロバイダーのベース URL はベース URL 一覧にあります。
切り替え後も回答の質を揃えるには?
同じ重みでも、2 つのホストでは回答が異なることがあります。ホストによって精度、チャットテンプレート、デフォルトのパラメーターが違う場合があるからです。別のモデルなら、回答は確実に変わります。
- 本番側だけでなく、リストのすべての項目に対して評価セットを実行します。
- リクエストごとに
temperature、max_tokens、システムプロンプトを固定し、プロバイダーのデフォルト値で出力が変わらないようにします。 - 構造化出力は、どの経路でも同じ方法で検証します。修正とリトライのループは不正な JSON の直し方で説明しています。
- 同じホストの別モデルより、別ホストの同じモデルを優先します。ユーザーは数秒の遅延よりも文体の変化に気づきやすいものです。
ストリーミングとツール呼び出しはどうするか?
ストリームは途中で失敗することがあります。BroadNet のドキュメントでは、data: [DONE] の前に終わったストリームは不完全なものとして扱い、X-Request-ID を記録したうえで、アプリが新しいリクエストを安全に送れるか判断するよう求めています。
- **最初のトークンの前:**自由に切り替えてかまいません。ユーザーはまだ何も見ていません。
- **トークンを表示したあと:**予備で最初からやり直して途中の回答を置き換えるか、リトライボタン付きでエラーを表示します。2 つのプロバイダーの回答の断片をつなぎ合わせると、読みにくくなります。
- **副作用のあるツール呼び出し:**モデル呼び出しが失敗したというだけで、メール送信、カード決済、データベース書き込みのステップを再実行してはいけません。各操作に冪等キーを付けてください。チェックポイントについては長時間動くエージェントで説明しています。
途中で終わったストリームの検出方法は SSE によるストリーミングの解説を参照してください。
フェイルオーバーにはどんなコストがかかるか?
- **重複した処理。**こちら側のタイムアウトは、プロバイダーが処理を止めたことの証明にはなりません。トークン課金ではリトライのたびに新しい推論になるので、一部のリクエストは 2 回分支払うことを想定してください。
- **異なる料金。**予備は自社の料金で課金します。DeepInfra は 2026 年 11 月 15 日時点で GLM-5.3 にキャンペーン価格を掲載していたので、予算を立てる前に再確認してください。BroadNet の料金は 100 万トークンあたり入力 $0.78、キャッシュ入力 $0.173、出力 $3.46 です。
- **冷えたキャッシュ。**キャッシュ入力はプロバイダー間で移りません。予備での最初のリクエストは、本番側でキャッシュされていたプレフィックスにも入力の満額を支払います。キャッシュ入力トークンを参照してください。
- **ヘッジ。**すべてのリクエストを 2 つのプロバイダーに同時に送り、先に返った回答を使えば裾のレイテンシは下がりますが、請求額はおよそ 2 倍になります。それだけの価値がある箇所に限って使ってください。
フォールバック先は同じデータ条件を満たしているか?
フォールバック先のプロバイダーは、同じプロンプトを受け取る別の処理者です。顧客にデータについて何かを約束しているなら、その約束はリストのすべての項目で守られなければなりません。
BroadNet のプライバシー声明には “We do not retain prompts, audio, images, answers or transcripts”(訳:プロンプト、音声、画像、回答、文字起こしは保持しません)とあります。推論のコンテンツは保持されず、必要なアカウント、課金、セキュリティのメタデータは声明の記載どおりに保持されます。また、推論データをモデルの学習、ファインチューニング、評価に使わないとしています。声明によれば、ホストされるモデルは “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(訳:米国にある BroadNet 所有またはリースのハードウェアで動作し、パートナーの容量を予備とする)とされています。DeepSeek V4.1 Flash はパートナーがホストしています。所在地の要件があるデータについて、利用規約(第 7.3a 条)は送信前に処理場所を取り決めるよう定めています。予備についても同じ点を確認してください:データ保持、学習への利用、所在地、サブプロセッサー。条件を満たさないなら、機密性の高いリクエストはフォールバック経路に乗せず、失敗時はそのまま拒否(fail closed)してください。確認すべき質問はゼロデータ保持のチェックリストにまとめています。
代わりに LiteLLM のようなゲートウェイを使うべきか?
複数のサービスで同じフォールバックのルールが必要なら、ゲートウェイを使ってください。LiteLLM のプロキシは、順番に試す fallbacks リストを受け付けます。num_retries はフォールバックする前にモデルグループをリトライします。allowed_fails と cooldown_time は失敗しているデプロイメントをしばらく外し、サーキットブレーカーとして機能します。context_window_fallbacks と content_policy_fallbacks は、それぞれの種類のエラーを別に扱います(LiteLLM ドキュメント、2026 年 11 月 15 日確認)。
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
BroadNet のエントリーの全体は LiteLLM プロキシガイドにあります。どちらのエントリーも、ガイドと同じく LiteLLM 汎用の openai/ プレフィックスと api_base を使います。ゲートウェイを入れると経由先が 1 つ増え、動かし続けるべきものも 1 つ増えます。単一のアプリなら、上のようにクライアントに 40 行ほど書くだけで十分です。
必要になる前にフェイルオーバーをテストするには?
- テスト用の設定で本番側を到達できないホストに向け、リクエストが予備に届くか確認します。
- わざと無効なリクエストを送り、切り替えが起きないことを確認します。
- 本番側に無効なキーを使い、401 が黙って切り替わるのではなくエラーとして表に出ることを確認します。
- ブレーカーを観察します。3 回失敗したら、タイムアウトを待たずに本番側がスキップされるはずです。
- 予備が処理するトラフィックの割合が少しでも増えたらアラートを出します。黙ったままのフェイルオーバーは、壊れた本番側を何日も隠してしまうことがあります。
LiteLLM の Router は、直接のテストでフォールバックを強制するための mock_testing_fallbacks=True を受け付けます。
BroadNet Inference が向いているケース
BroadRouter は BroadNet のウェブサイトであり、BroadNet Inference はリストのどちらの位置にも置けます。本番側としては、ツールと構造化出力がドキュメントに記載された GLM 5.3 と Qwen3.8 27B、さらに Gemma 4 VL 26B と DeepSeek V4.1 Flash を、1 つのベース URL でコンテンツを保持せずに提供します。予備としては、リストに加えられる OpenAI 互換エンドポイントがもう 1 つ増えることになります。いずれにしても、フェイルオーバーのロジックは自分で持ちます。BroadNet はプロバイダー間でルーティングせず、セルフサービスには SLA もありません。契約で定めたサービスレベルが必要なら、それは別途の書面契約でのみ得られます。モデルを比較するか、アカウントを作成して、$5 の初回クレジットで Gemma 4 VL 26B を使って切り替えの流れをテストしてください。GLM 5.3 と Qwen3.8 27B にはチャージが必要です。
