どの API にも調子の悪い数分間があります。フォールバックがあれば、あるプロバイダーの不調な数分間が、アプリの障害にはなりません。
仕組み
順序付きのモデルのリストを用意します。ある呼び出しが、それ自体のリトライの後も失敗したら、リストの次のモデルに同じリクエストを送ります。
出典にある 2 つのゲートウェイは次のとおりです。
| ゲートウェイ | フォールバックの仕組み |
|---|---|
| LiteLLM プロキシ | fallbacks にモデルグループを並べ、“in-order”(訳:順番に)試します。context_window_fallbacks と content_policy_fallbacks がそれぞれのエラーを別に扱います。num_retries はフォールバック前に同じグループでリトライし、allowed_fails と cooldown_time は失敗が続くデプロイメントをしばらく外します。 |
| OpenRouter | models 配列を使います。“If the first model returns an error, OpenRouter will automatically try the next model in the list.”(訳:最初のモデルがエラーを返したら、OpenRouter は自動的にリストの次のモデルを試す)。コンテキスト長、モデレーション、レート制限、ダウンタイムなど、どのエラーでも発動します。最後のモデルも失敗したら、そのエラーが返ります。 |
クライアント側の最小限の実装です。
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
なぜ重要か
- 稼働率。 2 つ目のプロバイダーが、1 つ目の障害やレート制限をカバーします。
- 出力が変わる。 予備のモデルは書き方もツールの扱い方も違い、料金が高いこともあります。最初のモデルだけでなく、チェーン内のすべてのモデルで評価を実行してください。
- 自分のバグでフォールバックしない。 400 や 422 はリクエスト自体が誤っていることを意味し、次のモデルでも失敗します。フォールバックは、429、タイムアウト、5xx に対して、上限付きの指数バックオフを経てから行ってください。
BroadNet Inference の場合
BroadNet はリクエストを自動でルーティングせず、モデル間のフォールバックもありません。このサイト BroadRouter は BroadNet の情報サイトで、こちらもリクエストをルーティングしません。フォールバックは自分で実装します。上記のようにクライアントで行うか(LLM API のフェイルオーバー実践ガイドではサーキットブレーカーとモデル ID の対応付けを加えています)、ゲートウェイで行ってください。BroadNet をプロバイダーとして追加する方法は、LLM ルーターと LiteLLM プロキシのガイドを参照してください。BroadNet の API リファレンスは、5xx は上限付きの指数バックオフでリトライし、429 では応答の詳細と上限付きのバックオフを使うよう求めています。各ステータスの一覧はエラーとリトライのガイドにあります。
よくある間違い
- 401 や 402 のエラーでフォールバックし、請求やキーの問題を隠してしまう。
- どのモデルが各返答を処理したかを記録せず、品質の変化を追えなくなる。