BroadRouter
始める

モデルフォールバック(model fallback)

更新日

モデルフォールバックとは、失敗した LLM リクエストを順序付きリストの別のモデルやプロバイダーで再試行する手法です。きっかけはエラー、レート制限、コンテキスト長エラー、ポリシーによる拒否などで、クライアントか前段のゲートウェイで実行します。

別名: モデルフォールバック、フォールバック、予備モデル、フェイルオーバー、プロバイダーの切り替え、model fallback、fallback model、model failover、provider fallback

どの API にも調子の悪い数分間があります。フォールバックがあれば、あるプロバイダーの不調な数分間が、アプリの障害にはなりません。

仕組み

順序付きのモデルのリストを用意します。ある呼び出しが、それ自体のリトライの後も失敗したら、リストの次のモデルに同じリクエストを送ります。

出典にある 2 つのゲートウェイは次のとおりです。

ゲートウェイ フォールバックの仕組み
LiteLLM プロキシ fallbacks にモデルグループを並べ、“in-order”(訳:順番に)試します。context_window_fallbacks と content_policy_fallbacks がそれぞれのエラーを別に扱います。num_retries はフォールバック前に同じグループでリトライし、allowed_fails と cooldown_time は失敗が続くデプロイメントをしばらく外します。
OpenRouter models 配列を使います。“If the first model returns an error, OpenRouter will automatically try the next model in the list.”(訳:最初のモデルがエラーを返したら、OpenRouter は自動的にリストの次のモデルを試す)。コンテキスト長、モデレーション、レート制限、ダウンタイムなど、どのエラーでも発動します。最後のモデルも失敗したら、そのエラーが返ります。

クライアント側の最小限の実装です。

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

なぜ重要か

  • 稼働率。 2 つ目のプロバイダーが、1 つ目の障害やレート制限をカバーします。
  • 出力が変わる。 予備のモデルは書き方もツールの扱い方も違い、料金が高いこともあります。最初のモデルだけでなく、チェーン内のすべてのモデルで評価を実行してください。
  • 自分のバグでフォールバックしない。 400 や 422 はリクエスト自体が誤っていることを意味し、次のモデルでも失敗します。フォールバックは、429、タイムアウト、5xx に対して、上限付きの指数バックオフを経てから行ってください。

BroadNet Inference の場合

BroadNet はリクエストを自動でルーティングせず、モデル間のフォールバックもありません。このサイト BroadRouter は BroadNet の情報サイトで、こちらもリクエストをルーティングしません。フォールバックは自分で実装します。上記のようにクライアントで行うか(LLM API のフェイルオーバー実践ガイドではサーキットブレーカーとモデル ID の対応付けを加えています)、ゲートウェイで行ってください。BroadNet をプロバイダーとして追加する方法は、LLM ルーターと LiteLLM プロキシのガイドを参照してください。BroadNet の API リファレンスは、5xx は上限付きの指数バックオフでリトライし、429 では応答の詳細と上限付きのバックオフを使うよう求めています。各ステータスの一覧はエラーとリトライのガイドにあります。

よくある間違い

  • 401 や 402 のエラーでフォールバックし、請求やキーの問題を隠してしまう。
  • どのモデルが各返答を処理したかを記録せず、品質の変化を追えなくなる。

よくある質問

リトライとフォールバックはどちらを先にすべきですか?

503 のような短時間の障害には、まずリトライしてください。LiteLLM もこの方式で、呼び出しが num_retries 回失敗した後で初めて別のモデルグループにフォールバックします。

フォールバックの後は、どのモデルで課金されますか?

OpenRouter では、実際にリクエストを処理したモデルです。リクエストは "are priced using the model that was ultimately used"(訳:最終的に使われたモデルで料金が決まる)とされ、そのモデルは応答の model フィールドに示されます。

BroadNet は自動でルーティングやフォールバックをしますか?

いいえ。BroadNet は自動ルーティングを提供しておらず、BroadRouter は BroadNet の情報サイトで、ルーターではありません。フォールバックはクライアントに組み込むか、LiteLLM のようなゲートウェイを前段に置いてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く