BroadRouter
Mulai

Model fallback

Diperbarui

Model fallback adalah pola keandalan di mana request LLM yang gagal dicoba ulang pada model atau penyedia lain dari sebuah daftar berurutan. Pemicunya bisa berupa error, rate limit, error panjang konteks, atau penolakan kebijakan konten. Pola ini berjalan di klien Anda atau di gateway di depan API.

Disebut juga: model fallback, fallback model, model cadangan, failover model, fallback penyedia, model failover, provider fallback

Setiap API punya menit-menit buruk. Fallback berarti menit buruk di satu penyedia tidak berubah menjadi outage di aplikasi Anda.

Cara kerjanya

Anda menyimpan daftar model yang berurutan. Saat sebuah panggilan gagal, setelah retry-nya sendiri, model berikutnya di daftar mendapat request yang sama.

Dua gateway dari sumber:

Gateway Cara kerja fallback
LiteLLM proxy fallbacks mencantumkan grup model yang dicoba “in-order” (terjemahan: secara berurutan). context_window_fallbacks dan content_policy_fallbacks yang terpisah menangani jenis error tersebut. num_retries melakukan retry pada satu grup sebelum fallback; allowed_fails dan cooldown_time mengeluarkan deployment yang gagal untuk sementara.
OpenRouter Sebuah array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (terjemahan: Jika model pertama mengembalikan error, OpenRouter otomatis mencoba model berikutnya di daftar.) Error apa pun bisa memicunya, termasuk panjang konteks, moderasi, rate limit, dan downtime. Jika model terakhir gagal, error itulah yang dikembalikan.

Versi minimal di sisi klien:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Kenapa ini penting

  • Uptime. Penyedia kedua menutup insiden dan rate limit di penyedia pertama.
  • Output berbeda. Model cadangan menulis dengan cara berbeda, mengikuti tool dengan cara berbeda, dan mungkin lebih mahal. Jalankan eval Anda pada setiap model di rantai, bukan hanya yang pertama.
  • Jangan fallback karena bug Anda sendiri. 400 atau 422 berarti request-nya salah; request itu akan gagal juga di model berikutnya. Lakukan fallback pada 429, timeout, dan 5xx setelah exponential backoff yang dibatasi.

Di BroadNet Inference

BroadNet tidak melakukan routing request secara otomatis dan tidak punya fallback antar-model. BroadRouter, situs ini, adalah situs informasi BroadNet dan juga tidak melakukan routing request. Anda menerapkan fallback sendiri: di klien seperti di atas (panduan failover API LLM menambahkan circuit breaker dan pemetaan ID model), atau di gateway; lihat LLM router dan panduan LiteLLM proxy untuk menambahkan BroadNet sebagai penyedia. Referensi API BroadNet menyarankan retry 5xx dengan exponential backoff yang dibatasi, dan memakai detail respons serta backoff yang dibatasi pada 429. Panduan error dan retry mencantumkan setiap status.

Kesalahan umum

  • Melakukan fallback pada error 401 atau 402, yang menyembunyikan masalah tagihan atau kunci.
  • Tidak mencatat model mana yang melayani setiap balasan, sehingga perubahan kualitas sulit dilacak.

Pertanyaan umum

Sebaiknya retry dulu atau fallback dulu?

Retry dulu untuk gangguan singkat seperti 503. LiteLLM bekerja seperti ini: baru beralih ke grup model lain setelah sebuah panggilan gagal sebanyak num_retries kali.

Model mana yang ditagihkan setelah fallback?

Di OpenRouter, model yang melayani request: request "are priced using the model that was ultimately used" (terjemahan: diberi harga berdasarkan model yang akhirnya dipakai), yang dilaporkan di field model pada respons.

Apakah BroadNet melakukan routing atau fallback otomatis?

Tidak. BroadNet tidak menyediakan routing otomatis, dan BroadRouter adalah situs informasi BroadNet, bukan router. Bangun fallback di klien Anda atau pasang gateway seperti LiteLLM di depannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity