Setiap API punya menit-menit buruk. Fallback berarti menit buruk di satu penyedia tidak berubah menjadi outage di aplikasi Anda.
Cara kerjanya
Anda menyimpan daftar model yang berurutan. Saat sebuah panggilan gagal, setelah retry-nya sendiri, model berikutnya di daftar mendapat request yang sama.
Dua gateway dari sumber:
| Gateway | Cara kerja fallback |
|---|---|
| LiteLLM proxy | fallbacks mencantumkan grup model yang dicoba “in-order” (terjemahan: secara berurutan). context_window_fallbacks dan content_policy_fallbacks yang terpisah menangani jenis error tersebut. num_retries melakukan retry pada satu grup sebelum fallback; allowed_fails dan cooldown_time mengeluarkan deployment yang gagal untuk sementara. |
| OpenRouter | Sebuah array models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (terjemahan: Jika model pertama mengembalikan error, OpenRouter otomatis mencoba model berikutnya di daftar.) Error apa pun bisa memicunya, termasuk panjang konteks, moderasi, rate limit, dan downtime. Jika model terakhir gagal, error itulah yang dikembalikan. |
Versi minimal di sisi klien:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Kenapa ini penting
- Uptime. Penyedia kedua menutup insiden dan rate limit di penyedia pertama.
- Output berbeda. Model cadangan menulis dengan cara berbeda, mengikuti tool dengan cara berbeda, dan mungkin lebih mahal. Jalankan eval Anda pada setiap model di rantai, bukan hanya yang pertama.
- Jangan fallback karena bug Anda sendiri. 400 atau 422 berarti request-nya salah; request itu akan gagal juga di model berikutnya. Lakukan fallback pada 429, timeout, dan 5xx setelah exponential backoff yang dibatasi.
Di BroadNet Inference
BroadNet tidak melakukan routing request secara otomatis dan tidak punya fallback antar-model. BroadRouter, situs ini, adalah situs informasi BroadNet dan juga tidak melakukan routing request. Anda menerapkan fallback sendiri: di klien seperti di atas (panduan failover API LLM menambahkan circuit breaker dan pemetaan ID model), atau di gateway; lihat LLM router dan panduan LiteLLM proxy untuk menambahkan BroadNet sebagai penyedia. Referensi API BroadNet menyarankan retry 5xx dengan exponential backoff yang dibatasi, dan memakai detail respons serta backoff yang dibatasi pada 429. Panduan error dan retry mencantumkan setiap status.
Kesalahan umum
- Melakukan fallback pada error 401 atau 402, yang menyembunyikan masalah tagihan atau kunci.
- Tidak mencatat model mana yang melayani setiap balasan, sehingga perubahan kualitas sulit dilacak.