Setiap API ada minit yang buruk. Fallback bermakna minit buruk pada satu penyedia tidak menjadi gangguan perkhidmatan dalam aplikasi anda.
Cara ia berfungsi
Anda menyimpan senarai model yang tersusun. Apabila panggilan gagal, selepas cubaan semulanya sendiri, model seterusnya dalam senarai menerima permintaan yang sama.
Dua gateway daripada sumber:
| Gateway | Cara fallback berfungsi |
|---|---|
| Proksi LiteLLM | fallbacks menyenaraikan kumpulan model, dicuba “in-order” (Terjemahan BroadRouter: “mengikut susunan”). context_window_fallbacks dan content_policy_fallbacks yang berasingan mengendalikan jenis ralat tersebut. num_retries mencuba semula satu kumpulan sebelum fallback; allowed_fails dan cooldown_time mengeluarkan deployment yang gagal buat seketika. |
| OpenRouter | Tatasusunan models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Terjemahan BroadRouter: “Jika model pertama memulangkan ralat, OpenRouter akan mencuba model seterusnya dalam senarai secara automatik.”) Sebarang ralat boleh mencetuskannya, termasuk panjang konteks, moderasi, had kadar dan masa henti. Jika model terakhir gagal, ralat itu yang dipulangkan. |
Versi minimum di sisi klien:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
Mengapa ia penting
- Masa operasi. Penyedia kedua melindungi daripada insiden dan had kadar pada penyedia pertama.
- Output berbeza. Model sandaran menulis secara berbeza, mengikut alatan secara berbeza dan mungkin lebih mahal. Jalankan eval anda pada setiap model dalam rantaian, bukan yang pertama sahaja.
- Jangan fallback kerana pepijat anda sendiri. 400 atau 422 bermakna permintaan itu salah; ia juga akan gagal pada model seterusnya. Lakukan fallback pada 429, tamat masa dan 5xx selepas backoff eksponen yang terhad.
Di BroadNet Inference
BroadNet tidak menghala permintaan secara automatik dan tiada fallback merentas model. BroadRouter, laman ini, ialah laman maklumat BroadNet dan juga tidak menghala permintaan. Anda melaksanakan fallback sendiri: dalam klien anda seperti di atas (panduan failover API LLM menambah circuit breaker dan pemetaan ID model), atau dalam gateway; lihat penghala LLM dan panduan proksi LiteLLM untuk menambah BroadNet sebagai penyedia. Rujukan API BroadNet menyatakan supaya mencuba semula 5xx dengan backoff eksponen yang terhad dan menggunakan butiran respons serta backoff terhad pada 429. Panduan ralat dan cubaan semula menyenaraikan setiap status.
Kesilapan biasa
- Fallback pada ralat 401 atau 402, yang menyembunyikan masalah pengebilan atau kunci.
- Tidak merekodkan model mana yang melayan setiap jawapan, jadi perubahan kualiti sukar dikesan.