BroadRouter
Mulakan

Fallback model (model sandaran)

Dikemas kini

Fallback model ialah corak kebolehpercayaan di mana permintaan LLM yang gagal dicuba semula pada model atau penyedia lain daripada senarai tersusun. Pencetusnya boleh jadi ralat, had kadar, ralat panjang konteks atau penolakan dasar kandungan. Ia berjalan dalam klien anda atau dalam gateway di hadapan API.

Juga dikenali sebagai: model fallback, model sandaran, fallback model, model failover, provider fallback, failover LLM

Setiap API ada minit yang buruk. Fallback bermakna minit buruk pada satu penyedia tidak menjadi gangguan perkhidmatan dalam aplikasi anda.

Cara ia berfungsi

Anda menyimpan senarai model yang tersusun. Apabila panggilan gagal, selepas cubaan semulanya sendiri, model seterusnya dalam senarai menerima permintaan yang sama.

Dua gateway daripada sumber:

Gateway Cara fallback berfungsi
Proksi LiteLLM fallbacks menyenaraikan kumpulan model, dicuba “in-order” (Terjemahan BroadRouter: “mengikut susunan”). context_window_fallbacks dan content_policy_fallbacks yang berasingan mengendalikan jenis ralat tersebut. num_retries mencuba semula satu kumpulan sebelum fallback; allowed_fails dan cooldown_time mengeluarkan deployment yang gagal buat seketika.
OpenRouter Tatasusunan models. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Terjemahan BroadRouter: “Jika model pertama memulangkan ralat, OpenRouter akan mencuba model seterusnya dalam senarai secara automatik.”) Sebarang ralat boleh mencetuskannya, termasuk panjang konteks, moderasi, had kadar dan masa henti. Jika model terakhir gagal, ralat itu yang dipulangkan.

Versi minimum di sisi klien:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

Mengapa ia penting

  • Masa operasi. Penyedia kedua melindungi daripada insiden dan had kadar pada penyedia pertama.
  • Output berbeza. Model sandaran menulis secara berbeza, mengikut alatan secara berbeza dan mungkin lebih mahal. Jalankan eval anda pada setiap model dalam rantaian, bukan yang pertama sahaja.
  • Jangan fallback kerana pepijat anda sendiri. 400 atau 422 bermakna permintaan itu salah; ia juga akan gagal pada model seterusnya. Lakukan fallback pada 429, tamat masa dan 5xx selepas backoff eksponen yang terhad.

Di BroadNet Inference

BroadNet tidak menghala permintaan secara automatik dan tiada fallback merentas model. BroadRouter, laman ini, ialah laman maklumat BroadNet dan juga tidak menghala permintaan. Anda melaksanakan fallback sendiri: dalam klien anda seperti di atas (panduan failover API LLM menambah circuit breaker dan pemetaan ID model), atau dalam gateway; lihat penghala LLM dan panduan proksi LiteLLM untuk menambah BroadNet sebagai penyedia. Rujukan API BroadNet menyatakan supaya mencuba semula 5xx dengan backoff eksponen yang terhad dan menggunakan butiran respons serta backoff terhad pada 429. Panduan ralat dan cubaan semula menyenaraikan setiap status.

Kesilapan biasa

  • Fallback pada ralat 401 atau 402, yang menyembunyikan masalah pengebilan atau kunci.
  • Tidak merekodkan model mana yang melayan setiap jawapan, jadi perubahan kualiti sukar dikesan.

Soalan lazim

Patutkah saya cuba semula atau fallback dahulu?

Cuba semula dahulu untuk gangguan singkat seperti 503. LiteLLM berfungsi begini: ia hanya beralih ke kumpulan model lain selepas panggilan gagal sebanyak num_retries kali.

Model mana yang dibilkan kepada saya selepas fallback?

Di OpenRouter, model yang melayan permintaan itu: ia menyatakan permintaan "are priced using the model that was ultimately used" (Terjemahan BroadRouter: "dikenakan harga berdasarkan model yang akhirnya digunakan"), seperti yang dilaporkan dalam medan model respons.

Adakah BroadNet menghala atau melakukan fallback secara automatik?

Tidak. BroadNet tidak menawarkan penghalaan automatik, dan BroadRouter ialah laman maklumat BroadNet, bukan penghala. Bina fallback dalam klien anda atau letakkan gateway seperti LiteLLM di hadapan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity