Setiap API LLM ada minit yang buruk: satu 503, satu tamat masa, satu letusan 429. Sandaran (fallback) bermaksud minit-minit itu tidak menjadi gangguan dalam aplikasi anda. Artikel ini menunjukkan cara melakukan failover antara penyedia serasi OpenAI dalam kod anda sendiri. Ia merangkumi ralat yang patut mencetuskannya, cara pemutus litar memastikannya pantas, dan apa yang mesti sepadan antara penyedia supaya pengguna tidak perasan pertukaran itu.
Satu perkara dahulu: BroadNet Inference tidak menghala atau melakukan failover antara penyedia untuk anda, dan begitu juga BroadRouter. BroadRouter ialah laman web BroadNet sendiri, bukan penghala. Anda membina sandaran sendiri, sama ada dalam klien anda seperti di bawah atau dalam gateway seperti LiteLLM.
Mengapa perlu menyimpan penyedia sandaran?
Kerana kebanyakan API layan diri tidak menjanjikan apa-apa tentang masa operasi. Terma BroadNet menyatakannya dengan jelas dalam seksyen 7.4: “self-serve has no availability commitment” (Terjemahan: layan diri tiada komitmen ketersediaan), dan tahap perkhidmatan hanya wujud dalam perjanjian bertulis yang berasingan (disemak 15 November 2026). Perbandingan SLA API LLM merangkumi komitmen penyedia lain. Jika ciri anda mesti sentiasa berfungsi, penyedia kedua ialah insurans yang praktikal, tidak kira apa yang dinyatakan oleh SLA.
Had kadar ialah sebab kedua. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 permintaan serentak. Lonjakan trafik melebihi itu memulangkan 429, dan penyedia kedua boleh menyerap lebihan semasa anda meningkatkan kapasiti.
Ralat manakah yang patut mencetuskan failover?
Bahagikan ralat kepada dua kumpulan. Sesetengahnya salah penyedia dan mungkin berjaya di tempat lain. Yang lain salah anda dan akan gagal di mana-mana.
| Ralat | Failover? | Mengapa |
|---|---|---|
| Ralat sambungan, tamat masa | Ya, selepas percubaan semula | Penyedia atau rangkaian tidak dapat dicapai |
| 500, 502, 503, 504 | Ya, selepas percubaan semula | Dokumentasi BroadNet menyuruh “retry with bounded exponential backoff” (Terjemahan: cuba semula dengan backoff eksponen yang terhad) dahulu |
| 429, had kadar atau keserentakan | Ya, selepas backoff | Kapasiti di penyedia ini, bukan permintaan yang salah |
| 429, had perbelanjaan | Tidak | Failover memintas bajet yang anda tetapkan dengan sengaja |
| 400, 422 | Tidak | Permintaan tidak sah dan akan gagal pada penyedia seterusnya juga |
| 401, 402 | Tidak | Kunci, peruntukan atau baki. Di BroadNet, 401 juga meliputi peruntukan bayar ikut guna yang telah habis, jadi failover menyembunyikan masalah pengebilan |
| 403, 413 | Tidak | Dasar atau saiz; betulkan permintaan |
Rujukan API BroadNet menyatakan 429 bermaksud “a rate, concurrency, token-rate or spending limit was reached” (Terjemahan: had kadar, keserentakan, kadar token atau perbelanjaan telah dicapai) dan menyuruh “use response details and bounded backoff” (Terjemahan: gunakan butiran respons dan backoff yang terhad). Baca butiran itu sebelum anda failover, supaya 429 had perbelanjaan menghentikan permintaan dan bukannya memindahkannya. Panduan kod ralat menyenaraikan setiap status.
Cuba semula sebelum failover. SDK Python OpenAI sudah pun mencuba semula ralat sambungan, respons 408, 409, 429 dan 5xx “2 times by default, with a short exponential backoff” (Terjemahan: 2 kali secara lalai, dengan backoff eksponen yang singkat), dan tamat masa lalainya ialah 10 minit (README, disemak 15 November 2026). Sepuluh minit terlalu lama untuk menunggu sebelum failover. Tetapkan timeout bagi setiap klien. Artikel pengendalian 429 merangkumi backoff dengan jitter.
Bagaimanakah rupa failover dalam Python?
Dua klien, satu senarai tersusun dan satu pemutus litar kecil. Penyedia utama ialah GLM 5.3 di BroadNet. Sandarannya ialah model open-weight yang sama di DeepInfra, yang dokumentasinya memberi base URL https://api.deepinfra.com/v1/openai (disemak 15 November 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Empat butiran penting:
- Kelas pengecualian. SDK menimbulkan
RateLimitErroruntuk 429,InternalServerErroruntuk 500 ke atas, danAPIConnectionError(denganAPITimeoutErrorsebagai subkelas) apabila ia tidak dapat bersambung. Semua yang lain sengaja dibiarkan tidak ditangkap. Untuk mengecualikan 429 had perbelanjaan, periksaerr.responsesebelum anda meneruskan. - Pemutus litar. Tanpanya, setiap permintaan membayar tamat masa penuh pada penyedia utama yang mati sebelum beralih. Selepas tiga kegagalan berturut-turut, penyedia utama dilangkau selama 30 saat. Selepas itu, permintaan seterusnya mengujinya semula.
- Log siapa yang melayan. Pulangkan nama penyedia dan simpan
reply.model. Apabila kualiti berubah, anda perlu tahu penyedia mana yang menjawab. - Bajet penaakulan. GLM 5.3 menaakul sebelum menjawab. Dokumentasi BroadNet menyatakan penaakulan dikira dalam
max_tokens, jadi tinggalkan 1,000 atau lebih pada setiap penyedia.
Bagaimanakah memetakan ID model merentas penyedia?
Model open-weight yang sama mempunyai ID yang berbeza di setiap hos, dan ciri yang disenaraikan oleh setiap hos boleh berbeza. GLM 5.3 pada 15 November 2026:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ID model | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Konteks | 1,048,576 token | 1,048,576 token | “1040k” token |
| Tools | Didokumenkan | “Function” disenaraikan | Disokong |
| Output berstruktur | Didokumenkan | “JSON” disenaraikan | Tidak disemak |
Dua peraturan menyusul. Pertama, simpan pemetaan dalam konfigurasi, bukan bertaburan dalam kod. Kedua, padankan sandaran anda dengan apa yang digunakan oleh permintaan anda. Di BroadNet, tools dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Ejen yang menggunakan panggilan alat boleh failover daripada GLM 5.3 ke GLM 5.3 di tempat lain. Ia tidak boleh failover dengan selamat ke model yang tidak mendokumenkan tools. Jika sandaran mempunyai tetingkap konteks yang lebih kecil, pangkas prompt atau langkau sandaran itu untuk permintaan panjang. Base URL untuk 14 penyedia ada dalam rujukan base URL.
Bagaimanakah memastikan jawapan setara selepas pertukaran?
Pemberat yang sama di dua hos masih boleh menjawab secara berbeza, kerana hos boleh menggunakan ketepatan, templat chat atau parameter lalai yang berbeza. Model yang berbeza pasti menjawab secara berbeza.
- Jalankan set penilaian anda terhadap setiap entri dalam senarai, bukan hanya penyedia utama.
- Tetapkan
temperature,max_tokensdan system prompt bagi setiap permintaan, supaya lalai penyedia tidak dapat mengubah output. - Sahkan output berstruktur dengan cara yang sama pada setiap laluan. Membetulkan JSON yang tidak sah merangkumi gelung baiki-dan-cuba-semula.
- Utamakan model yang sama di tempat lain berbanding model berbeza di hos yang sama. Pengguna lebih perasan perubahan gaya berbanding kependaman beberapa saat.
Bagaimana pula dengan penstriman dan panggilan alat?
Strim boleh gagal separuh jalan. Dokumentasi BroadNet menyatakan strim yang tamat sebelum data: [DONE] patut dianggap tidak lengkap: rekodkan X-Request-ID dan tentukan sama ada aplikasi anda boleh menghantar permintaan baharu dengan selamat.
- Sebelum token pertama: failover dengan bebas. Pengguna belum melihat apa-apa.
- Selepas token dipaparkan: mulakan semula pada sandaran dan gantikan jawapan separa, atau paparkan ralat dengan butang cuba semula. Mencantumkan separuh jawapan daripada dua penyedia tidak enak dibaca.
- Panggilan alat dengan kesan sampingan: jangan sekali-kali jalankan semula langkah yang menghantar e-mel, mengecaj kad atau menulis ke pangkalan data hanya kerana panggilan model gagal. Berikan setiap tindakan kunci idempotensi. Ejen yang berjalan lama merangkumi titik semak.
Penstriman dengan SSE menerangkan cara mengesan strim yang tamat awal.
Berapakah kos failover?
- Kerja berganda. Tamat masa di pihak anda tidak membuktikan penyedia telah berhenti. Pada pengebilan setiap token, setiap percubaan semula ialah inferens baharu, jadi jangkakan untuk membayar dua kali bagi sesetengah permintaan.
- Harga berbeza. Sandaran mengebil pada kadarnya sendiri. DeepInfra menyenaraikan harga promosi untuk GLM-5.3 pada 15 November 2026, jadi semak semula sebelum anda membuat bajet. BroadNet mengenakan $0.78 input, $0.173 input cache dan $3.46 output bagi setiap 1M token.
- Cache sejuk. Input cache tidak berpindah antara penyedia. Permintaan pertama pada sandaran membayar harga input penuh pada prefix yang telah di-cache pada penyedia utama. Lihat token input cache.
- Hedging. Menghantar setiap permintaan kepada dua penyedia serentak dan menyimpan jawapan pertama mengurangkan kependaman hujung, tetapi menggandakan bil secara kasar. Gunakannya hanya di mana kependaman berbaloi dengan kos itu.
Adakah sandaran memenuhi terma data yang sama?
Penyedia sandaran ialah satu lagi pemproses yang menerima prompt yang sama. Jika anda menjanjikan sesuatu kepada pelanggan tentang data mereka, janji itu mesti benar pada setiap entri dalam senarai.
Kenyataan privasi BroadNet menyatakan: “We do not retain prompts, audio, images, answers or transcripts” (Terjemahan: Kami tidak menyimpan prompt, audio, imej, jawapan atau transkrip). Kandungan inferens tidak disimpan; metadata akaun, pengebilan dan keselamatan yang perlu disimpan seperti yang diterangkan dalam kenyataan itu. Ia juga menyatakan data inferens tidak digunakan untuk melatih, menala halus atau menilai model. Kenyataan itu menyatakan model yang dihoskan “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan: berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran); DeepSeek V4.1 Flash dihoskan oleh rakan kongsi. Untuk data dengan keperluan residensi, terma (seksyen 7.3a) menyuruh anda bersetuju tentang lokasi pemprosesan sebelum menghantarnya. Semak perkara yang sama untuk sandaran: penyimpanan, penggunaan untuk latihan, lokasi dan subpemproses. Jika ia tidak memenuhinya, jangan masukkan permintaan sensitif dalam laluan sandaran dan biarkan ia gagal secara tertutup. Senarai semak pengekalan data sifar menyenaraikan soalannya.
Patutkah anda menggunakan gateway seperti LiteLLM?
Gunakan gateway jika beberapa perkhidmatan memerlukan peraturan sandaran yang sama. Proksi LiteLLM menerima senarai fallbacks yang dicuba mengikut urutan. num_retries mencuba semula kumpulan model sebelum beralih ke sandaran. allowed_fails dan cooldown_time mengeluarkan deployment yang gagal buat seketika, yang berfungsi sebagai pemutus litar. context_window_fallbacks dan content_policy_fallbacks yang berasingan mengendalikan jenis ralat tersebut (dokumentasi LiteLLM, disemak 15 November 2026):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Panduan proksi LiteLLM menunjukkan entri BroadNet secara penuh. Kedua-dua entri menggunakan prefix generik openai/ LiteLLM dengan api_base, corak yang sama yang digunakan oleh panduan itu. Gateway menambah satu lompatan dan satu lagi perkara yang perlu dikekalkan berjalan. Kira-kira 40 baris dalam klien anda, seperti di atas, sudah memadai untuk satu aplikasi.
Bagaimanakah menguji failover sebelum anda memerlukannya?
- Halakan penyedia utama ke hos yang tidak dapat dicapai dalam konfigurasi ujian dan pastikan permintaan sampai ke sandaran.
- Hantar permintaan yang sengaja dibuat tidak sah dan pastikan ia tidak failover.
- Gunakan kunci utama yang tidak sah dan pastikan 401 muncul sebagai ralat, bukan pertukaran senyap.
- Perhatikan pemutus litar: selepas tiga kegagalan, penyedia utama patut dilangkau tanpa menunggu tamat masa.
- Beri amaran apabila sandaran melayan lebih daripada sebahagian kecil trafik. Failover senyap boleh menyembunyikan penyedia utama yang rosak selama berhari-hari.
Router LiteLLM menerima mock_testing_fallbacks=True dalam ujian langsung untuk memaksa sandaran.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet, dan BroadNet Inference boleh menjadi mana-mana entri dalam senarai anda. Sebagai penyedia utama, ia memberi anda GLM 5.3 dan Qwen3.8 27B dengan tools dan output berstruktur yang didokumenkan, serta Gemma 4 VL 26B dan DeepSeek V4.1 Flash, pada satu base URL tanpa kandungan disimpan. Sebagai sandaran, ia satu lagi endpoint serasi OpenAI untuk ditambah ke senarai. Walau bagaimanapun, logik failover ialah milik anda: BroadNet tidak menghala antara penyedia, dan layan diri tiada SLA. Jika anda memerlukan tahap perkhidmatan berkontrak, ia hanya datang dengan perjanjian bertulis yang berasingan. Bandingkan model, atau cipta akaun dan uji rantaian anda dengan kredit permulaan $5 pada Gemma 4 VL 26B. GLM 5.3 dan Qwen3.8 27B memerlukan tambah nilai.
