Setiap API LLM punya menit-menit buruk: sebuah 503, timeout, atau rentetan 429. Fallback berarti menit-menit itu tidak berubah menjadi gangguan di aplikasi Anda. Artikel ini menunjukkan cara failover antarpenyedia yang kompatibel dengan OpenAI di kode Anda sendiri: error mana yang sebaiknya memicunya, bagaimana circuit breaker menjaganya tetap cepat, dan apa saja yang harus sama antarpenyedia agar pengguna tidak menyadari perpindahannya.
Satu hal dulu: BroadNet Inference tidak melakukan routing atau failover antarpenyedia untuk Anda, begitu juga BroadRouter. BroadRouter adalah situs web milik BroadNet sendiri, bukan router. Anda membangun fallback sendiri, entah di client seperti di bawah ini atau di gateway seperti LiteLLM.
Kenapa perlu penyedia cadangan?
Karena kebanyakan API self-serve tidak menjanjikan apa pun soal uptime. Ketentuan BroadNet menyatakannya terang-terangan di bagian 7.4: “self-serve has no availability commitment” (Terjemahan BroadRouter: self-serve tidak punya komitmen ketersediaan), dan tingkat layanan hanya ada dalam perjanjian tertulis terpisah (dicek 15 November 2026). Perbandingan SLA API LLM membahas apa yang dijanjikan penyedia lain. Jika fitur Anda harus tetap menyala, penyedia kedua adalah asuransi yang praktis, apa pun isi SLA-nya.
Rate limit adalah alasan kedua. Kunci bayar sesuai pemakaian BroadNet mengizinkan 30 permintaan per menit dan 4 permintaan berjalan sekaligus. Lonjakan trafik di atas itu mengembalikan 429, dan penyedia kedua bisa menampung luapannya sementara Anda menaikkan kapasitas.
Error apa saja yang sebaiknya memicu failover?
Bagi error menjadi dua kelompok. Sebagian adalah kesalahan penyedia dan mungkin berhasil di tempat lain. Sisanya kesalahan Anda dan akan gagal di mana pun.
| Error | Failover? | Alasan |
|---|---|---|
| Error koneksi, timeout | Ya, setelah retry | Penyedia atau jaringan tidak bisa dijangkau |
| 500, 502, 503, 504 | Ya, setelah retry | Dokumentasi BroadNet menyuruh “retry with bounded exponential backoff” (coba ulang dengan exponential backoff yang dibatasi) lebih dulu |
| 429, batas laju atau konkurensi | Ya, setelah backoff | Kapasitas di penyedia ini, bukan permintaan yang salah |
| 429, batas pengeluaran | Tidak | Failover akan melewati anggaran yang sengaja Anda tetapkan |
| 400, 422 | Tidak | Permintaannya tidak valid dan akan gagal juga di penyedia berikutnya |
| 401, 402 | Tidak | Kunci, jatah, atau saldo. Di BroadNet, 401 juga mencakup jatah bayar sesuai pemakaian yang sudah habis, jadi failover akan menyembunyikan masalah tagihan |
| 403, 413 | Tidak | Kebijakan atau ukuran; perbaiki permintaannya |
Referensi API BroadNet menyebut 429 berarti “a rate, concurrency, token-rate or spending limit was reached” (batas laju, konkurensi, laju token, atau pengeluaran tercapai) dan meminta Anda “use response details and bounded backoff” (memakai detail respons dan backoff yang dibatasi). Baca detail itu sebelum failover, agar 429 karena batas pengeluaran menghentikan permintaan alih-alih memindahkannya. Panduan kode error mencantumkan setiap status.
Lakukan retry sebelum failover. OpenAI Python SDK sudah melakukan retry pada error koneksi, 408, 409, 429, dan respons 5xx “2 times by default, with a short exponential backoff” (2 kali secara default, dengan exponential backoff singkat), dan timeout default-nya 10 menit (README, dicek 15 November 2026). Sepuluh menit terlalu lama untuk menunggu sebelum failover. Atur timeout per client. Artikel penanganan 429 membahas backoff dengan jitter.
Seperti apa failover di Python?
Dua client, satu daftar berurutan, dan circuit breaker kecil. Penyedia utama adalah GLM 5.3 di BroadNet. Cadangannya adalah model open-weight yang sama di DeepInfra, yang dokumentasinya memberikan base URL https://api.deepinfra.com/v1/openai (dicek 15 November 2026).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Empat detail yang penting:
- Kelas exception. SDK melempar
RateLimitErroruntuk 429,InternalServerErroruntuk 500 ke atas, danAPIConnectionError(denganAPITimeoutErrorsebagai subkelasnya) saat tidak bisa terhubung. Sisanya sengaja tidak ditangkap. Untuk mengecualikan 429 karena batas pengeluaran, periksaerr.responsesebelum melanjutkan. - Circuit breaker. Tanpanya, setiap permintaan harus menunggu timeout penuh pada penyedia utama yang mati sebelum pindah. Setelah tiga kegagalan berturut-turut, penyedia utama dilewati selama 30 detik. Setelah itu, permintaan berikutnya mengujinya lagi.
- Catat siapa yang melayani. Kembalikan nama penyedia dan simpan
reply.model. Saat kualitas berubah, Anda perlu tahu penyedia mana yang menjawab. - Anggaran penalaran. GLM 5.3 bernalar sebelum menjawab. Dokumentasi BroadNet menyebut penalaran dihitung dalam
max_tokens, jadi sisakan 1.000 atau lebih di setiap penyedia.
Bagaimana memetakan ID model antarpenyedia?
Model open-weight yang sama punya ID berbeda di setiap host, dan fitur yang dicantumkan tiap host bisa berbeda. GLM 5.3 per 15 November 2026:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ID model | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Konteks | 1.048.576 token | 1.048.576 token | “1040k” token |
| Tool | Didokumentasikan | “Function” dicantumkan | Didukung |
| Output terstruktur | Didokumentasikan | “JSON” dicantumkan | Tidak dicek |
Ada dua aturan dari sini. Pertama, simpan pemetaan di konfigurasi, jangan tersebar di kode. Kedua, sesuaikan cadangan dengan apa yang dipakai permintaan Anda. Di BroadNet, tool dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Agen yang memakai tool calling bisa failover dari GLM 5.3 ke GLM 5.3 di tempat lain. Agen itu tidak bisa dengan aman failover ke model yang tidak mendokumentasikan tool. Jika context window cadangannya lebih kecil, pangkas prompt atau lewati cadangan itu untuk permintaan panjang. Base URL untuk 14 penyedia ada di referensi base URL.
Bagaimana menjaga jawaban tetap sebanding setelah berpindah?
Bobot yang sama di dua host tetap bisa menjawab berbeda, karena host bisa menyajikan presisi, chat template, atau parameter default yang berbeda. Model yang berbeda sudah pasti menjawab berbeda.
- Jalankan set evaluasi Anda pada setiap entri di daftar, bukan hanya penyedia utama.
- Kunci
temperature,max_tokens, dan system prompt per permintaan, agar default penyedia tidak bisa mengubah output. - Validasi output terstruktur dengan cara yang sama di setiap jalur. Memperbaiki JSON yang tidak valid membahas loop perbaiki-lalu-coba-ulang.
- Utamakan model yang sama di tempat lain daripada model berbeda di host yang sama. Pengguna lebih menyadari perubahan gaya daripada latensi beberapa detik.
Bagaimana dengan streaming dan tool call?
Stream bisa gagal di tengah jalan. Dokumentasi BroadNet menyebut stream yang berakhir sebelum data: [DONE] harus dianggap tidak lengkap: catat X-Request-ID dan putuskan apakah aplikasi Anda aman mengirim permintaan baru.
- Sebelum token pertama: failover dengan bebas. Pengguna belum melihat apa pun.
- Setelah token ditampilkan: mulai ulang di cadangan dan ganti jawaban parsialnya, atau tampilkan error dengan tombol coba lagi. Menyambung setengah jawaban dari dua penyedia hasilnya buruk dibaca.
- Tool call dengan efek samping: jangan pernah menjalankan ulang langkah yang mengirim email, menagih kartu, atau menulis ke database hanya karena panggilan model gagal. Beri setiap aksi sebuah idempotency key. Agen yang berjalan lama membahas checkpoint.
Streaming dengan SSE menjelaskan cara mendeteksi stream yang berakhir terlalu cepat.
Berapa biaya failover?
- Pekerjaan ganda. Timeout di sisi Anda tidak membuktikan penyedia sudah berhenti. Pada penagihan per token, setiap retry adalah inferensi baru, jadi bersiaplah membayar dua kali untuk sebagian permintaan.
- Harga berbeda. Cadangan menagih dengan tarifnya sendiri. DeepInfra mencantumkan harga promosi untuk GLM-5.3 pada 15 November 2026, jadi cek ulang sebelum menyusun anggaran. BroadNet menagih $0.78 input, $0.173 input cache, dan $3.46 output per 1 juta token.
- Cache dingin. Input cache tidak berpindah antarpenyedia. Permintaan pertama di cadangan membayar harga input penuh untuk prefiks yang sudah di-cache di penyedia utama. Lihat token input cache.
- Hedging. Mengirim setiap permintaan ke dua penyedia sekaligus dan mengambil jawaban pertama memangkas tail latency, tetapi kira-kira menggandakan tagihan. Pakai hanya jika latensinya memang sepadan.
Apakah cadangan memenuhi ketentuan data yang sama?
Penyedia cadangan adalah pemroses lain yang menerima prompt yang sama. Jika Anda menjanjikan sesuatu kepada pelanggan soal data mereka, janji itu harus berlaku di setiap entri daftar.
Pernyataan privasi BroadNet menyebut: “We do not retain prompts, audio, images, answers or transcripts” (Terjemahan BroadRouter: Kami tidak menyimpan prompt, audio, gambar, jawaban, atau transkrip). Konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan pernyataan itu. Pernyataan itu juga menyebut data inferensi tidak dipakai untuk melatih, fine-tune, atau mengevaluasi model. Pernyataan itu menyebut model yang di-host “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan BroadRouter: berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan); DeepSeek V4.1 Flash di-host oleh mitra. Untuk data dengan persyaratan residensi, ketentuannya (bagian 7.3a) meminta Anda menyepakati lokasi pemrosesan sebelum mengirimnya. Periksa poin yang sama untuk cadangan: penyimpanan, penggunaan untuk pelatihan, lokasi, dan subprosesor. Jika tidak memenuhi, keluarkan permintaan sensitif dari jalur fallback dan biarkan gagal secara tertutup (fail closed). Checklist zero data retention mencantumkan pertanyaannya.
Sebaiknya pakai gateway seperti LiteLLM saja?
Pakai gateway jika beberapa layanan membutuhkan aturan fallback yang sama. Proxy LiteLLM menerima daftar fallbacks yang dicoba berurutan. num_retries mengulang satu grup model sebelum pindah ke fallback. allowed_fails dan cooldown_time menonaktifkan deployment yang gagal untuk sementara, yang berfungsi sebagai circuit breaker. context_window_fallbacks dan content_policy_fallbacks yang terpisah menangani jenis error tersebut (dokumentasi LiteLLM, dicek 15 November 2026):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Panduan proxy LiteLLM menampilkan entri BroadNet secara lengkap. Kedua entri memakai prefiks generik openai/ milik LiteLLM dengan api_base, pola yang sama dengan panduan itu. Gateway menambah satu hop dan satu komponen lagi yang harus dijaga tetap berjalan. Untuk satu aplikasi, sekitar 40 baris di client seperti di atas sudah cukup.
Bagaimana menguji failover sebelum Anda membutuhkannya?
- Arahkan penyedia utama ke host yang tidak bisa dijangkau di konfigurasi uji, lalu pastikan permintaan sampai ke cadangan.
- Kirim permintaan yang sengaja tidak valid dan pastikan permintaan itu tidak failover.
- Pakai kunci utama yang tidak valid dan pastikan 401 muncul sebagai error, bukan perpindahan diam-diam.
- Amati breaker-nya: setelah tiga kegagalan, penyedia utama harus dilewati tanpa menunggu timeout.
- Pasang alert saat cadangan melayani lebih dari porsi kecil trafik. Failover yang diam-diam bisa menyembunyikan penyedia utama yang rusak selama berhari-hari.
Router milik LiteLLM menerima mock_testing_fallbacks=True dalam pengujian langsung untuk memaksa fallback.
Posisi BroadNet Inference
BroadRouter adalah situs web BroadNet, dan BroadNet Inference bisa menjadi entri mana pun di daftar Anda. Sebagai penyedia utama, BroadNet memberi Anda GLM 5.3 dan Qwen3.8 27B dengan tool dan output terstruktur yang didokumentasikan, ditambah Gemma 4 VL 26B dan DeepSeek V4.1 Flash, pada satu base URL tanpa konten yang disimpan. Sebagai cadangan, BroadNet adalah satu endpoint lagi yang kompatibel dengan OpenAI untuk ditambahkan ke daftar. Bagaimanapun, logika failover tetap milik Anda: BroadNet tidak me-routing antarpenyedia, dan self-serve tidak punya SLA. Jika Anda butuh tingkat layanan yang dikontrakkan, itu hanya tersedia lewat perjanjian tertulis terpisah. Bandingkan model-modelnya, atau buat akun dan uji rantai Anda dengan kredit awal $5 pada Gemma 4 VL 26B. GLM 5.3 dan Qwen3.8 27B memerlukan top up.
