---
title: "Failover API LLM ke penyedia cadangan, dengan Python"
description: "Cara failover antarpenyedia LLM yang kompatibel dengan OpenAI: error mana yang memicu failover, circuit breaker, pemetaan ID model, streaming, biaya, dan privasi."
url: https://broadrouter.com/id/blog/llm-api-failover-fallback/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/llm-api-failover-fallback/) (diperbarui 2026-11-16).

# Failover API LLM: pindah ke penyedia kedua lewat kode Anda sendiri

Oleh tim BroadNet Inference · 8 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Simpan daftar berurutan penyedia yang kompatibel dengan OpenAI, masing-masing dengan client dan ID modelnya sendiri. Lakukan failover pada error koneksi, timeout, 5xx, dan 429 karena rate limit setelah retry bawaan SDK habis. Jangan pernah failover pada 400, 401, 402, 403, 413, atau 422. Tambahkan circuit breaker, dan pastikan cadangan setara dengan penyedia utama dalam fitur dan ketentuan data.

## Poin penting

-   Failover pada error koneksi, timeout, 5xx, dan 429 karena rate limit, setelah retry yang dibatasi. Error 400, 401, 402, 403, 413, atau 422 akan gagal dengan cara yang sama di penyedia berikutnya.
-   ID model berbeda di tiap penyedia: GLM 5.3 adalah \`broadnet/glm-5.3\` di BroadNet, \`zai-org/GLM-5.3\` di DeepInfra, dan \`accounts/fireworks/models/glm-5p3\` di Fireworks.
-   Circuit breaker mencegah Anda menunggu timeout di setiap permintaan selama penyedia utama sedang down.
-   Failover-kan stream hanya sebelum token pertama, dan jangan pernah menjalankan ulang tool call yang mengubah sesuatu.
-   BroadNet dan BroadRouter tidak melakukan routing atau failover untuk Anda. Layanan self-serve BroadNet tidak punya komitmen ketersediaan, jadi aplikasi produksi sebaiknya punya cadangan.

**Di halaman ini**

1.  Kenapa perlu penyedia cadangan?
2.  Error apa saja yang sebaiknya memicu failover?
3.  Seperti apa failover di Python?
4.  Bagaimana memetakan ID model antarpenyedia?
5.  Bagaimana menjaga jawaban tetap sebanding setelah berpindah?
6.  Bagaimana dengan streaming dan tool call?
7.  Berapa biaya failover?
8.  Apakah cadangan memenuhi ketentuan data yang sama?
9.  Sebaiknya pakai gateway seperti LiteLLM saja?
10.  Bagaimana menguji failover sebelum Anda membutuhkannya?
11.  Posisi BroadNet Inference

Setiap API LLM punya menit-menit buruk: sebuah 503, timeout, atau rentetan 429. Fallback berarti menit-menit itu tidak berubah menjadi gangguan di aplikasi Anda. Artikel ini menunjukkan cara failover antarpenyedia yang [kompatibel dengan OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/) di kode Anda sendiri: error mana yang sebaiknya memicunya, bagaimana circuit breaker menjaganya tetap cepat, dan apa saja yang harus sama antarpenyedia agar pengguna tidak menyadari perpindahannya.

Satu hal dulu: **BroadNet Inference tidak melakukan routing atau failover antarpenyedia untuk Anda**, begitu juga BroadRouter. BroadRouter adalah situs web milik BroadNet sendiri, bukan router. Anda membangun fallback sendiri, entah di client seperti di bawah ini atau di gateway seperti LiteLLM.

## Kenapa perlu penyedia cadangan?

Karena kebanyakan API self-serve tidak menjanjikan apa pun soal uptime. [Ketentuan](https://www.broadnet.ai/terms) BroadNet menyatakannya terang-terangan di bagian 7.4: “self-serve has no availability commitment” (Terjemahan BroadRouter: self-serve tidak punya komitmen ketersediaan), dan tingkat layanan hanya ada dalam perjanjian tertulis terpisah (dicek 15 November 2026). [Perbandingan SLA API LLM](https://broadrouter.com/id/blog/llm-api-sla-uptime-compared/) membahas apa yang dijanjikan penyedia lain. Jika fitur Anda harus tetap menyala, penyedia kedua adalah asuransi yang praktis, apa pun isi SLA-nya.

[Rate limit](https://broadrouter.com/id/glossary/rate-limit/) adalah alasan kedua. Kunci bayar sesuai pemakaian BroadNet mengizinkan 30 permintaan per menit dan 4 permintaan berjalan sekaligus. Lonjakan trafik di atas itu mengembalikan 429, dan penyedia kedua bisa menampung luapannya sementara Anda menaikkan kapasitas.

## Error apa saja yang sebaiknya memicu failover?

Bagi error menjadi dua kelompok. Sebagian adalah kesalahan penyedia dan mungkin berhasil di tempat lain. Sisanya kesalahan Anda dan akan gagal di mana pun.

| Error | Failover? | Alasan |
| --- | --- | --- |
| Error koneksi, timeout | Ya, setelah retry | Penyedia atau jaringan tidak bisa dijangkau |
| 500, 502, 503, 504 | Ya, setelah retry | Dokumentasi BroadNet menyuruh “retry with bounded exponential backoff” (coba ulang dengan exponential backoff yang dibatasi) lebih dulu |
| 429, batas laju atau konkurensi | Ya, setelah backoff | Kapasitas di penyedia ini, bukan permintaan yang salah |
| 429, batas pengeluaran | Tidak | Failover akan melewati anggaran yang sengaja Anda tetapkan |
| 400, 422 | Tidak | Permintaannya tidak valid dan akan gagal juga di penyedia berikutnya |
| 401, 402 | Tidak | Kunci, jatah, atau saldo. Di BroadNet, 401 juga mencakup jatah bayar sesuai pemakaian yang sudah habis, jadi failover akan menyembunyikan masalah tagihan |
| 403, 413 | Tidak | Kebijakan atau ukuran; perbaiki permintaannya |

[Referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-api-failover-fallback&utm_content=body) BroadNet menyebut 429 berarti “a rate, concurrency, token-rate or spending limit was reached” (batas laju, konkurensi, laju token, atau pengeluaran tercapai) dan meminta Anda “use response details and bounded backoff” (memakai detail respons dan backoff yang dibatasi). Baca detail itu sebelum failover, agar 429 karena batas pengeluaran menghentikan permintaan alih-alih memindahkannya. [Panduan kode error](https://broadrouter.com/id/guides/errors-and-retries/) mencantumkan setiap status.

Lakukan retry sebelum failover. OpenAI Python SDK sudah melakukan retry pada error koneksi, 408, 409, 429, dan respons 5xx “2 times by default, with a short exponential backoff” (2 kali secara default, dengan exponential backoff singkat), dan timeout default-nya 10 menit ([README](https://github.com/openai/openai-python), dicek 15 November 2026). Sepuluh menit terlalu lama untuk menunggu sebelum failover. Atur `timeout` per client. [Artikel penanganan 429](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/) membahas backoff dengan jitter.

## Seperti apa failover di Python?

Dua client, satu daftar berurutan, dan circuit breaker kecil. Penyedia utama adalah GLM 5.3 di BroadNet. Cadangannya adalah model open-weight yang sama di DeepInfra, yang dokumentasinya memberikan base URL `https://api.deepinfra.com/v1/openai` (dicek 15 November 2026).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Empat detail yang penting:

1.  **Kelas exception.** SDK melempar `RateLimitError` untuk 429, `InternalServerError` untuk 500 ke atas, dan `APIConnectionError` (dengan `APITimeoutError` sebagai subkelasnya) saat tidak bisa terhubung. Sisanya sengaja tidak ditangkap. Untuk mengecualikan 429 karena batas pengeluaran, periksa `err.response` sebelum melanjutkan.
2.  **Circuit breaker.** Tanpanya, setiap permintaan harus menunggu timeout penuh pada penyedia utama yang mati sebelum pindah. Setelah tiga kegagalan berturut-turut, penyedia utama dilewati selama 30 detik. Setelah itu, permintaan berikutnya mengujinya lagi.
3.  **Catat siapa yang melayani.** Kembalikan nama penyedia dan simpan `reply.model`. Saat kualitas berubah, Anda perlu tahu penyedia mana yang menjawab.
4.  **Anggaran penalaran.** GLM 5.3 bernalar sebelum menjawab. Dokumentasi BroadNet menyebut penalaran dihitung dalam `max_tokens`, jadi sisakan 1.000 atau lebih di setiap penyedia.

## Bagaimana memetakan ID model antarpenyedia?

Model open-weight yang sama punya ID berbeda di setiap host, dan fitur yang dicantumkan tiap host bisa berbeda. GLM 5.3 per 15 November 2026:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| ID model | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Konteks | 1.048.576 token | 1.048.576 token | “1040k” token |
| Tool | Didokumentasikan | “Function” dicantumkan | Didukung |
| Output terstruktur | Didokumentasikan | “JSON” dicantumkan | Tidak dicek |

Ada dua aturan dari sini. Pertama, simpan pemetaan di konfigurasi, jangan tersebar di kode. Kedua, sesuaikan cadangan dengan apa yang dipakai permintaan Anda. Di BroadNet, tool dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Agen yang memakai tool calling bisa failover dari GLM 5.3 ke GLM 5.3 di tempat lain. Agen itu tidak bisa dengan aman failover ke model yang tidak mendokumentasikan tool. Jika context window cadangannya lebih kecil, pangkas prompt atau lewati cadangan itu untuk permintaan panjang. Base URL untuk 14 penyedia ada di [referensi base URL](https://broadrouter.com/id/blog/openai-compatible-api-base-urls/).

## Bagaimana menjaga jawaban tetap sebanding setelah berpindah?

Bobot yang sama di dua host tetap bisa menjawab berbeda, karena host bisa menyajikan presisi, chat template, atau parameter default yang berbeda. Model yang berbeda sudah pasti menjawab berbeda.

-   Jalankan [set evaluasi](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) Anda pada setiap entri di daftar, bukan hanya penyedia utama.
-   Kunci `temperature`, `max_tokens`, dan system prompt per permintaan, agar default penyedia tidak bisa mengubah output.
-   Validasi output terstruktur dengan cara yang sama di setiap jalur. [Memperbaiki JSON yang tidak valid](https://broadrouter.com/id/blog/fix-invalid-json-from-llm/) membahas loop perbaiki-lalu-coba-ulang.
-   Utamakan model yang sama di tempat lain daripada model berbeda di host yang sama. Pengguna lebih menyadari perubahan gaya daripada latensi beberapa detik.

## Bagaimana dengan streaming dan tool call?

Stream bisa gagal di tengah jalan. Dokumentasi BroadNet menyebut stream yang berakhir sebelum `data: [DONE]` harus dianggap tidak lengkap: catat `X-Request-ID` dan putuskan apakah aplikasi Anda aman mengirim permintaan baru.

-   **Sebelum token pertama:** failover dengan bebas. Pengguna belum melihat apa pun.
-   **Setelah token ditampilkan:** mulai ulang di cadangan dan ganti jawaban parsialnya, atau tampilkan error dengan tombol coba lagi. Menyambung setengah jawaban dari dua penyedia hasilnya buruk dibaca.
-   **Tool call dengan efek samping:** jangan pernah menjalankan ulang langkah yang mengirim email, menagih kartu, atau menulis ke database hanya karena panggilan model gagal. Beri setiap aksi sebuah [idempotency key](https://broadrouter.com/id/glossary/idempotency-key/). [Agen yang berjalan lama](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/) membahas checkpoint.

[Streaming dengan SSE](https://broadrouter.com/id/blog/llm-streaming-sse-explained/) menjelaskan cara mendeteksi stream yang berakhir terlalu cepat.

## Berapa biaya failover?

-   **Pekerjaan ganda.** Timeout di sisi Anda tidak membuktikan penyedia sudah berhenti. Pada penagihan per token, setiap retry adalah inferensi baru, jadi bersiaplah membayar dua kali untuk sebagian permintaan.
-   **Harga berbeda.** Cadangan menagih dengan tarifnya sendiri. DeepInfra mencantumkan harga promosi untuk GLM-5.3 pada 15 November 2026, jadi cek ulang sebelum menyusun anggaran. BroadNet menagih $0.78 input, $0.173 input cache, dan $3.46 output per 1 juta token.
-   **Cache dingin.** Input cache tidak berpindah antarpenyedia. Permintaan pertama di cadangan membayar harga input penuh untuk prefiks yang sudah di-cache di penyedia utama. Lihat [token input cache](https://broadrouter.com/id/blog/cached-input-tokens-explained/).
-   **Hedging.** Mengirim setiap permintaan ke dua penyedia sekaligus dan mengambil jawaban pertama memangkas tail latency, tetapi kira-kira menggandakan tagihan. Pakai hanya jika latensinya memang sepadan.

## Apakah cadangan memenuhi ketentuan data yang sama?

Penyedia cadangan adalah pemroses lain yang menerima prompt yang sama. Jika Anda menjanjikan sesuatu kepada pelanggan soal data mereka, janji itu harus berlaku di setiap entri daftar.

[Pernyataan privasi](https://www.broadnet.ai/inference-privacy) BroadNet menyebut: “We do not retain prompts, audio, images, answers or transcripts” (Terjemahan BroadRouter: Kami tidak menyimpan prompt, audio, gambar, jawaban, atau transkrip). Konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan pernyataan itu. Pernyataan itu juga menyebut data inferensi tidak dipakai untuk melatih, fine-tune, atau mengevaluasi model. Pernyataan itu menyebut model yang di-host “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan BroadRouter: berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan); DeepSeek V4.1 Flash di-host oleh mitra. Untuk data dengan persyaratan residensi, ketentuannya (bagian 7.3a) meminta Anda menyepakati lokasi pemrosesan sebelum mengirimnya. Periksa poin yang sama untuk cadangan: penyimpanan, penggunaan untuk pelatihan, lokasi, dan subprosesor. Jika tidak memenuhi, keluarkan permintaan sensitif dari jalur fallback dan biarkan gagal secara tertutup (fail closed). [Checklist zero data retention](https://broadrouter.com/id/blog/zero-data-retention-llm-api-checklist/) mencantumkan pertanyaannya.

## Sebaiknya pakai gateway seperti LiteLLM saja?

Pakai gateway jika beberapa layanan membutuhkan aturan fallback yang sama. Proxy LiteLLM menerima daftar `fallbacks` yang dicoba berurutan. `num_retries` mengulang satu grup model sebelum pindah ke fallback. `allowed_fails` dan `cooldown_time` menonaktifkan deployment yang gagal untuk sementara, yang berfungsi sebagai circuit breaker. `context_window_fallbacks` dan `content_policy_fallbacks` yang terpisah menangani jenis error tersebut ([dokumentasi LiteLLM](https://docs.litellm.ai/docs/proxy/reliability), dicek 15 November 2026):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[Panduan proxy LiteLLM](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/) menampilkan entri BroadNet secara lengkap. Kedua entri memakai prefiks generik `openai/` milik LiteLLM dengan `api_base`, pola yang sama dengan panduan itu. Gateway menambah satu hop dan satu komponen lagi yang harus dijaga tetap berjalan. Untuk satu aplikasi, sekitar 40 baris di client seperti di atas sudah cukup.

## Bagaimana menguji failover sebelum Anda membutuhkannya?

1.  Arahkan penyedia utama ke host yang tidak bisa dijangkau di konfigurasi uji, lalu pastikan permintaan sampai ke cadangan.
2.  Kirim permintaan yang sengaja tidak valid dan pastikan permintaan itu **tidak** failover.
3.  Pakai kunci utama yang tidak valid dan pastikan 401 muncul sebagai error, bukan perpindahan diam-diam.
4.  Amati breaker-nya: setelah tiga kegagalan, penyedia utama harus dilewati tanpa menunggu timeout.
5.  Pasang alert saat cadangan melayani lebih dari porsi kecil trafik. Failover yang diam-diam bisa menyembunyikan penyedia utama yang rusak selama berhari-hari.

`Router` milik LiteLLM menerima `mock_testing_fallbacks=True` dalam pengujian langsung untuk memaksa fallback.

## Posisi BroadNet Inference

BroadRouter adalah situs web BroadNet, dan BroadNet Inference bisa menjadi entri mana pun di daftar Anda. Sebagai penyedia utama, BroadNet memberi Anda GLM 5.3 dan Qwen3.8 27B dengan tool dan output terstruktur yang didokumentasikan, ditambah Gemma 4 VL 26B dan DeepSeek V4.1 Flash, pada satu [base URL](https://broadrouter.com/id/glossary/base-url/) tanpa konten yang disimpan. Sebagai cadangan, BroadNet adalah satu endpoint lagi yang kompatibel dengan OpenAI untuk ditambahkan ke daftar. Bagaimanapun, logika failover tetap milik Anda: BroadNet tidak me-routing antarpenyedia, dan self-serve tidak punya SLA. Jika Anda butuh tingkat layanan yang dikontrakkan, itu hanya tersedia lewat perjanjian tertulis terpisah. Bandingkan [model-modelnya](https://broadrouter.com/id/models/), atau [buat akun](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-api-failover-fallback&utm_content=body) dan uji rantai Anda dengan kredit awal $5 pada Gemma 4 VL 26B. GLM 5.3 dan Qwen3.8 27B memerlukan top up.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/)

Exponential backoff adalah strategi percobaan ulang di mana client menunggu makin lama setelah setiap percobaan yang gagal, biasanya menggandakan jedanya sampai batas tertentu, sebelum mencoba lagi. Menambahkan jitter acak pada setiap jeda menyebarkan percobaan ulang dari banyak client agar tidak menghantam server pada saat yang sama.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

[Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/)

Request timeout adalah waktu terlama sebuah client HTTP menunggu server sebelum membatalkan permintaan. Client biasanya membaginya menjadi connect timeout untuk membuka koneksi dan read timeout untuk menunggu data. Panggilan LLM memerlukan read timeout yang longgar karena jawaban panjang butuh waktu.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)

Model open-weight adalah model machine learning yang bobot hasil pelatihannya dipublikasikan agar bisa diunduh dan dijalankan siapa saja, biasanya di bawah lisensi dengan syarat tertentu. Model ini berbeda dari AI yang sepenuhnya open source, yang juga merilis kode pelatihan dan informasi rinci tentang data pelatihan agar orang lain bisa mempelajari dan mereproduksinya.

## Pertanyaan umum

### Error apa saja yang sebaiknya memicu fallback API LLM?

Error koneksi, timeout, 5xx, dan 429 karena rate limit, setelah retry bawaan SDK. Jangan failover pada 400, 401, 402, 403, 413, atau 422: permintaan atau akunnya yang salah, dan penyedia berikutnya akan gagal dengan cara yang sama atau malah menyembunyikan masalah tagihan.

### Apakah BroadNet otomatis failover ke penyedia lain?

Tidak. BroadNet Inference tidak me-routing permintaan antarmodel atau antarpenyedia, dan BroadRouter, situs ini, adalah situs informasi BroadNet, bukan router. Anda membangun fallback sendiri di client atau di gateway seperti LiteLLM.

### Bisakah saya memakai ID model yang sama di semua penyedia?

Tidak. Setiap penyedia menamai model open-weight yang sama secara berbeda. GLM 5.3 adalah \`broadnet/glm-5.3\` di BroadNet, \`zai-org/GLM-5.3\` di DeepInfra, dan \`accounts/fireworks/models/glm-5p3\` di Fireworks (dicek 15 November 2026). Simpan pemetaan per penyedia.

### Apakah percobaan yang gagal dikenai biaya?

Bisa. Timeout di sisi Anda tidak membuktikan penyedia berhenti bekerja, dan pada penagihan per token setiap retry adalah inferensi baru. Siapkan anggaran untuk beberapa permintaan yang tertagih dua kali dan batasi jumlah percobaan per permintaan.

### Apakah penyedia cadangan harus punya ketentuan privasi yang sama?

Ya. Cadangan adalah pemroses lain yang melihat prompt yang sama. Periksa ketentuan penyimpanan, pelatihan, dan lokasi pemrosesannya sebelum menambahkannya, atau janji privasi Anda hanya berlaku selama penyedia utama menyala.

### Apakah BroadNet punya SLA?

Tidak untuk self-serve. Ketentuan BroadNet (bagian 7.4) menyatakan self-serve tidak punya komitmen ketersediaan; tingkat layanan hanya ada dalam perjanjian tertulis terpisah.

## Baca juga

-   [Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter](https://broadrouter.com/id/blog/handle-llm-api-429-rate-limits/)
-   [Agent yang berjalan lama: timeout, retry, dan checkpoint yang andal](https://broadrouter.com/id/blog/long-running-agents-timeouts-retries/)
-   [Base URL API kompatibel OpenAI: 14 penyedia, sudah dicek](https://broadrouter.com/id/blog/openai-compatible-api-base-urls/)
-   [Perbandingan SLA API LLM: janji Azure, Bedrock, Google, dan OpenAI](https://broadrouter.com/id/blog/llm-api-sla-uptime-compared/)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Panduan: Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Sumber**

-   [Referensi API BroadNet Inference: error dan retry, batas, streaming, kemampuan model (dicek 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-api-failover-fallback&utm_content=sources)
-   [Ketentuan layanan BroadNet, bagian 7.3a (lokasi pemrosesan) dan 7.4 (ketersediaan) (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/terms)
-   [Pernyataan privasi inferensi BroadNet: tidak ada penyimpanan konten, tidak dipakai untuk pelatihan, hardware di AS dengan cadangan mitra (dicek 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference-privacy)
-   [README OpenAI Python SDK: retry, timeout, dan kelas error (dicek 2026-11-15)](https://github.com/openai/openai-python)
-   [Dokumentasi LiteLLM, keandalan proxy: fallbacks, num\_retries, allowed\_fails, cooldown\_time (dicek 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Dokumentasi DeepInfra, ikhtisar chat: base URL yang kompatibel dengan OpenAI (dicek 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Halaman model DeepInfra, zai-org/GLM-5.3: konteks, function calling, dan dukungan JSON (dicek 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Halaman model Fireworks AI, GLM 5.3: ID model, konteks, dan dukungan tool (dicek 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
