---
title: "Apa itu model fallback? Beralih ke LLM cadangan | BroadRouter"
description: "Model fallback mengirim request ke model atau penyedia cadangan saat yang pertama gagal. Caranya di gateway seperti LiteLLM dan OpenRouter, atau di kode sendiri."
url: https://broadrouter.com/id/glossary/model-fallback/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/model-fallback/) (diperbarui 2026-11-16).

# Model fallback

Diperbarui 2026-11-16

Model fallback adalah pola keandalan di mana request LLM yang gagal dicoba ulang pada model atau penyedia lain dari sebuah daftar berurutan. Pemicunya bisa berupa error, rate limit, error panjang konteks, atau penolakan kebijakan konten. Pola ini berjalan di klien Anda atau di gateway di depan API.

Disebut juga: model fallback, fallback model, model cadangan, failover model, fallback penyedia, model failover, provider fallback

Setiap API punya menit-menit buruk. Fallback berarti menit buruk di satu penyedia tidak berubah menjadi outage di aplikasi Anda.

## Cara kerjanya

Anda menyimpan daftar model yang berurutan. Saat sebuah panggilan gagal, setelah retry-nya sendiri, model berikutnya di daftar mendapat request yang sama.

Dua gateway dari sumber:

| Gateway | Cara kerja fallback |
| --- | --- |
| LiteLLM proxy | `fallbacks` mencantumkan grup model yang dicoba “in-order” (terjemahan: secara berurutan). `context_window_fallbacks` dan `content_policy_fallbacks` yang terpisah menangani jenis error tersebut. `num_retries` melakukan retry pada satu grup sebelum fallback; `allowed_fails` dan `cooldown_time` mengeluarkan deployment yang gagal untuk sementara. |
| OpenRouter | Sebuah array `models`. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (terjemahan: Jika model pertama mengembalikan error, OpenRouter otomatis mencoba model berikutnya di daftar.) Error apa pun bisa memicunya, termasuk panjang konteks, moderasi, rate limit, dan downtime. Jika model terakhir gagal, error itulah yang dikembalikan. |

Versi minimal di sisi klien:

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## Kenapa ini penting

-   **Uptime.** Penyedia kedua menutup insiden dan [rate limit](https://broadrouter.com/id/glossary/rate-limit/) di penyedia pertama.
-   **Output berbeda.** Model cadangan menulis dengan cara berbeda, mengikuti tool dengan cara berbeda, dan mungkin lebih mahal. Jalankan [eval](https://broadrouter.com/id/glossary/eval/) Anda pada setiap model di rantai, bukan hanya yang pertama.
-   **Jangan fallback karena bug Anda sendiri.** 400 atau 422 berarti request-nya salah; request itu akan gagal juga di model berikutnya. Lakukan fallback pada 429, timeout, dan 5xx setelah [exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) yang dibatasi.

## Di BroadNet Inference

BroadNet tidak melakukan routing request secara otomatis dan tidak punya fallback antar-model. BroadRouter, situs ini, adalah situs informasi BroadNet dan juga tidak melakukan routing request. Anda menerapkan fallback sendiri: di klien seperti di atas ([panduan failover API LLM](https://broadrouter.com/id/blog/llm-api-failover-fallback/) menambahkan circuit breaker dan pemetaan ID model), atau di gateway; lihat [LLM router](https://broadrouter.com/id/glossary/llm-router/) dan [panduan LiteLLM proxy](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/) untuk menambahkan BroadNet sebagai penyedia. [Referensi API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-model-fallback&utm_content=body) BroadNet menyarankan retry 5xx dengan exponential backoff yang dibatasi, dan memakai detail respons serta backoff yang dibatasi pada 429. [Panduan error dan retry](https://broadrouter.com/id/guides/errors-and-retries/) mencantumkan setiap status.

## Kesalahan umum

-   Melakukan fallback pada error 401 atau 402, yang menyembunyikan masalah tagihan atau kunci.
-   Tidak mencatat model mana yang melayani setiap balasan, sehingga perubahan kualitas sulit dilacak.

## Pertanyaan umum

### Sebaiknya retry dulu atau fallback dulu?

Retry dulu untuk gangguan singkat seperti 503. LiteLLM bekerja seperti ini: baru beralih ke grup model lain setelah sebuah panggilan gagal sebanyak num\_retries kali.

### Model mana yang ditagihkan setelah fallback?

Di OpenRouter, model yang melayani request: request "are priced using the model that was ultimately used" (terjemahan: diberi harga berdasarkan model yang akhirnya dipakai), yang dilaporkan di field model pada respons.

### Apakah BroadNet melakukan routing atau fallback otomatis?

Tidak. BroadNet tidak menyediakan routing otomatis, dan BroadRouter adalah situs informasi BroadNet, bukan router. Bangun fallback di klien Anda atau pasang gateway seperti LiteLLM di depannya.

## Lihat juga

-   [LLM router](https://broadrouter.com/id/glossary/llm-router/) (istilah)
-   [Exponential backoff](https://broadrouter.com/id/glossary/exponential-backoff/) (istilah)
-   [Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/) (istilah)
-   [Request timeout (batas waktu permintaan)](https://broadrouter.com/id/glossary/request-timeout/) (istilah)
-   [Penyedia inferensi (inference provider)](https://broadrouter.com/id/glossary/inference-provider/) (istilah)
-   [Mengarahkan LiteLLM ke BroadNet Inference (SDK dan proxy)](https://broadrouter.com/id/guides/litellm-proxy-custom-provider/) (panduan)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/) (panduan)
-   [Failover API LLM: pindah ke penyedia kedua lewat kode Anda sendiri](https://broadrouter.com/id/blog/llm-api-failover-fallback/) (artikel)
-   [OpenRouter vs paket harga tetap untuk AI agent: mana yang lebih murah?](https://broadrouter.com/id/blog/openrouter-alternative-flat-rate/) (artikel)
-   [Cara memilih penyedia API LLM: checklist 20 poin](https://broadrouter.com/id/blog/choose-llm-api-provider-checklist/) (artikel)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-model-fallback&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi LiteLLM, keandalan proxy: retry dan fallback (diperiksa 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Dokumentasi OpenRouter, model fallback (diperiksa 2026-11-15)](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [Referensi API BroadNet Inference, error dan retry (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-model-fallback&utm_content=sources)
