---
title: "Apakah itu fallback model? Beralih kepada LLM sandaran"
description: "Fallback model menghantar permintaan kepada model atau penyedia sandaran apabila yang pertama gagal. Cara LiteLLM dan OpenRouter melakukannya, dan cara membinanya."
url: https://broadrouter.com/ms/glossary/model-fallback/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/model-fallback/) (dikemas kini 2026-11-16).

# Fallback model (model sandaran)

Dikemas kini 2026-11-16

Fallback model ialah corak kebolehpercayaan di mana permintaan LLM yang gagal dicuba semula pada model atau penyedia lain daripada senarai tersusun. Pencetusnya boleh jadi ralat, had kadar, ralat panjang konteks atau penolakan dasar kandungan. Ia berjalan dalam klien anda atau dalam gateway di hadapan API.

Juga dikenali sebagai: model fallback, model sandaran, fallback model, model failover, provider fallback, failover LLM

Setiap API ada minit yang buruk. Fallback bermakna minit buruk pada satu penyedia tidak menjadi gangguan perkhidmatan dalam aplikasi anda.

## Cara ia berfungsi

Anda menyimpan senarai model yang tersusun. Apabila panggilan gagal, selepas cubaan semulanya sendiri, model seterusnya dalam senarai menerima permintaan yang sama.

Dua gateway daripada sumber:

| Gateway | Cara fallback berfungsi |
| --- | --- |
| Proksi LiteLLM | `fallbacks` menyenaraikan kumpulan model, dicuba “in-order” (Terjemahan BroadRouter: “mengikut susunan”). `context_window_fallbacks` dan `content_policy_fallbacks` yang berasingan mengendalikan jenis ralat tersebut. `num_retries` mencuba semula satu kumpulan sebelum fallback; `allowed_fails` dan `cooldown_time` mengeluarkan deployment yang gagal buat seketika. |
| OpenRouter | Tatasusunan `models`. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Terjemahan BroadRouter: “Jika model pertama memulangkan ralat, OpenRouter akan mencuba model seterusnya dalam senarai secara automatik.”) Sebarang ralat boleh mencetuskannya, termasuk panjang konteks, moderasi, had kadar dan masa henti. Jika model terakhir gagal, ralat itu yang dipulangkan. |

Versi minimum di sisi klien:

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## Mengapa ia penting

-   **Masa operasi.** Penyedia kedua melindungi daripada insiden dan [had kadar](https://broadrouter.com/ms/glossary/rate-limit/) pada penyedia pertama.
-   **Output berbeza.** Model sandaran menulis secara berbeza, mengikut alatan secara berbeza dan mungkin lebih mahal. Jalankan [eval](https://broadrouter.com/ms/glossary/eval/) anda pada setiap model dalam rantaian, bukan yang pertama sahaja.
-   **Jangan fallback kerana pepijat anda sendiri.** 400 atau 422 bermakna permintaan itu salah; ia juga akan gagal pada model seterusnya. Lakukan fallback pada 429, tamat masa dan 5xx selepas [backoff eksponen](https://broadrouter.com/ms/glossary/exponential-backoff/) yang terhad.

## Di BroadNet Inference

BroadNet tidak menghala permintaan secara automatik dan tiada fallback merentas model. BroadRouter, laman ini, ialah laman maklumat BroadNet dan juga tidak menghala permintaan. Anda melaksanakan fallback sendiri: dalam klien anda seperti di atas ([panduan failover API LLM](https://broadrouter.com/ms/blog/llm-api-failover-fallback/) menambah circuit breaker dan pemetaan ID model), atau dalam gateway; lihat [penghala LLM](https://broadrouter.com/ms/glossary/llm-router/) dan [panduan proksi LiteLLM](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) untuk menambah BroadNet sebagai penyedia. [Rujukan API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-model-fallback&utm_content=body) BroadNet menyatakan supaya mencuba semula 5xx dengan backoff eksponen yang terhad dan menggunakan butiran respons serta backoff terhad pada 429. [Panduan ralat dan cubaan semula](https://broadrouter.com/ms/guides/errors-and-retries/) menyenaraikan setiap status.

## Kesilapan biasa

-   Fallback pada ralat 401 atau 402, yang menyembunyikan masalah pengebilan atau kunci.
-   Tidak merekodkan model mana yang melayan setiap jawapan, jadi perubahan kualiti sukar dikesan.

## Soalan lazim

### Patutkah saya cuba semula atau fallback dahulu?

Cuba semula dahulu untuk gangguan singkat seperti 503. LiteLLM berfungsi begini: ia hanya beralih ke kumpulan model lain selepas panggilan gagal sebanyak num\_retries kali.

### Model mana yang dibilkan kepada saya selepas fallback?

Di OpenRouter, model yang melayan permintaan itu: ia menyatakan permintaan "are priced using the model that was ultimately used" (Terjemahan BroadRouter: "dikenakan harga berdasarkan model yang akhirnya digunakan"), seperti yang dilaporkan dalam medan model respons.

### Adakah BroadNet menghala atau melakukan fallback secara automatik?

Tidak. BroadNet tidak menawarkan penghalaan automatik, dan BroadRouter ialah laman maklumat BroadNet, bukan penghala. Bina fallback dalam klien anda atau letakkan gateway seperti LiteLLM di hadapan.

## Lihat juga

-   [Penghala LLM (LLM router)](https://broadrouter.com/ms/glossary/llm-router/) (istilah)
-   [Backoff eksponen (exponential backoff)](https://broadrouter.com/ms/glossary/exponential-backoff/) (istilah)
-   [Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/) (istilah)
-   [Tamat masa permintaan (request timeout)](https://broadrouter.com/ms/glossary/request-timeout/) (istilah)
-   [Penyedia inferens (inference provider)](https://broadrouter.com/ms/glossary/inference-provider/) (istilah)
-   [Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)](https://broadrouter.com/ms/guides/litellm-proxy-custom-provider/) (panduan)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/) (panduan)
-   [Failover API LLM: beralih ke penyedia kedua dalam kod anda sendiri](https://broadrouter.com/ms/blog/llm-api-failover-fallback/) (artikel)
-   [OpenRouter vs pelan kadar tetap untuk ejen AI: mana lebih murah?](https://broadrouter.com/ms/blog/openrouter-alternative-flat-rate/) (artikel)
-   [Cara memilih penyedia API LLM: senarai semak 20 perkara](https://broadrouter.com/ms/blog/choose-llm-api-provider-checklist/) (artikel)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-model-fallback&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi LiteLLM, kebolehpercayaan proksi: retries dan fallbacks (disemak 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Dokumentasi OpenRouter, model fallbacks (disemak 2026-11-15)](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [Rujukan API BroadNet Inference, ralat dan cubaan semula (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-model-fallback&utm_content=sources)
