---
title: "Model fallback là gì? Chuyển sang LLM dự phòng khi lỗi"
description: "Model fallback gửi request tới model hoặc nhà cung cấp dự phòng khi lựa chọn đầu tiên lỗi. Cách các gateway như LiteLLM và OpenRouter làm, và cách tự xây dựng."
url: https://broadrouter.com/vi/glossary/model-fallback/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/model-fallback/) (cập nhật ngày 2026-11-16).

# Model fallback (chuyển sang model dự phòng)

Cập nhật 2026-11-16

Model fallback là mẫu thiết kế tăng độ tin cậy, trong đó request LLM bị lỗi được thử lại trên một model hoặc nhà cung cấp khác theo danh sách có thứ tự. Nó được kích hoạt bởi lỗi, rate limit, lỗi độ dài context hay từ chối do chính sách nội dung, và chạy ở client hoặc gateway.

Còn gọi là: model fallback là gì, model dự phòng, chuyển đổi dự phòng LLM, failover LLM, fallback nhà cung cấp, fallback model, model failover, provider fallback

API nào cũng có những phút tồi tệ. Fallback giúp một phút tồi tệ ở một nhà cung cấp không biến thành sự cố trong ứng dụng của bạn.

## Cách hoạt động

Bạn giữ một danh sách model có thứ tự. Khi một lệnh gọi lỗi, sau khi đã tự thử lại, model kế tiếp trong danh sách nhận cùng request đó.

Hai gateway từ các nguồn tham khảo:

| Gateway | Fallback hoạt động thế nào |
| --- | --- |
| LiteLLM proxy | `fallbacks` liệt kê các nhóm model, được thử “in-order” (Bản dịch: theo thứ tự). `context_window_fallbacks` và `content_policy_fallbacks` riêng xử lý các loại lỗi đó. `num_retries` thử lại một nhóm trước khi fallback; `allowed_fails` và `cooldown_time` tạm loại một deployment đang lỗi. |
| OpenRouter | Một mảng `models`. “If the first model returns an error, OpenRouter will automatically try the next model in the list.” (Bản dịch: nếu model đầu tiên trả lỗi, OpenRouter sẽ tự động thử model kế tiếp trong danh sách.) Bất kỳ lỗi nào cũng có thể kích hoạt, gồm độ dài context, kiểm duyệt nội dung, rate limit và downtime. Nếu model cuối cùng lỗi, lỗi đó được trả về. |

Một phiên bản tối thiểu phía client:

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## Vì sao quan trọng

-   **Uptime.** Nhà cung cấp thứ hai che cho các sự cố và [rate limit](https://broadrouter.com/vi/glossary/rate-limit/) ở nhà cung cấp thứ nhất.
-   **Đầu ra khác.** Model dự phòng viết khác, dùng tool khác và có thể đắt hơn. Hãy chạy [eval](https://broadrouter.com/vi/glossary/eval/) trên mọi model trong chuỗi, không chỉ model đầu tiên.
-   **Đừng fallback vì lỗi của chính bạn.** Lỗi 400 hoặc 422 nghĩa là request sai; nó cũng sẽ lỗi ở model kế tiếp. Chỉ fallback với 429, timeout và 5xx sau khi đã dùng [exponential backoff](https://broadrouter.com/vi/glossary/exponential-backoff/) có giới hạn.

## Trên BroadNet Inference

BroadNet không tự động định tuyến request và không có fallback giữa các model. BroadRouter, trang này, là trang thông tin của BroadNet và cũng không định tuyến request. Bạn tự triển khai fallback: trong client như trên (bài [hướng dẫn failover API LLM](https://broadrouter.com/vi/blog/llm-api-failover-fallback/) bổ sung circuit breaker và ánh xạ ID model), hoặc trong một gateway; xem [LLM router](https://broadrouter.com/vi/glossary/llm-router/) và [hướng dẫn LiteLLM proxy](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) để thêm BroadNet làm nhà cung cấp. [Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-model-fallback&utm_content=body) của BroadNet khuyên thử lại 5xx với exponential backoff có giới hạn, và với 429 thì dùng thông tin trong phản hồi cùng backoff có giới hạn. [Hướng dẫn lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) liệt kê từng mã trạng thái.

## Lỗi thường gặp

-   Fallback khi gặp lỗi 401 hoặc 402, làm che giấu vấn đề về thanh toán hoặc key.
-   Không ghi log model nào đã phục vụ mỗi câu trả lời, khiến thay đổi chất lượng khó truy vết.

## Câu hỏi thường gặp

### Nên thử lại hay fallback trước?

Thử lại trước với lỗi ngắn hạn như 503. LiteLLM hoạt động như vậy: nó chỉ fallback sang nhóm model khác sau khi lệnh gọi lỗi đủ num\_retries lần.

### Sau khi fallback, tôi bị tính tiền theo model nào?

Trên OpenRouter là model đã phục vụ request: họ nói request “are priced using the model that was ultimately used” (Bản dịch: được tính giá theo model cuối cùng được dùng), được ghi trong trường model của phản hồi.

### BroadNet có tự định tuyến hoặc fallback không?

Không. BroadNet không cung cấp định tuyến tự động, và BroadRouter là trang thông tin của BroadNet, không phải router. Hãy xây fallback trong client của bạn hoặc đặt một gateway như LiteLLM phía trước.

## Xem thêm

-   [LLM router](https://broadrouter.com/vi/glossary/llm-router/) (thuật ngữ)
-   [Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/) (thuật ngữ)
-   [Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/) (thuật ngữ)
-   [Request timeout (thời gian chờ request)](https://broadrouter.com/vi/glossary/request-timeout/) (thuật ngữ)
-   [Nhà cung cấp inference (inference provider)](https://broadrouter.com/vi/glossary/inference-provider/) (thuật ngữ)
-   [Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) (hướng dẫn)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) (hướng dẫn)
-   [Failover API LLM: chuyển sang nhà cung cấp thứ hai bằng code của bạn](https://broadrouter.com/vi/blog/llm-api-failover-fallback/) (bài viết)
-   [OpenRouter hay gói giá cố định cho AI agent: bên nào rẻ hơn?](https://broadrouter.com/vi/blog/openrouter-alternative-flat-rate/) (bài viết)
-   [Cách chọn nhà cung cấp API LLM: checklist 20 điểm](https://broadrouter.com/vi/blog/choose-llm-api-provider-checklist/) (bài viết)
-   [Cách đánh giá LLM trước khi đổi nhà cung cấp](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-model-fallback&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu LiteLLM, độ tin cậy của proxy: thử lại và fallback (kiểm tra ngày 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Tài liệu OpenRouter, model fallback (kiểm tra ngày 2026-11-15)](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [Tài liệu tham chiếu API BroadNet Inference, lỗi và thử lại (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-model-fallback&utm_content=sources)
