---
title: "什么是模型回退？大模型 API 故障切换到备用模型 | BroadRouter"
description: "模型回退是在首选模型或服务商失败时，把请求发给备用模型或服务商。LiteLLM、OpenRouter 等网关如何实现，以及如何自己实现。"
url: https://broadrouter.com/zh/glossary/model-fallback/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/model-fallback/) (2026-11-16 更新).

# 模型回退（model fallback）

更新于 2026-11-16

模型回退是一种可靠性模式：失败的 LLM 请求会按一个有序列表在另一个模型或服务商上重试。触发条件可以是错误、速率限制、上下文长度错误或内容策略拒绝。它运行在你的客户端里，或运行在 API 前面的网关中。

又称： 模型回退、备用模型、模型降级、故障切换、服务商切换、多模型容灾、model fallback、fallback model、model failover、provider fallback

每个 API 都有出问题的几分钟。有了回退，一家服务商出问题的几分钟，就不会变成你应用的一次宕机。

## 原理

你维护一个有序的模型列表。一次调用在自身重试之后仍然失败时，同一个请求交给列表中的下一个模型。

来源中提到的两个网关：

| 网关 | 回退方式 |
| --- | --- |
| LiteLLM 代理 | `fallbacks` 列出模型组，按 “in-order”（顺序）尝试。单独的 `context_window_fallbacks` 和 `content_policy_fallbacks` 处理这两类错误。`num_retries` 在回退前重试同一组；`allowed_fails` 和 `cooldown_time` 让失败的部署暂停一段时间。 |
| OpenRouter | 一个 `models` 数组。“If the first model returns an error, OpenRouter will automatically try the next model in the list.”（译文：如果第一个模型返回错误，OpenRouter 会自动尝试列表中的下一个模型。）任何错误都可能触发，包括上下文长度、内容审核、速率限制和宕机。如果最后一个模型也失败，就返回那个错误。 |

一个最简的客户端实现：

```python
from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")
```

## 为什么重要

-   **可用性。** 第二家服务商可以兜住第一家的故障和[速率限制](https://broadrouter.com/zh/glossary/rate-limit/)。
-   **输出不同。** 备用模型的写法不同、工具调用的表现不同，价格也可能更高。请在链路中的每个模型上都跑[评测](https://broadrouter.com/zh/glossary/eval/)，而不只是第一个。
-   **不要因为自己的 bug 而回退。** 400 或 422 说明请求本身有问题，换到下一个模型也会失败。应在 429、超时和 5xx 时，经过有上限的[指数退避](https://broadrouter.com/zh/glossary/exponential-backoff/)之后再回退。

## 在 BroadNet Inference 上

BroadNet 不会自动路由请求，也没有跨模型的回退。本站 BroadRouter 是 BroadNet 的信息网站，同样不转发请求。回退需要你自己实现：要么像上面那样写在客户端里（[LLM API 故障切换实操](https://broadrouter.com/zh/blog/llm-api-failover-fallback/)一文加入了熔断器和模型 ID 映射），要么放在网关里；添加 BroadNet 作为服务商的方法，参见 [LLM 路由](https://broadrouter.com/zh/glossary/llm-router/)和 [LiteLLM 代理指南](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)。BroadNet 的 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-model-fallback&utm_content=body)要求对 5xx 使用有上限的指数退避重试，对 429 则参考响应中的详细信息并使用有上限的退避。[错误码与重试指南](https://broadrouter.com/zh/guides/errors-and-retries/)列出了每个状态码。

## 常见错误

-   在 401 或 402 错误上回退，掩盖了账单或密钥问题。
-   不记录每条回复由哪个模型处理，导致质量变化难以追查。

## 常见问题

### 应该先重试还是先回退？

503 这类短暂故障先重试。LiteLLM 就是这样做的：一次调用失败 num\_retries 次之后，才回退到另一个模型组。

### 回退之后按哪个模型计费？

在 OpenRouter 上，按实际处理请求的那个模型计费。它说请求 "are priced using the model that was ultimately used"（译文：按最终使用的模型计价），实际模型在响应的 model 字段中给出。

### BroadNet 会自动路由或回退吗？

不会。BroadNet 不提供自动路由，BroadRouter 是 BroadNet 的信息网站，也不是路由。请在客户端里实现回退，或在前面放一个 LiteLLM 之类的网关。

## 另请参阅

-   [大模型路由（LLM router）](https://broadrouter.com/zh/glossary/llm-router/) (术语)
-   [指数退避（exponential backoff）](https://broadrouter.com/zh/glossary/exponential-backoff/) (术语)
-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/) (术语)
-   [请求超时（request timeout）](https://broadrouter.com/zh/glossary/request-timeout/) (术语)
-   [推理服务商（inference provider）](https://broadrouter.com/zh/glossary/inference-provider/) (术语)
-   [用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/) (指南)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/) (指南)
-   [大模型 API 故障转移：在自己的代码里切换到备用服务商](https://broadrouter.com/zh/blog/llm-api-failover-fallback/) (文章)
-   [AI 智能体用 OpenRouter 还是固定价格套餐：哪个更省钱？](https://broadrouter.com/zh/blog/openrouter-alternative-flat-rate/) (文章)
-   [如何选择大模型 API 服务商：20 项检查清单](https://broadrouter.com/zh/blog/choose-llm-api-provider-checklist/) (文章)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-model-fallback&utm_content=page-cta) ·

**来源**

-   [LiteLLM 文档：代理可靠性，重试与回退（2026-11-15 查阅）](https://docs.litellm.ai/docs/proxy/reliability)
-   [OpenRouter 文档：模型回退（2026-11-15 查阅）](https://openrouter.ai/docs/guides/routing/model-fallbacks)
-   [BroadNet Inference API 参考：错误与重试（2026-11-15 查阅） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-model-fallback&utm_content=sources)
