---
title: "大模型 API 故障转移与备用服务商：Python 实现 | BroadRouter"
description: "如何在 OpenAI 兼容的大模型服务商之间做故障转移：哪些错误该切换、熔断器、模型 ID 映射、流式输出，以及费用和隐私条款是否一致。"
url: https://broadrouter.com/zh/blog/llm-api-failover-fallback/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/blog/llm-api-failover-fallback/) (2026-11-16 更新).

# 大模型 API 故障转移：在自己的代码里切换到备用服务商

BroadNet Inference 团队 · 阅读约 8 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

维护一个有序的 OpenAI 兼容服务商列表，每个服务商有自己的客户端和模型 ID。在 SDK 自带的重试用完后，遇到连接错误、超时、5xx 和限流类 429 时切换。遇到 400、401、402、403、413 或 422 绝不切换。再加一个熔断器，并确认备用服务商在功能和数据条款上与主服务商一致。

## 要点

-   在有限次数的重试之后，遇到连接错误、超时、5xx 和限流类 429 时切换。400、401、402、403、413 或 422 换到下一家服务商也会同样失败。
-   各服务商的模型 ID 不同：GLM 5.3 在 BroadNet 上是 \`broadnet/glm-5.3\`，在 DeepInfra 上是 \`zai-org/GLM-5.3\`，在 Fireworks 上是 \`accounts/fireworks/models/glm-5p3\`。
-   有了熔断器，主服务商宕机期间就不必每个请求都白等一次超时。
-   流式输出只在第一个 token 之前切换；会改变外部状态的工具调用绝不重新执行。
-   BroadNet 和 BroadRouter 不会替你路由或故障转移。BroadNet 自助服务没有可用性承诺，生产应用应保留备用方案。

**本页内容**

1.  为什么要保留一个备用服务商？
2.  哪些错误应该触发故障转移？
3.  用 Python 实现故障转移是什么样子？
4.  如何在服务商之间映射模型 ID？
5.  切换之后如何让回答保持可比？
6.  流式输出和工具调用怎么办？
7.  故障转移要付出什么成本？
8.  备用服务商符合同样的数据条款吗？
9.  要不要改用 LiteLLM 这样的网关？
10.  如何在真正需要之前测试故障转移？
11.  BroadNet Inference 适合什么场景

每个大模型 API 都有出问题的几分钟：一个 503、一次超时、一波 429。故障转移（fallback）的意义在于，不让这几分钟变成你应用的宕机。本文介绍如何在自己的代码里，在 [OpenAI 兼容](https://broadrouter.com/zh/glossary/openai-compatible-api/)的服务商之间做故障转移：哪些错误应该触发切换，熔断器如何让切换保持迅速，以及服务商之间哪些方面必须一致，才能让用户察觉不到切换。

先说明一点：**BroadNet Inference 不会替你在服务商之间路由或故障转移**，BroadRouter 也不会。BroadRouter 是 BroadNet 自己的网站，不是路由平台。故障转移需要你自己实现，要么像下文那样写在客户端里，要么放在 LiteLLM 这类网关中。

## 为什么要保留一个备用服务商？

因为大多数自助式 API 对可用性没有任何承诺。BroadNet 的[条款](https://www.broadnet.ai/terms)第 7.4 条写得很直白：“self-serve has no availability commitment”（译文：自助服务没有可用性承诺），服务等级只存在于单独的书面协议中（2026 年 11 月 15 日查阅）。其他服务商承诺了什么，见[大模型 API SLA 对比](https://broadrouter.com/zh/blog/llm-api-sla-uptime-compared/)。如果你的功能必须保持在线，无论 SLA 怎么写，第二个服务商都是最实际的保险。

[速率限制](https://broadrouter.com/zh/glossary/rate-limit/)是第二个原因。BroadNet 按量付费密钥每分钟允许 30 个请求，同时最多 4 个并发。超出的流量高峰会返回 429，而在你提升容量之前，第二个服务商可以接住溢出的请求。

## 哪些错误应该触发故障转移？

把错误分成两类。一类是服务商的问题，换一家可能成功；另一类是你自己的问题，换到哪里都会失败。

| 错误 | 是否切换？ | 原因 |
| --- | --- | --- |
| 连接错误、超时 | 是，重试之后 | 服务商或网络不可达 |
| 500、502、503、504 | 是，重试之后 | BroadNet 的文档建议先 “retry with bounded exponential backoff”（译文：以有上限的指数退避重试） |
| 429，速率或并发限制 | 是，退避之后 | 是这家服务商的容量问题，不是请求有误 |
| 429，消费限额 | 否 | 切换会绕过你特意设置的预算 |
| 400、422 | 否 | 请求无效，换一家也会失败 |
| 401、402 | 否 | 密钥、额度或余额问题。在 BroadNet 上，401 也包括按量付费额度已用完，切换会掩盖计费问题 |
| 403、413 | 否 | 策略或大小问题；修正请求 |

BroadNet 的 [API 参考](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-api-failover-fallback&utm_content=body)说明，429 表示 “a rate, concurrency, token-rate or spending limit was reached”（译文：达到了速率、并发、token 速率或消费限额），并建议 “use response details and bounded backoff”（译文：根据响应详情使用有上限的退避）。切换之前先读这些详情，这样消费限额类的 429 会终止请求，而不是把它转走。[错误码指南](https://broadrouter.com/zh/guides/errors-and-retries/)列出了所有状态码。

先重试，再切换。OpenAI Python SDK 本身就会对连接错误、408、409、429 和 5xx 响应进行重试，“2 times by default, with a short exponential backoff”（译文：默认 2 次，使用较短的指数退避），默认超时为 10 分钟（[README](https://github.com/openai/openai-python)，2026 年 11 月 15 日查阅）。切换前等十分钟实在太久了。请为每个客户端设置 `timeout`。[429 处理文章](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/)介绍了带抖动的退避。

## 用 Python 实现故障转移是什么样子？

两个客户端、一个有序列表，再加一个小熔断器。主服务商是 BroadNet 上的 GLM 5.3，备用的是 DeepInfra 上的同一个开放权重模型，其文档给出的 base URL 是 `https://api.deepinfra.com/v1/openai`（2026 年 11 月 15 日查阅）。

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

有四个细节很重要：

1.  \*\*异常类。\*\*SDK 对 429 抛出 `RateLimitError`，对 500 及以上抛出 `InternalServerError`，无法连接时抛出 `APIConnectionError`（`APITimeoutError` 是它的子类）。其他异常故意不捕获。要把消费限额类的 429 排除在外，请在继续之前检查 `err.response`。
2.  \*\*熔断器。\*\*没有它，主服务商宕机时每个请求都要等满超时才会转走。连续失败三次后，主服务商会被跳过 30 秒。之后的下一个请求会再次试探它。
3.  \*\*记录由谁响应。\*\*返回服务商名称，并保留 `reply.model`。质量出现变化时，你需要知道是哪家服务商给出的回答。
4.  \*\*思考预算。\*\*GLM 5.3 会先思考再回答。BroadNet 的文档说明思考 token 计入 `max_tokens`，所以在每个服务商上都要留出 1,000 或以上。

## 如何在服务商之间映射模型 ID？

同一个开放权重模型在每家托管方都有不同的 ID，各家列明的功能也可能不同。以下是 2026 年 11 月 15 日的 GLM 5.3：

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| 模型 ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| 上下文 | 1,048,576 token | 1,048,576 token | “1040k” token |
| 工具 | 有文档说明 | 列有 “Function” | 支持 |
| 结构化输出 | 有文档说明 | 列有 “JSON” | 未核查 |

由此得出两条规则。第一，把映射放在配置里，不要散落在代码各处。第二，备用方案要匹配你的请求实际用到的功能。在 BroadNet 上，只有 GLM 5.3 和 Qwen3.8 27B 有工具和结构化输出的文档说明。一个调用工具的智能体可以从 GLM 5.3 切换到别家的 GLM 5.3，但不能安全地切换到没有工具文档说明的模型。如果备用方案的上下文窗口更小，就裁剪提示词，或者长请求跳过这个备用方案。14 家服务商的 base URL 见 [base URL 参考](https://broadrouter.com/zh/blog/openai-compatible-api-base-urls/)。

## 切换之后如何让回答保持可比？

同一份权重在两家托管方仍可能给出不同的回答，因为托管方可能使用不同的精度、对话模板或默认参数。换成另一个模型，回答肯定会不同。

-   用你的[评测集](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)测试列表中的每一项，而不只是主服务商。
-   每个请求都固定 `temperature`、`max_tokens` 和系统提示词，避免服务商的默认值改变输出。
-   在每条路径上用同样的方式校验结构化输出。[修复无效 JSON](https://broadrouter.com/zh/blog/fix-invalid-json-from-llm/)介绍了修复加重试的循环。
-   宁可用别家的同一个模型，也不要用同一家的另一个模型。比起几秒的延迟，用户更容易察觉到风格的变化。

## 流式输出和工具调用怎么办？

流式输出可能中途失败。BroadNet 的文档说明，在 `data: [DONE]` 之前结束的流应视为不完整：记录 `X-Request-ID`，再判断你的应用能否安全地发送新请求。

-   \*\*第一个 token 之前：\*\*可以放心切换。用户什么都还没看到。
-   \*\*已经显示了 token 之后：\*\*在备用服务商上重新开始并替换不完整的回答，或者显示错误并提供重试按钮。把两家服务商各一半的回答拼在一起，读起来很糟糕。
-   \*\*有副作用的工具调用：\*\*绝不能仅仅因为模型调用失败，就重新执行发邮件、扣款或写数据库的步骤。为每个操作分配一个[幂等键](https://broadrouter.com/zh/glossary/idempotency-key/)。[长时间运行的智能体](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/)介绍了检查点。

[SSE 流式输出详解](https://broadrouter.com/zh/blog/llm-streaming-sse-explained/)说明了如何检测提前结束的流。

## 故障转移要付出什么成本？

-   \*\*重复工作。\*\*你这边超时，并不能证明服务商停止了处理。在按 token 计费时，每次重试都是一次新的推理，所以要预料到部分请求会付两次钱。
-   \*\*价格不同。\*\*备用服务商按自己的价格计费。DeepInfra 在 2026 年 11 月 15 日为 GLM-5.3 列出的是促销价，做预算之前请重新核对。BroadNet 每百万 token 收取输入 $0.78、缓存输入 $0.173、输出 $3.46。
-   \*\*缓存是冷的。\*\*缓存输入不会在服务商之间转移。备用服务商上的头几个请求，对于在主服务商上已缓存的前缀，要付全额输入价。参见[缓存输入 token](https://broadrouter.com/zh/blog/cached-input-tokens-explained/)。
-   \*\*对冲请求。\*\*每个请求同时发给两家服务商、取先返回的回答，可以降低尾延迟，但账单大约翻倍。只在延迟值得这个代价的地方使用。

## 备用服务商符合同样的数据条款吗？

备用服务商是另一个接收相同提示词的处理方。如果你向客户就其数据做过承诺，这个承诺必须在列表中的每一项上都成立。

BroadNet 的[隐私声明](https://www.broadnet.ai/inference-privacy)写道：“We do not retain prompts, audio, images, answers or transcripts”（译文：我们不保留提示词、音频、图像、回答或转写文本）。推理内容不会被保留；必要的账户、计费和安全元数据按该声明所述保留。声明还说，推理数据不会用于训练、微调或评估模型。该声明称，托管模型 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”（译文：运行在 BroadNet 自有或租用的美国硬件上，并以合作方容量作为备份）；DeepSeek V4.1 Flash 由合作方托管。对于有驻留要求的数据，条款（第 7.3a 条）要求在发送之前约定处理地点。请对备用服务商检查同样几点：数据保留、训练用途、地点和子处理方。如果它达不到要求，就让敏感请求不走备用路径，失败时直接拒绝（fail closed）。[零数据保留检查清单](https://broadrouter.com/zh/blog/zero-data-retention-llm-api-checklist/)列出了要问的问题。

## 要不要改用 LiteLLM 这样的网关？

如果多个服务需要同样的故障转移规则，就用网关。LiteLLM 代理接受一个按顺序尝试的 `fallbacks` 列表。`num_retries` 会在回退之前重试某个模型组。`allowed_fails` 和 `cooldown_time` 会把出错的部署暂时下线，起到熔断器的作用。另有 `context_window_fallbacks` 和 `content_policy_fallbacks` 分别处理这两类错误（[LiteLLM 文档](https://docs.litellm.ai/docs/proxy/reliability)，2026 年 11 月 15 日查阅）：

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[LiteLLM 代理指南](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)给出了完整的 BroadNet 配置项。两个配置项都使用 LiteLLM 通用的 `openai/` 前缀加 `api_base`，与指南中的写法相同。网关会多一跳，也多一个需要维护运行的组件。对单个应用来说，像上面那样在客户端里写大约 40 行代码就够了。

## 如何在真正需要之前测试故障转移？

1.  在测试配置中把主服务商指向一个不可达的主机，检查请求是否落到了备用服务商上。
2.  故意发送一个无效请求，检查它**不会**触发切换。
3.  使用无效的主服务商密钥，检查 401 会作为错误暴露出来，而不是悄悄切换。
4.  观察熔断器：失败三次之后，主服务商应被跳过，而不必等待超时。
5.  当备用服务商承担的流量超过一小部分时发出告警。悄无声息的故障转移可能会把主服务商的故障掩盖好几天。

在直接测试中，LiteLLM 的 `Router` 接受 `mock_testing_fallbacks=True` 来强制触发回退。

## BroadNet Inference 适合什么场景

BroadRouter 是 BroadNet 的网站，而 BroadNet Inference 可以作为你列表中的任意一项。作为主服务商，它在同一个 [base URL](https://broadrouter.com/zh/glossary/base-url/) 上提供有工具和结构化输出文档说明的 GLM 5.3 和 Qwen3.8 27B，以及 Gemma 4 VL 26B 和 DeepSeek V4.1 Flash，且不保留任何内容。作为备用，它是你可以加入列表的又一个 OpenAI 兼容端点。无论哪种方式，故障转移逻辑都由你负责：BroadNet 不在服务商之间路由，自助服务也没有 SLA。如果你需要合同约定的服务等级，只能通过单独的书面协议获得。比较各[模型](https://broadrouter.com/zh/models/)，或者[创建账户](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-api-failover-fallback&utm_content=body)，用 $5 初始额度在 Gemma 4 VL 26B 上测试你的切换链路。GLM 5.3 和 Qwen3.8 27B 需要充值后使用。

相关免费工具 （英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具 （英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[消费上限（spend limit）](https://broadrouter.com/zh/glossary/spend-limit/)

消费上限是对 API 账户、项目或密钥在一段时间（通常是一个月）内可花费金额的限制。用量达到上限后，服务商会拒绝后续请求，常返回 HTTP 429 或 400 错误，直到周期重置或上限被调高。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[指数退避（exponential backoff）](https://broadrouter.com/zh/glossary/exponential-backoff/)

指数退避（exponential backoff）是一种重试策略：客户端每失败一次，就等待更长时间再重试，通常把延迟翻倍，直到达到上限。在每次等待中加入随机抖动（jitter），可以把众多客户端的重试错开，避免它们在同一时刻打到服务器上。

[SLA（服务等级协议）](https://broadrouter.com/zh/glossary/sla/)

SLA（服务等级协议）是服务商在合同中对可衡量服务水平的承诺，通常是每月可用性百分比，并规定未达标时的补救方式，通常是服务抵扣。SLA 会定义什么算停机、哪些情况除外，以及如何申请赔付。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

## 常见问题

### 哪些错误应该触发大模型 API 切换到备用服务商？

在 SDK 自带的重试之后，遇到连接错误、超时、5xx 和限流类 429 时切换。遇到 400、401、402、403、413 或 422 不要切换：这说明请求或账户有问题，下一家服务商会同样失败，或者掩盖计费问题。

### BroadNet 会自动切换到其他服务商吗？

不会。BroadNet Inference 不会在模型或服务商之间路由请求；本站 BroadRouter 是 BroadNet 的信息网站，不是路由平台。故障转移需要你在客户端或 LiteLLM 这类网关中自己实现。

### 能在所有服务商上用同一个模型 ID 吗？

不能。同一个开放权重模型，各服务商的命名都不同。GLM 5.3 在 BroadNet 上是 \`broadnet/glm-5.3\`，在 DeepInfra 上是 \`zai-org/GLM-5.3\`，在 Fireworks 上是 \`accounts/fireworks/models/glm-5p3\`（2026 年 11 月 15 日查阅）。请为每个服务商维护一份映射。

### 失败的尝试要花钱吗？

可能要。你这边超时，并不能证明服务商停止了处理；在按 token 计费时，每次重试都是一次新的推理。请为部分请求被重复计费留出预算，并限制每个请求的尝试次数。

### 备用服务商需要有相同的隐私条款吗？

需要。备用服务商是另一个会看到相同提示词的处理方。加入之前请检查它的数据保留、训练用途和处理地点条款，否则你的隐私承诺只在主服务商正常时才成立。

### BroadNet 有 SLA 吗？

自助服务没有。BroadNet 的条款（第 7.4 条）说明自助服务没有可用性承诺；服务等级只存在于单独的书面协议中。

## 继续阅读

-   [大模型 API 报 429 错误怎么办：退避、抖动与并发限制](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/)
-   [长时间运行的智能体：可靠的超时、重试与检查点](https://broadrouter.com/zh/blog/long-running-agents-timeouts-retries/)
-   [OpenAI 兼容 API 的 base\_url 汇总：14 家服务商逐一核对](https://broadrouter.com/zh/blog/openai-compatible-api-base-urls/)
-   [大模型 API SLA 对比：Azure、Bedrock、Google 和 OpenAI 承诺了什么](https://broadrouter.com/zh/blog/llm-api-sla-uptime-compared/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [指南：用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：错误与重试、限制、流式输出、模型能力（2026-11-15 查阅） （英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-api-failover-fallback&utm_content=sources)
-   [BroadNet 服务条款第 7.3a 条（处理地点）和第 7.4 条（可用性）（2026-11-15 查阅） （英文）](https://www.broadnet.ai/terms)
-   [BroadNet 推理隐私声明：不保留内容、不用于训练、美国硬件并以合作方容量作备份（2026-11-15 查阅） （英文）](https://www.broadnet.ai/inference-privacy)
-   [OpenAI Python SDK README：重试、超时与错误类（2026-11-15 查阅）](https://github.com/openai/openai-python)
-   [LiteLLM 文档，代理可靠性：fallbacks、num\_retries、allowed\_fails、cooldown\_time（2026-11-15 查阅）](https://docs.litellm.ai/docs/proxy/reliability)
-   [DeepInfra 文档，对话概览：OpenAI 兼容 base URL（2026-11-15 查阅）](https://docs.deepinfra.com/chat/overview)
-   [DeepInfra 模型页 zai-org/GLM-5.3：上下文、函数调用与 JSON 支持（2026-11-15 查阅）](https://deepinfra.com/zai-org/GLM-5.3)
-   [Fireworks AI 模型页 GLM 5.3：模型 ID、上下文与工具支持（2026-11-15 查阅）](https://fireworks.ai/models/fireworks/glm-5p3)
