每个 API 都有出问题的几分钟。有了回退,一家服务商出问题的几分钟,就不会变成你应用的一次宕机。
原理
你维护一个有序的模型列表。一次调用在自身重试之后仍然失败时,同一个请求交给列表中的下一个模型。
来源中提到的两个网关:
| 网关 | 回退方式 |
|---|---|
| LiteLLM 代理 | fallbacks 列出模型组,按 “in-order”(顺序)尝试。单独的 context_window_fallbacks 和 content_policy_fallbacks 处理这两类错误。num_retries 在回退前重试同一组;allowed_fails 和 cooldown_time 让失败的部署暂停一段时间。 |
| OpenRouter | 一个 models 数组。“If the first model returns an error, OpenRouter will automatically try the next model in the list.”(译文:如果第一个模型返回错误,OpenRouter 会自动尝试列表中的下一个模型。)任何错误都可能触发,包括上下文长度、内容审核、速率限制和宕机。如果最后一个模型也失败,就返回那个错误。 |
一个最简的客户端实现:
from openai import APITimeoutError, InternalServerError, RateLimitError
CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]
def chat_with_fallback(clients, msgs):
for client_name, model in CHAIN:
try:
return clients[client_name].chat.completions.create(model=model, messages=msgs)
except (RateLimitError, APITimeoutError, InternalServerError):
continue
raise RuntimeError("all models failed")
为什么重要
- 可用性。 第二家服务商可以兜住第一家的故障和速率限制。
- 输出不同。 备用模型的写法不同、工具调用的表现不同,价格也可能更高。请在链路中的每个模型上都跑评测,而不只是第一个。
- 不要因为自己的 bug 而回退。 400 或 422 说明请求本身有问题,换到下一个模型也会失败。应在 429、超时和 5xx 时,经过有上限的指数退避之后再回退。
在 BroadNet Inference 上
BroadNet 不会自动路由请求,也没有跨模型的回退。本站 BroadRouter 是 BroadNet 的信息网站,同样不转发请求。回退需要你自己实现:要么像上面那样写在客户端里(LLM API 故障切换实操一文加入了熔断器和模型 ID 映射),要么放在网关里;添加 BroadNet 作为服务商的方法,参见 LLM 路由和 LiteLLM 代理指南。BroadNet 的 API 参考要求对 5xx 使用有上限的指数退避重试,对 429 则参考响应中的详细信息并使用有上限的退避。错误码与重试指南列出了每个状态码。
常见错误
- 在 401 或 402 错误上回退,掩盖了账单或密钥问题。
- 不记录每条回复由哪个模型处理,导致质量变化难以追查。