BroadRouter
开始使用

模型回退(model fallback)

更新于

模型回退是一种可靠性模式:失败的 LLM 请求会按一个有序列表在另一个模型或服务商上重试。触发条件可以是错误、速率限制、上下文长度错误或内容策略拒绝。它运行在你的客户端里,或运行在 API 前面的网关中。

又称: 模型回退、备用模型、模型降级、故障切换、服务商切换、多模型容灾、model fallback、fallback model、model failover、provider fallback

每个 API 都有出问题的几分钟。有了回退,一家服务商出问题的几分钟,就不会变成你应用的一次宕机。

原理

你维护一个有序的模型列表。一次调用在自身重试之后仍然失败时,同一个请求交给列表中的下一个模型。

来源中提到的两个网关:

网关 回退方式
LiteLLM 代理 fallbacks 列出模型组,按 “in-order”(顺序)尝试。单独的 context_window_fallbacks 和 content_policy_fallbacks 处理这两类错误。num_retries 在回退前重试同一组;allowed_fails 和 cooldown_time 让失败的部署暂停一段时间。
OpenRouter 一个 models 数组。“If the first model returns an error, OpenRouter will automatically try the next model in the list.”(译文:如果第一个模型返回错误,OpenRouter 会自动尝试列表中的下一个模型。)任何错误都可能触发,包括上下文长度、内容审核、速率限制和宕机。如果最后一个模型也失败,就返回那个错误。

一个最简的客户端实现:

from openai import APITimeoutError, InternalServerError, RateLimitError

CHAIN = [("broadnet", "broadnet/glm-5.3"), ("other", "backup-model")]

def chat_with_fallback(clients, msgs):
    for client_name, model in CHAIN:
        try:
            return clients[client_name].chat.completions.create(model=model, messages=msgs)
        except (RateLimitError, APITimeoutError, InternalServerError):
            continue
    raise RuntimeError("all models failed")

为什么重要

  • 可用性。 第二家服务商可以兜住第一家的故障和速率限制。
  • 输出不同。 备用模型的写法不同、工具调用的表现不同,价格也可能更高。请在链路中的每个模型上都跑评测,而不只是第一个。
  • 不要因为自己的 bug 而回退。 400 或 422 说明请求本身有问题,换到下一个模型也会失败。应在 429、超时和 5xx 时,经过有上限的指数退避之后再回退。

在 BroadNet Inference 上

BroadNet 不会自动路由请求,也没有跨模型的回退。本站 BroadRouter 是 BroadNet 的信息网站,同样不转发请求。回退需要你自己实现:要么像上面那样写在客户端里(LLM API 故障切换实操一文加入了熔断器和模型 ID 映射),要么放在网关里;添加 BroadNet 作为服务商的方法,参见 LLM 路由和 LiteLLM 代理指南。BroadNet 的 API 参考要求对 5xx 使用有上限的指数退避重试,对 429 则参考响应中的详细信息并使用有上限的退避。错误码与重试指南列出了每个状态码。

常见错误

  • 在 401 或 402 错误上回退,掩盖了账单或密钥问题。
  • 不记录每条回复由哪个模型处理,导致质量变化难以追查。

常见问题

应该先重试还是先回退?

503 这类短暂故障先重试。LiteLLM 就是这样做的:一次调用失败 num_retries 次之后,才回退到另一个模型组。

回退之后按哪个模型计费?

在 OpenRouter 上,按实际处理请求的那个模型计费。它说请求 "are priced using the model that was ultimately used"(译文:按最终使用的模型计价),实际模型在响应的 model 字段中给出。

BroadNet 会自动路由或回退吗?

不会。BroadNet 不提供自动路由,BroadRouter 是 BroadNet 的信息网站,也不是路由。请在客户端里实现回退,或在前面放一个 LiteLLM 之类的网关。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity