BroadRouter

大模型路由(LLM router)

更新于

LLM 路由是位于应用与一个或多个语言模型 API 之间的软件或服务,它根据成本、延迟、可用性或任务类型等规则,为每个请求决定由哪个模型或服务商来处理。

又称: 大模型路由、模型路由、AI 网关、大模型网关、LLM 网关、大模型聚合平台、API 聚合、LLM router、AI gateway、LLM gateway、model router、LLM aggregator

只对接一个模型的应用不需要路由。当团队使用多个模型或服务商,并希望在一个地方统一选择时,路由才派上用场。

原理

应用向路由发送 OpenAI 格式的请求。路由应用它的规则,把请求转发给某个后端,再以相同格式返回结果。常见的有三类:

  • 托管聚合平台。 例如 OpenRouter 通过 https://openrouter.ai/api/v1 提供 “hundreds of AI models through a single API endpoint”(译文:通过单个 API 端点提供数百个 AI 模型),并支持自动回退。你只需一个密钥、一份账单;聚合平台在各服务商那里持有账户。
  • 自托管网关。 LiteLLM Router 运行在你自己的基础设施中。它把流量分摊到多个部署上(默认简单随机打散,也可以基于延迟、用量或成本),用指数退避重试速率限制错误,并在遇到 429 或失败率过高时让某个部署进入冷却。
  • 按任务选模型的路由。 RouteLLM 等研究训练一个分类器,把简单的提示词发给更便宜的模型、把难的发给更强的模型,在不损失质量的前提下降低成本。

自托管网关通过一份后端列表来配置。下面这个 LiteLLM 条目添加了一个 OpenAI 兼容的服务商:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

为什么重要

  • 可靠性。 当某个服务商返回 429 或 5xx 错误时,路由可以切换过去。参见速率限制。
  • 成本。 把简单的提示词发给更便宜的模型可以降低账单。
  • 一次集成。 代码只对接一个 base URL 和一种密钥格式。

取舍也是实实在在的。路由多了一跳网络。托管路由是又一个能看到你提示词的第三方,所以数据保留情况取决于路由和它选中的服务商两方。不同模型的分词器、思考(reasoning)行为和参数支持也不同,所以悄无声息的回退可能改变回答。

在 BroadNet Inference 上

BroadNet Inference 不是路由。它是单一服务商,在 https://inference.broadnet.ai/v1 上提供一份简短的模型列表;BroadNet 的服务条款说,它的模型运行在 BroadNet 自有或租用的美国硬件上,或由美国的推理合作伙伴运行。它没有跨服务商的自动路由或回退。你在每个请求中自己选择模型,例如 broadnet/deepseek-v4.1-flash 或 broadnet/glm-5.3。

由于 API 与 OpenAI 兼容,它可以作为一个后端放在路由后面。LiteLLM 代理指南介绍了配置方法。路由与固定价格服务商的对比,参见适合智能体的 OpenRouter 替代方案。BroadNet 不保留提示词或输出;如果你在前面加了托管路由,也请检查它的数据保留政策。

常见错误

  • 在另一家服务商上重试 401 或 403。这些是密钥或策略错误,应该先修复。参见错误码与重试。
  • 把模型名称当成可以互换的。请用你自己的提示词测试每个回退模型。

常见问题

LLM 路由和负载均衡器是一回事吗?

负载均衡器只是路由的一部分。路由还可以为某类任务换一个模型、出错后回退到另一家服务商,以及在不同 API 格式之间转换。普通的负载均衡器只是把流量分摊到相同的服务器上。

路由会增加延迟吗?

通常会增加一点,因为请求多了一跳网络,路由还可能检查请求内容。回退可能增加更多延迟,因为重试前要先经历一次失败的尝试。请分别测量有无路由时的首 token 时间。

BroadNet Inference 是 LLM 路由吗?

不是。尽管本站名为 BroadRouter,BroadNet Inference 是单一服务商;BroadNet 的服务条款说,它的模型运行在 BroadNet 自有或租用的美国硬件上,或由美国的推理合作伙伴运行。你在每个请求中自己选择模型。你可以把它作为其中一个服务商放在路由后面。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity