只对接一个模型的应用不需要路由。当团队使用多个模型或服务商,并希望在一个地方统一选择时,路由才派上用场。
原理
应用向路由发送 OpenAI 格式的请求。路由应用它的规则,把请求转发给某个后端,再以相同格式返回结果。常见的有三类:
- 托管聚合平台。 例如 OpenRouter 通过
https://openrouter.ai/api/v1提供 “hundreds of AI models through a single API endpoint”(译文:通过单个 API 端点提供数百个 AI 模型),并支持自动回退。你只需一个密钥、一份账单;聚合平台在各服务商那里持有账户。 - 自托管网关。 LiteLLM Router 运行在你自己的基础设施中。它把流量分摊到多个部署上(默认简单随机打散,也可以基于延迟、用量或成本),用指数退避重试速率限制错误,并在遇到 429 或失败率过高时让某个部署进入冷却。
- 按任务选模型的路由。 RouteLLM 等研究训练一个分类器,把简单的提示词发给更便宜的模型、把难的发给更强的模型,在不损失质量的前提下降低成本。
自托管网关通过一份后端列表来配置。下面这个 LiteLLM 条目添加了一个 OpenAI 兼容的服务商:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
为什么重要
- 可靠性。 当某个服务商返回 429 或 5xx 错误时,路由可以切换过去。参见速率限制。
- 成本。 把简单的提示词发给更便宜的模型可以降低账单。
- 一次集成。 代码只对接一个 base URL 和一种密钥格式。
取舍也是实实在在的。路由多了一跳网络。托管路由是又一个能看到你提示词的第三方,所以数据保留情况取决于路由和它选中的服务商两方。不同模型的分词器、思考(reasoning)行为和参数支持也不同,所以悄无声息的回退可能改变回答。
在 BroadNet Inference 上
BroadNet Inference 不是路由。它是单一服务商,在 https://inference.broadnet.ai/v1 上提供一份简短的模型列表;BroadNet 的服务条款说,它的模型运行在 BroadNet 自有或租用的美国硬件上,或由美国的推理合作伙伴运行。它没有跨服务商的自动路由或回退。你在每个请求中自己选择模型,例如 broadnet/deepseek-v4.1-flash 或 broadnet/glm-5.3。
由于 API 与 OpenAI 兼容,它可以作为一个后端放在路由后面。LiteLLM 代理指南介绍了配置方法。路由与固定价格服务商的对比,参见适合智能体的 OpenRouter 替代方案。BroadNet 不保留提示词或输出;如果你在前面加了托管路由,也请检查它的数据保留政策。
常见错误
- 在另一家服务商上重试 401 或 403。这些是密钥或策略错误,应该先修复。参见错误码与重试。
- 把模型名称当成可以互换的。请用你自己的提示词测试每个回退模型。