选择大模型 API 服务商,要从六个方面给每个候选打分:真实工作负载的月度成本、速率与并发限制、OpenAI 兼容性、数据保留与训练条款、所需的模型,以及支持与可靠性。然后用一周的真实流量测试排名前两位的服务商。下面是 20 个问题、一张评分表和测试计划。
选定之后,迁移检查清单介绍切换本身,切换大模型之前如何评估深入讲解质量测试。
真实成本是多少?(问题 1–4)
- **我的真实工作负载每月要花多少钱?**分别给输入、缓存输入和输出定价;免费的大模型 API 成本计算器可以按模型算出来。智能体会反复发送相同的上下文,所以缓存输入往往占大头。我们的价格详解逐项做了说明。
- **思考 token 是否按输出计费?**思考模型花在思考上的 token 可能比回答还多。
- **有没有固定价格选项?**对于全天运行的智能体,固定价格套餐可能比按 token 计费更划算。参见盈亏平衡计算。
- **价格是否机器可读、带日期?**有了 JSON 价格文件,你就能跟踪变动并设置成本告警。
我们的开放数据集大模型 API 免费额度与速率限制比较了 14 家服务商公布的免费使用条件、初始速率限制、是否需要绑卡以及是否用免费档数据训练,每个值都附有来源和日期。
你会先碰到哪些限制?(问题 5–7)
- **每分钟请求数和并发限制是多少?**让并行智能体和批处理任务停滞的,是并发(进行中的请求数)。参见速率限制和并发,并用速率限制计算器按限额估算你的流量。
- 有没有 token 上限、滚动窗口或每周配额?“不限量”套餐常常有。请读一读“不限量”到底是什么意思。
- **上下文窗口有多大,会不会被裁剪?**确认每个请求实际的最大值,以及服务商是否会悄悄截断长提示词。
和你的代码兼容到什么程度?(问题 8–10)
- **是否 OpenAI 兼容,兼容到什么程度?**改一下 base URL 应该就能用。然后测试带用量统计的流式输出、工具调用、结构化输出和错误码。迁移检查清单列出了容易出问题的地方。
- **能否和我的工具配合使用?**SDK、智能体框架、IDE 助手。查看服务商的集成指南。
- **模型 ID 是否稳定?**你需要带版本号的 ID,以及模型下线前的提前通知。
你的数据会怎样处理?(问题 11–13)
- **提示词和输出会被存储吗?存多久?**许多服务商默认会把 API 内容保留最多 30 天。在大模型 API 数据保留政策对比中比较官方措辞。
- **我的数据会被用于训练吗?**以书面形式确认你所在档位的默认设置。
- **能否签署 DPA(数据处理协议)、查看子处理方名单并限制密钥?**如果你处理欧盟个人数据,请使用 GDPR 检查清单,并要求 IP 白名单。
有没有你需要的模型?(问题 14–16)
- **服务商是否有我需要的模型规模和能力?**视觉、工具调用、思考(reasoning)、长上下文、语音。
- **每个模型在我的任务上表现如何?**准备 30 到 50 个真实测试用例并打分。基准测试只是第一道筛选;在哪里比较大模型列出了各个排行榜及其衡量的内容。评估指南介绍了如何构建测试集并避免评审偏差。
- **开放权重还是闭源?**开放权重模型可以由多家服务商托管,降低锁定风险。参见开放权重与闭源模型对比。
服务是否稳定,出了问题谁来回应?(问题 17–20)
- 有没有状态页和故障历史?
- 生产使用有没有书面 SLA?
- **GPU 由谁运营?**自有硬件、云厂商,还是从另一个 API 转售的算力。每多一种,数据和可靠性链路上就多一方。
- **怎样联系到真人?**响应时间、联系渠道,以及支持人员能否看到你的请求内容。
如何给服务商相互打分?
每个问题打 0 分(否或未知)、1 分(部分)或 2 分(是,且有书面说明)。按你的使用场景给各组加权:
| 分组 | 问题 | 智能体场景的权重 | 受监管应用的权重 |
|---|---|---|---|
| 价格 | 1–4 | 高 | 中 |
| 限制 | 5–7 | 高 | 中 |
| 兼容性 | 8–10 | 中 | 中 |
| 隐私 | 11–13 | 中 | 高 |
| 模型 | 14–16 | 高 | 高 |
| 支持与可靠性 | 17–20 | 中 | 高 |
“未知”记 0 分是有原因的:如果服务商答不上来,你就不能依赖它。
如何在一周内测试一家服务商?
- 根据评分表选出排名前两位的服务商。
- 通过同一个 OpenAI SDK,把一部分真实流量分别路由到这两家,模型 ID 和 base URL 放在配置中。
- 为每个请求记录:模型、提示 token、缓存 token、补全 token、延迟、状态码。绝不记录内容。
- 制造你的峰值:运行批处理任务或并行智能体,留意 429 错误。错误与重试指南介绍了正确的退避方式。
- 把一周的 token 乘以约 4.3,为每家服务商算出月度费用。
- 在你的测试集上给输出打分。
BroadNet Inference 对这份清单的回答
| # | BroadNet Inference |
|---|---|
| 1, 4 | 按 token 价格公布在 pricing.json 中,同步于 2026-11-14 |
| 3 | DeepSeek V4.1 Flash 固定价格套餐:每个会话每月 $60、每周 $15 或每小时 $1 |
| 5 | 按量付费:每分钟 30 个请求,同时进行 4 个;套餐会话同一时间运行一个请求 |
| 6 | 套餐:不计 token,没有滚动窗口,没有每周上限 |
| 7 | DeepSeek V4.1 Flash 和 GLM 5.3 最多 1,048,576 个 token;套餐页面说明上下文从不裁剪 |
| 8 | OpenAI 兼容,地址为 https://inference.broadnet.ai/v1 |
| 11, 12 | 不保留提示词或输出;不用于训练、微调或评估模型 |
| 13 | IP 白名单最多 32 条;子处理方名单可应要求提供;DPA 可申请 |
| 14 | 四个对话模型,外加两个语音转文字模型 |
| 19 | BroadNet 的隐私声明说,其自有模型和托管的开放权重模型运行在 BroadNet 自有或租用的美国硬件上,并以合作伙伴算力作为后备;由合作伙伴提供的模型(如 DeepSeek V4.1 Flash)在零数据保留(ZDR)条款下由美国推理合作伙伴运行 |
我们在 BroadNet 的文档和套餐页面中没有找到的内容(2026 年 11 月 14 日核实):SLA、状态页和模型弃用政策。如果这些对你很重要,请向他们索取,并为关键链路保留第二家服务商。它的模型目录也比聚合平台小:如果你需要 GPT、Claude 或 Gemini 模型,这部分流量就不适合交给 BroadNet。$5 初始额度足够在轻量工作负载下完成测试计划的第 3 步,但在对话模型中只能用于 Gemma 4 VL 26B(另外也可用于两个 Transcribe 模型);其他对话模型需要充值。

