BroadRouter

企业该选开放权重还是闭源大模型:成本、控制与风险

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于

闭源模型仍在最前沿领先,但 Epoch AI 估计最好的开放权重模型只落后约四个月。开放权重模型胜在控制权、隐私选项、版本锁定和更低的锁定风险,因为许多服务商可以部署同样的权重。在难题上需要最顶尖质量时,闭源模型胜出。许多企业两者并用,按任务路由。

每个基于大模型构建产品的团队都会做这个选择,而且常常是不知不觉中做的:只能通过一家厂商的 API 访问的闭源模型,还是任何人都可以下载和运行其权重的开放权重模型。这个选择会影响你的账单、数据路径、产品的稳定性,以及将来离开有多难。

开放权重到底是什么意思?

开放权重模型公开了训练好的参数。你,或者任何服务商,都可以运行它。这比开源的范围要窄:训练数据和完整的训练流程通常不会公开。

许可证各不相同。有些很宽松:例如 OpenAI 的 Whisper 以 MIT 许可证发布代码和权重。另一些则限制商业用途、用户数量或使用领域。在基于某个模型构建产品之前,先读它的许可证。

闭源模型的权重留在厂商手里。你只能通过它的 API,或厂商授权的云平台租用访问权。

开放权重与闭源模型对比

因素 开放权重 闭源
顶端质量 落后前沿几个月 通常在最难的任务上领先
每 token 价格 往往更低;多家托管方在同一模型上竞争 由一家厂商决定
在哪里运行 你的服务器、租用的 GPU 或任意托管方 厂商的 API 或授权的云平台
隐私选项 自行部署,或选择零数据保留的托管方 厂商的条款和服务等级
版本稳定性 想锁定确切的权重多久都行 厂商按自己的时间表下线版本
定制 自己微调或量化 只能用厂商提供的
锁定 低:多家托管方部署同样的权重 高:每个模型只有一家厂商
运维 自行部署时由你负责 由厂商负责

质量差距有多大?

比过去小,但确实存在。斯坦福的 2025 AI Index 报告,在 Chatbot Arena 排行榜上,顶尖闭源模型对顶尖开放权重模型的领先幅度,从 2024 年 1 月初的 8.04% 缩小到 2025 年 2 月的 1.70%。Epoch AI 在 2026 年 5 月 29 日估计,“the most capable open-weight models have lagged frontier closed models by an average of four months”(译文:最强的开放权重模型平均落后前沿闭源模型四个月),这是按其 Epoch Capabilities Index 衡量的。

在实践中:

  • 分类、信息提取、摘要、翻译、日常对话: 开放权重模型通常够用,而且更便宜。
  • 编程智能体和长文档: 有很强的开放权重选择;请在你自己的代码库上测试。见编程智能体最好的开放模型。
  • 最难的推理和最新的能力: 闭源模型往往先做到。

排行榜是平均值。你自己的 50 个真实测试用例,才是真正要紧的基准。

运行开放权重模型有哪三种方式?

方式 最适合 需要注意
在自己的 GPU 上自行部署 数据不能离开你的网络;GPU 一直满负荷 硬件、驱动、扩容、安全、升级
租用专用 GPU 负载稳定、使用自定义权重 闲置的时间也要付费
托管的开放权重 API 流量波动或在增长;快速上手 你要信任托管方的数据保留和可用性

自行部署按 token 看似免费,但一张 GPU 每小时服务一个请求还是一千个请求,花费都一样。只有在高且稳定的利用率下才划算。低于这个水平,按 token 计费的 API 或固定费用套餐通常更便宜。

开放权重模型每月要花多少钱?

托管开放权重模型的按 token 价格很容易计算。通过 BroadNet 使用 DeepSeek V4.1 Flash,每月 1 亿输入 token 和 1,000 万输出 token:

每月 100 x $0.175 + 10 x $0.52,未计入缓存折扣。

用你的闭源厂商公布的每百万 token 价格和你真实的 token 数做同样的计算,或者从我们的开放权重与闭源模型 API 成本对比开始,那篇文章在 GPT、Claude、Gemini、Grok 和五个开放模型上为同一个工作负载估价。缓存输入对结果影响很大:这个模型的缓存 token 每百万 $0.0055。大模型 API 成本计算器可以为每个 BroadNet 模型做这个计算,大模型 API 价格表列出了其他托管方对同样的开放权重的收费。

为什么锁定比看上去更要紧?

当闭源厂商涨价、修改数据条款,或者下线你的提示词所针对调优的模型时,你的选择只有接受或者重写。使用开放权重模型,你可以把同样的权重迁到另一家托管方或自己内部,并保持相同的行为。

要让这个选项真正可用:

  1. 通过 OpenAI 兼容 SDK 调用模型,把 base URL 和模型 ID 放在配置里。
  2. 保留一个回归测试集,每次更换服务商时都运行它。
  3. 也可以在前面放一个 LiteLLM 之类的路由器,这样切换只是改一下配置。

企业怎样组合使用开放和闭源模型?

大多数企业最后两者都会用:

  • 把高流量、定义明确的任务(信息提取、分诊、摘要、智能体的常规步骤)路由到开放权重模型。
  • 把少见的难题路由到闭源前沿模型。
  • 每个季度重新测试。考虑到 Epoch 测得的差距,任务会随着时间从第二类移到第一类。

BroadNet Inference 的定位

BroadNet Inference 是一个托管的开放权重 API:DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 和 BroadNet 构建的 Google Gemma 4,外加两个语音转文字模型,全部通过 OpenAI 兼容端点提供。其隐私声明称,它不保留任何提示词或输出,也不使用推理数据训练、微调或评估模型。DeepSeek V4.1 Flash 还提供固定费用套餐,每个会话从每小时 $1 到每月 $60。

它不提供闭源模型。如果某项任务需要 GPT、Claude 或 Gemini,就让那条路由使用这些厂商,其余的留在开放权重上。要把 BroadNet 与其他服务商比较,请使用 20 项服务商检查清单。

常见问题

开放权重模型和开源模型有什么区别?

开放权重模型公开了训练好的权重,任何人都可以运行。开源模型还会公开训练代码和数据。大多数流行的 “开放” 大模型只是开放权重,许可证从宽松到严格不等。

开放权重模型和闭源模型一样好吗?

接近,但在最顶端并不相等。Epoch AI 在 2026 年 5 月估计,最好的开放权重模型比最好的闭源模型落后约四个月。在许多日常任务上差距很小;在最难的任务上,闭源模型通常仍然领先。

开放权重模型更便宜吗?

按 token 计往往更便宜,因为许多托管方在竞争部署同样的权重。只有当你的 GPU 一直满负荷时,自行部署才更便宜;闲置的 GPU 不管用不用都要花钱。

开放权重模型更保护隐私吗?

可以更好。你可以自行部署,让数据永远不离开你的网络,或者选择零数据保留的托管方。闭源模型只能在其厂商提供服务的地方运行,并遵守厂商的条款。

从闭源模型切换到开放权重模型,需要重写代码吗?

如果托管方提供 OpenAI 兼容 API,通常不需要。改一下 base URL、密钥和模型 ID,然后在你自己的测试集上重新测试提示词、工具调用和输出质量。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity