BroadRouter

自建部署大模型还是用 API:真实成本与盈亏平衡点

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

租用的 GPU 无论忙闲每小时都要付同样的钱,所以只有在利用率高且稳定时,自建部署才比 API 便宜。用每小时价格除以服务器每小时实际产出的 token 数,加上工程和值班时间,再和 API 的每百万 token 价格比较。流量波动大或不高时,几乎总是 API 更划算。

“我们自己跑能省钱”是大模型成本规划中最常见的说法之一,也是最少被核实的说法之一。算起来并不难。其中有一个变量大家常常估错(利用率),还有一项成本大家常常漏掉(人力)。本文给出公式、真实的租用价格,以及用你自己的数字来计算的方法。

现在租用 GPU 要多少钱?

以下是从官方价格页面获取的每小时价格,RunPod 于 2026-11-14 获取,Lambda 于 2026-11-16 获取。这里一个月按 730 小时计算。

GPU 服务商和档位(2026-11-14 核实) 每 GPU 小时 每月(一直开着)
H100 SXM RunPod Secure Cloud USD 4.39 约 USD 3,205
H100 SXM RunPod Community Cloud USD 2.69 约 USD 1,964
H100 PCIe RunPod Secure Cloud USD 2.89 约 USD 2,110
H200 RunPod Secure Cloud USD 5.29 约 USD 3,862
A100 80GB SXM RunPod Secure Cloud USD 2.19 约 USD 1,599
L40S RunPod Secure Cloud USD 1.09 约 USD 796
H100 SXM Lambda 按需,1 到 8 张 GPU(2026-11-16 起生效;2026-11-16 核实) USD 4.59 到 4.89 约 USD 3,351 到 3,570

Lambda 的页面(2026-11-16 核实)说,这些价格自 2026-11-16 00:00 UTC 起生效;节点越大,单 GPU 价格越低,8 卡节点为 USD 4.59。RunPod Community Cloud 的价格是“起价”,因主机而异。Secure Cloud 和 Community Cloud 是不同的托管档位,如果你有数据处理方面的规定,请阅读各档位的条款。许多模型需要不止一张 GPU:一个 8 卡 H100 节点按 Secure Cloud 价格计算,每月约 USD 25,638。

怎样计算自建部署每百万 token 的成本?

一张 GPU 在它批量处理的所有请求上,以某个合计速率产出 token。你的每 token 成本,就是把每小时价格分摊到它实际产出的 token 上:

每百万 token 成本 = 每小时价格 ÷(合计每秒 token 数 × 3,600 ÷ 1,000,000)÷ 利用率

利用率是 GPU 以该速率做有用工作的小时数占比。下面用假设的数字举例(这不是基准测试结果:请测量你自己的模型):

  • GPU:一张 Community Cloud 上的 H100 SXM,每小时 USD 2.69。
  • 假设合计输出:批处理良好时每秒 1,500 个 token。
  • 满负荷时每小时 token 数:1,500 × 3,600 = 540 万。
利用率 每小时有效 token 数 每百万输出 token 成本
100%(始终满载) 540 万 USD 0.50
50% 270 万 USD 1.00
25%(只在工作时间忙) 135 万 USD 1.99
10%(波动大的产品流量) 54 万 USD 4.98

现在和 API 的每百万输出 token 价格比较。大模型 API 价格表列出了数十家服务商对同一开放权重模型的收费;在 BroadNet Inference 上,DeepSeek V4.1 Flash 每百万输出 token $0.52,Gemma 4 VL 26B 为 $0.22。找到自建成本降到 API 价格以下的那一行:那就是你的盈亏平衡利用率。这个例子没有计入输入 token,而输入 token 同样占用 GPU 时间(prefill),所以真实的自建成本比表中更高。

每月需要多少 token 才能达到盈亏平衡?

反过来算。一张一直开着的 GPU,无论如何都要付它的月租。API 的费用则是 token 数 × 价格。盈亏平衡的用量是:

盈亏平衡所需的每月 token 数 = 每月 GPU 成本 ÷ API 每百万 token 价格 × 1,000,000

以一张 Community Cloud 上的 H100(每月约 USD 1,964)对比每百万输出 token $0.52 的价格:用 1,964 除以这个价格,就得到在 GPU 回本之前你每月必须替代掉的输出 token 数(以百万计)。如果你的工作负载以输入为主(智能体通常如此),就用输入和输出的混合价格再算一遍;固定价格与按 token 计费对比一文说明了怎样计算混合价格。

而且这张 GPU 必须真的能跑起这个模型。如果模型需要四张 GPU,先把月成本乘以四,再做除法。

大家常漏掉哪些成本?

成本 涵盖什么 怎样计算
工程搭建 推理引擎、量化方案选择、自动扩缩容、压力测试 一次性小时数 × 你的费率
持续运维 升级、驱动和引擎更新、模型更新 每月小时数 × 你的费率
值班 节点宕机时有人要被叫醒 你的值班制度
冗余 第二个节点,避免单点故障造成服务中断 GPU 费用翻倍
闲置余量 为高峰保持预热的容量 降低利用率
评估 切换前检查新的模型版本 每次发布的小时数

对结论影响最大的是冗余。单张 GPU 就是单点故障。两张 GPU 会让你的利用率一下子减半。每次升级带来的评估工作,参见切换前如何评估模型。

什么时候自建部署才是正确的选择?

  • 用量稳定且大。 让 GPU 全天候满载的批处理流水线。
  • 数据必须留在你的网络内。 这是硬性要求,而不是成本上的理由。先看看提供零数据保留的 API 是否符合你的规定。
  • 没有 API 提供的模型。 你自己的微调模型,或小众的开放权重模型。
  • 有保障的算力。 你需要的吞吐量超出了 API 速率限制所能给的。

除此之外的情况,尤其是流量波动大、产品处于早期、智能体突发式运行时,API 更便宜,也不用排值班表。

在租 GPU 和按 token 计费之间,有没有固定价格的选择?

在租用 GPU 和按 token 付费之间,有一个折中方案。BroadNet 出售 Gemma 4 VL 26B 的按小时密钥,每小时 $0.50(一路流,每分钟 120 个请求、300,000 个 token),如果整月都开着,就是 $360.00。它还出售 DeepSeek V4.1 Flash 的不限量套餐会话,每月 $60,每个会话同一时间运行一个请求,速度为 约每秒 100 个 token。这些方案像租用 GPU 一样账单可预测,又不需要搭建和运维;但每个密钥或会话的并发是固定的,而不是一整张 GPU 的批处理能力。

BroadNet Inference 适合什么场景

BroadNet Inference 是这场对比中的 API 一方:它为开放权重模型提供按 token 价格、固定价格套餐和按小时密钥,其中部分模型由美国推理合作伙伴托管,并通过 OpenAI 兼容 API 访问。它适合流量会让租来的 GPU 一天中大部分时间闲置的团队,或者不想自己运行推理基础设施的团队。如果你需要部署定制的微调模型、本地部署,或在一个密钥上运行数百个并行请求,它就不合适。在大模型 API 费用计算器中算一算你的数字,再和上表比较。如果你还在开放模型和闭源模型之间犹豫,开放权重与闭源模型 API 成本对比根据各服务商自己的页面比较了按 token 价格。自建部署与 API 对比计算器可以用你实测的吞吐量和上述 GPU 价格,完成整个盈亏平衡计算。

常见问题

自建部署大模型比用 API 便宜吗?

只有在用量大且稳定时才是。租用的 GPU 每个小时都计费;API 只按你用掉的 token 计费。如果你的 GPU 一天中大部分时间都闲着,即使不算工程时间,API 也更便宜。

租一张 H100 每小时多少钱?

2026-11-14 RunPod 的价格页面上,H100 SXM 在 Secure Cloud 每小时 USD 4.39,在 Community Cloud 每小时 USD 2.69 起。Lambda 列出的按需 H100 SXM 为每 GPU 小时 USD 4.59 到 4.89,取决于节点规模,这些价格自 2026-11-16 起生效。当前价格请以各页面为准。

自建部署一个大模型需要几张 GPU?

显存至少要装得下模型权重,再加上并发请求所需的 KV 缓存。大型混合专家(MoE)模型通常需要多 GPU 节点。请查看模型卡上的参数量和推荐配置。

什么情况下即使成本更高,自建部署也合理?

当数据不能离开你的网络、你需要一个没有 API 提供的微调或定制模型,或者你需要有保障的算力时。这些是出于控制的理由,而不是成本的理由。

怎样测量我的 GPU 的真实吞吐量?

用 vLLM 或 SGLang 等推理引擎,以真实的并发运行你真实的提示词,记录所有请求合计的每秒输出 token 数。厂商给出的峰值数字假设的是理想的批处理。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity