“我们自己跑能省钱”是大模型成本规划中最常见的说法之一,也是最少被核实的说法之一。算起来并不难。其中有一个变量大家常常估错(利用率),还有一项成本大家常常漏掉(人力)。本文给出公式、真实的租用价格,以及用你自己的数字来计算的方法。
现在租用 GPU 要多少钱?
以下是从官方价格页面获取的每小时价格,RunPod 于 2026-11-14 获取,Lambda 于 2026-11-16 获取。这里一个月按 730 小时计算。
| GPU | 服务商和档位(2026-11-14 核实) | 每 GPU 小时 | 每月(一直开着) |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | USD 4.39 | 约 USD 3,205 |
| H100 SXM | RunPod Community Cloud | USD 2.69 | 约 USD 1,964 |
| H100 PCIe | RunPod Secure Cloud | USD 2.89 | 约 USD 2,110 |
| H200 | RunPod Secure Cloud | USD 5.29 | 约 USD 3,862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2.19 | 约 USD 1,599 |
| L40S | RunPod Secure Cloud | USD 1.09 | 约 USD 796 |
| H100 SXM | Lambda 按需,1 到 8 张 GPU(2026-11-16 起生效;2026-11-16 核实) | USD 4.59 到 4.89 | 约 USD 3,351 到 3,570 |
Lambda 的页面(2026-11-16 核实)说,这些价格自 2026-11-16 00:00 UTC 起生效;节点越大,单 GPU 价格越低,8 卡节点为 USD 4.59。RunPod Community Cloud 的价格是“起价”,因主机而异。Secure Cloud 和 Community Cloud 是不同的托管档位,如果你有数据处理方面的规定,请阅读各档位的条款。许多模型需要不止一张 GPU:一个 8 卡 H100 节点按 Secure Cloud 价格计算,每月约 USD 25,638。
怎样计算自建部署每百万 token 的成本?
一张 GPU 在它批量处理的所有请求上,以某个合计速率产出 token。你的每 token 成本,就是把每小时价格分摊到它实际产出的 token 上:
每百万 token 成本 = 每小时价格 ÷(合计每秒 token 数 × 3,600 ÷ 1,000,000)÷ 利用率
利用率是 GPU 以该速率做有用工作的小时数占比。下面用假设的数字举例(这不是基准测试结果:请测量你自己的模型):
- GPU:一张 Community Cloud 上的 H100 SXM,每小时 USD 2.69。
- 假设合计输出:批处理良好时每秒 1,500 个 token。
- 满负荷时每小时 token 数:1,500 × 3,600 = 540 万。
| 利用率 | 每小时有效 token 数 | 每百万输出 token 成本 |
|---|---|---|
| 100%(始终满载) | 540 万 | USD 0.50 |
| 50% | 270 万 | USD 1.00 |
| 25%(只在工作时间忙) | 135 万 | USD 1.99 |
| 10%(波动大的产品流量) | 54 万 | USD 4.98 |
现在和 API 的每百万输出 token 价格比较。大模型 API 价格表列出了数十家服务商对同一开放权重模型的收费;在 BroadNet Inference 上,DeepSeek V4.1 Flash 每百万输出 token $0.52,Gemma 4 VL 26B 为 $0.22。找到自建成本降到 API 价格以下的那一行:那就是你的盈亏平衡利用率。这个例子没有计入输入 token,而输入 token 同样占用 GPU 时间(prefill),所以真实的自建成本比表中更高。
每月需要多少 token 才能达到盈亏平衡?
反过来算。一张一直开着的 GPU,无论如何都要付它的月租。API 的费用则是 token 数 × 价格。盈亏平衡的用量是:
盈亏平衡所需的每月 token 数 = 每月 GPU 成本 ÷ API 每百万 token 价格 × 1,000,000
以一张 Community Cloud 上的 H100(每月约 USD 1,964)对比每百万输出 token $0.52 的价格:用 1,964 除以这个价格,就得到在 GPU 回本之前你每月必须替代掉的输出 token 数(以百万计)。如果你的工作负载以输入为主(智能体通常如此),就用输入和输出的混合价格再算一遍;固定价格与按 token 计费对比一文说明了怎样计算混合价格。
而且这张 GPU 必须真的能跑起这个模型。如果模型需要四张 GPU,先把月成本乘以四,再做除法。
大家常漏掉哪些成本?
| 成本 | 涵盖什么 | 怎样计算 |
|---|---|---|
| 工程搭建 | 推理引擎、量化方案选择、自动扩缩容、压力测试 | 一次性小时数 × 你的费率 |
| 持续运维 | 升级、驱动和引擎更新、模型更新 | 每月小时数 × 你的费率 |
| 值班 | 节点宕机时有人要被叫醒 | 你的值班制度 |
| 冗余 | 第二个节点,避免单点故障造成服务中断 | GPU 费用翻倍 |
| 闲置余量 | 为高峰保持预热的容量 | 降低利用率 |
| 评估 | 切换前检查新的模型版本 | 每次发布的小时数 |
对结论影响最大的是冗余。单张 GPU 就是单点故障。两张 GPU 会让你的利用率一下子减半。每次升级带来的评估工作,参见切换前如何评估模型。
什么时候自建部署才是正确的选择?
- 用量稳定且大。 让 GPU 全天候满载的批处理流水线。
- 数据必须留在你的网络内。 这是硬性要求,而不是成本上的理由。先看看提供零数据保留的 API 是否符合你的规定。
- 没有 API 提供的模型。 你自己的微调模型,或小众的开放权重模型。
- 有保障的算力。 你需要的吞吐量超出了 API 速率限制所能给的。
除此之外的情况,尤其是流量波动大、产品处于早期、智能体突发式运行时,API 更便宜,也不用排值班表。
在租 GPU 和按 token 计费之间,有没有固定价格的选择?
在租用 GPU 和按 token 付费之间,有一个折中方案。BroadNet 出售 Gemma 4 VL 26B 的按小时密钥,每小时 $0.50(一路流,每分钟 120 个请求、300,000 个 token),如果整月都开着,就是 $360.00。它还出售 DeepSeek V4.1 Flash 的不限量套餐会话,每月 $60,每个会话同一时间运行一个请求,速度为 约每秒 100 个 token。这些方案像租用 GPU 一样账单可预测,又不需要搭建和运维;但每个密钥或会话的并发是固定的,而不是一整张 GPU 的批处理能力。
BroadNet Inference 适合什么场景
BroadNet Inference 是这场对比中的 API 一方:它为开放权重模型提供按 token 价格、固定价格套餐和按小时密钥,其中部分模型由美国推理合作伙伴托管,并通过 OpenAI 兼容 API 访问。它适合流量会让租来的 GPU 一天中大部分时间闲置的团队,或者不想自己运行推理基础设施的团队。如果你需要部署定制的微调模型、本地部署,或在一个密钥上运行数百个并行请求,它就不合适。在大模型 API 费用计算器中算一算你的数字,再和上表比较。如果你还在开放模型和闭源模型之间犹豫,开放权重与闭源模型 API 成本对比根据各服务商自己的页面比较了按 token 价格。自建部署与 API 对比计算器可以用你实测的吞吐量和上述 GPU 价格,完成整个盈亏平衡计算。
