---
title: "大模型自建部署 vs API 成本：GPU 租用盈亏平衡计算 | BroadRouter"
description: "来自官方页面的 GPU 租用价格、自有 GPU 每百万 token 成本的计算公式、要比 API 便宜所需的利用率，以及常被忽略的运维成本。"
url: https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/self-hosting-llm-vs-api-cost/)（2026-11-16 更新）。

# 自建部署大模型还是用 API：真实成本与盈亏平衡点

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

租用的 GPU 无论忙闲每小时都要付同样的钱，所以只有在利用率高且稳定时，自建部署才比 API 便宜。用每小时价格除以服务器每小时实际产出的 token 数，加上工程和值班时间，再和 API 的每百万 token 价格比较。流量波动大或不高时，几乎总是 API 更划算。

## 要点

-   在 RunPod 的价格页面上，一张 H100 SXM 在 Secure Cloud 每小时 USD 4.39，在 Community Cloud 每小时 USD 2.69：如果一直开着，每月大约 USD 3,205 和 USD 1,964。
-   自建部署每百万 token 成本 = 每小时价格 ÷（每秒 token 数 × 3,600 ÷ 1,000,000）÷ 利用率。
-   利用率决定结论。一张只有 25% 时间在忙的 GPU，每个 token 的成本是满负荷 GPU 的四倍。
-   大型开放权重模型光是装下权重就需要好几张 GPU；租用价格要相应乘上倍数。
-   工程开发、监控、升级和值班都是实打实的成本；按每月小时数乘以你自己的费率来计算。

**本页内容**

1.  现在租用 GPU 要多少钱？
2.  怎样计算自建部署每百万 token 的成本？
3.  每月需要多少 token 才能达到盈亏平衡？
4.  大家常漏掉哪些成本？
5.  什么时候自建部署才是正确的选择？
6.  在租 GPU 和按 token 计费之间，有没有固定价格的选择？
7.  BroadNet Inference 适合什么场景

“我们自己跑能省钱”是大模型成本规划中最常见的说法之一，也是最少被核实的说法之一。算起来并不难。其中有一个变量大家常常估错（利用率），还有一项成本大家常常漏掉（人力）。本文给出公式、真实的租用价格，以及用你自己的数字来计算的方法。

## 现在租用 GPU 要多少钱？

以下是从官方价格页面获取的每小时价格，RunPod 于 2026-11-14 获取，Lambda 于 2026-11-16 获取。这里一个月按 730 小时计算。

| GPU | 服务商和档位（2026-11-14 核实） | 每 GPU 小时 | 每月（一直开着） |
| --- | --- | --- | --- |
| H100 SXM | RunPod Secure Cloud | USD 4.39 | 约 USD 3,205 |
| H100 SXM | RunPod Community Cloud | USD 2.69 | 约 USD 1,964 |
| H100 PCIe | RunPod Secure Cloud | USD 2.89 | 约 USD 2,110 |
| H200 | RunPod Secure Cloud | USD 5.29 | 约 USD 3,862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2.19 | 约 USD 1,599 |
| L40S | RunPod Secure Cloud | USD 1.09 | 约 USD 796 |
| H100 SXM | Lambda 按需，1 到 8 张 GPU（2026-11-16 起生效；2026-11-16 核实） | USD 4.59 到 4.89 | 约 USD 3,351 到 3,570 |

Lambda 的页面（2026-11-16 核实）说，这些价格自 2026-11-16 00:00 UTC 起生效；节点越大，单 GPU 价格越低，8 卡节点为 USD 4.59。RunPod Community Cloud 的价格是“起价”，因主机而异。Secure Cloud 和 Community Cloud 是不同的托管档位，如果你有数据处理方面的规定，请阅读各档位的条款。许多模型需要不止一张 GPU：一个 8 卡 H100 节点按 Secure Cloud 价格计算，每月约 USD 25,638。

## 怎样计算自建部署每百万 token 的成本？

一张 GPU 在它批量处理的所有请求上，以某个合计速率产出 token。你的每 token 成本，就是把每小时价格分摊到它实际产出的 token 上：

**每百万 token 成本 = 每小时价格 ÷（合计每秒 token 数 × 3,600 ÷ 1,000,000）÷ 利用率**

利用率是 GPU 以该速率做有用工作的小时数占比。下面用**假设**的数字举例（这不是基准测试结果：请测量你自己的模型）：

-   GPU：一张 Community Cloud 上的 H100 SXM，每小时 USD 2.69。
-   假设合计输出：批处理良好时每秒 1,500 个 token。
-   满负荷时每小时 token 数：1,500 × 3,600 = 540 万。

| 利用率 | 每小时有效 token 数 | 每百万输出 token 成本 |
| --- | --- | --- |
| 100%（始终满载） | 540 万 | USD 0.50 |
| 50% | 270 万 | USD 1.00 |
| 25%（只在工作时间忙） | 135 万 | USD 1.99 |
| 10%（波动大的产品流量） | 54 万 | USD 4.98 |

现在和 API 的每百万输出 token 价格比较。[大模型 API 价格表](https://broadrouter.com/zh/llm-api-pricing/)列出了数十家服务商对同一开放权重模型的收费；在 BroadNet Inference 上，[DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 每百万输出 token $0.52，[Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 为 $0.22。找到自建成本降到 API 价格以下的那一行：那就是你的盈亏平衡利用率。这个例子没有计入输入 token，而输入 token 同样占用 GPU 时间（prefill），所以真实的自建成本比表中更高。

## 每月需要多少 token 才能达到盈亏平衡？

反过来算。一张一直开着的 GPU，无论如何都要付它的月租。API 的费用则是 token 数 × 价格。盈亏平衡的用量是：

**盈亏平衡所需的每月 token 数 = 每月 GPU 成本 ÷ API 每百万 token 价格 × 1,000,000**

以一张 Community Cloud 上的 H100（每月约 USD 1,964）对比每百万输出 token $0.52 的价格：用 1,964 除以这个价格，就得到在 GPU 回本之前你每月必须替代掉的输出 token 数（以百万计）。如果你的工作负载以输入为主（智能体通常如此），就用输入和输出的混合价格再算一遍；[固定价格与按 token 计费对比](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)一文说明了怎样计算混合价格。

而且这张 GPU 必须真的能跑起这个模型。如果模型需要四张 GPU，先把月成本乘以四，再做除法。

## 大家常漏掉哪些成本？

| 成本 | 涵盖什么 | 怎样计算 |
| --- | --- | --- |
| 工程搭建 | 推理引擎、量化方案选择、自动扩缩容、压力测试 | 一次性小时数 × 你的费率 |
| 持续运维 | 升级、驱动和引擎更新、模型更新 | 每月小时数 × 你的费率 |
| 值班 | 节点宕机时有人要被叫醒 | 你的值班制度 |
| 冗余 | 第二个节点，避免单点故障造成服务中断 | GPU 费用翻倍 |
| 闲置余量 | 为高峰保持预热的容量 | 降低利用率 |
| 评估 | 切换前检查新的模型版本 | 每次发布的小时数 |

对结论影响最大的是冗余。单张 GPU 就是单点故障。两张 GPU 会让你的利用率一下子减半。每次升级带来的评估工作，参见[切换前如何评估模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)。

## 什么时候自建部署才是正确的选择？

-   **用量稳定且大。** 让 GPU 全天候满载的批处理流水线。
-   **数据必须留在你的网络内。** 这是硬性要求，而不是成本上的理由。先看看提供[零数据保留](https://broadrouter.com/zh/privacy/)的 API 是否符合你的规定。
-   **没有 API 提供的模型。** 你自己的微调模型，或小众的[开放权重模型](https://broadrouter.com/zh/glossary/open-weight-model/)。
-   **有保障的算力。** 你需要的吞吐量超出了 API 速率限制所能给的。

除此之外的情况，尤其是流量波动大、产品处于早期、智能体突发式运行时，API 更便宜，也不用排值班表。

## 在租 GPU 和按 token 计费之间，有没有固定价格的选择？

在租用 GPU 和按 token 付费之间，有一个折中方案。BroadNet 出售 Gemma 4 VL 26B 的按小时密钥，每小时 $0.50（一路流，每分钟 120 个请求、300,000 个 token），如果整月都开着，就是 $360.00。它还出售 DeepSeek V4.1 Flash 的[不限量套餐会话](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)，每月 $60，每个会话同一时间运行一个请求，速度为 约每秒 100 个 token。这些方案像租用 GPU 一样账单可预测，又不需要搭建和运维；但每个密钥或会话的并发是固定的，而不是一整张 GPU 的批处理能力。

## BroadNet Inference 适合什么场景

BroadNet Inference 是这场对比中的 API 一方：它为开放权重模型提供按 token 价格、固定价格套餐和按小时密钥，其中部分模型由美国推理合作伙伴托管，并通过 OpenAI 兼容 API 访问。它适合流量会让租来的 GPU 一天中大部分时间闲置的团队，或者不想自己运行推理基础设施的团队。如果你需要部署定制的微调模型、本地部署，或在一个密钥上运行数百个并行请求，它就不合适。在[大模型 API 费用计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)中算一算你的数字，再和上表比较。如果你还在开放模型和闭源模型之间犹豫，[开放权重与闭源模型 API 成本对比](https://broadrouter.com/zh/blog/open-weight-vs-closed-model-api-cost/)根据各服务商自己的页面比较了按 token 价格。[自建部署与 API 对比计算器](https://broadrouter.com/tools/self-hosting-vs-api-calculator/)可以用你实测的吞吐量和上述 GPU 价格，完成整个盈亏平衡计算。

相关免费工具（英文）

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [LLM token counter](https://broadrouter.com/tools/token-counter/) Exact token counts with each model's real tokenizer, with a token view and cost.
-   [Context window calculator](https://broadrouter.com/tools/context-window-calculator/) Will it fit? Window used per model, room left for output, cost to send.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)

开放权重模型是公开发布训练好的权重、任何人都可以下载和运行的机器学习模型，通常附带有条件的许可证。它不同于完全开源的 AI，后者还会公开训练代码和训练数据的详细信息，让其他人能够研究并复现模型。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

## 常见问题

### 自建部署大模型比用 API 便宜吗？

只有在用量大且稳定时才是。租用的 GPU 每个小时都计费；API 只按你用掉的 token 计费。如果你的 GPU 一天中大部分时间都闲着，即使不算工程时间，API 也更便宜。

### 租一张 H100 每小时多少钱？

2026-11-14 RunPod 的价格页面上，H100 SXM 在 Secure Cloud 每小时 USD 4.39，在 Community Cloud 每小时 USD 2.69 起。Lambda 列出的按需 H100 SXM 为每 GPU 小时 USD 4.59 到 4.89，取决于节点规模，这些价格自 2026-11-16 起生效。当前价格请以各页面为准。

### 自建部署一个大模型需要几张 GPU？

显存至少要装得下模型权重，再加上并发请求所需的 KV 缓存。大型混合专家（MoE）模型通常需要多 GPU 节点。请查看模型卡上的参数量和推荐配置。

### 什么情况下即使成本更高，自建部署也合理？

当数据不能离开你的网络、你需要一个没有 API 提供的微调或定制模型，或者你需要有保障的算力时。这些是出于控制的理由，而不是成本的理由。

### 怎样测量我的 GPU 的真实吞吐量？

用 vLLM 或 SGLang 等推理引擎，以真实的并发运行你真实的提示词，记录所有请求合计的每秒输出 token 数。厂商给出的峰值数字假设的是理想的批处理。

## 继续阅读

-   [大模型 API 包月还是按 token 付费：盈亏平衡怎么算](https://broadrouter.com/zh/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [大模型 API 套餐的“不限量”，到底意味着什么](https://broadrouter.com/zh/blog/what-unlimited-llm-api-really-means/)
-   [AI 智能体用 OpenRouter 还是固定价格套餐：哪个更省钱？](https://broadrouter.com/zh/blog/openrouter-alternative-flat-rate/)
-   [申请私有端点，先把工作负载说清楚](https://broadrouter.com/zh/blog/private-endpoint-planning/)
-   [Artificial Analysis 替代品：2026 年在哪里比较大模型](https://broadrouter.com/zh/blog/artificial-analysis-alternatives/)
-   [大模型 API SLA 对比：Azure、Bedrock、Google 和 OpenAI 承诺了什么](https://broadrouter.com/zh/blog/llm-api-sla-uptime-compared/)
-   [指南：面向智能体的不限量 LLM API 套餐如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-self-hosting-llm-vs-api-cost&utm_content=page-cta) ·

**来源**

-   [RunPod GPU 价格：Secure Cloud 与 Community Cloud 每小时价格（2026-11-14 获取）](https://www.runpod.io/pricing)
-   [Lambda Cloud 价格：按需单 GPU 每小时价格（2026-11-16 获取）](https://lambda.com/pricing)
-   [BroadNet Inference 机器可读价格（pricing.json）（2026-11-15 核实）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-self-hosting-llm-vs-api-cost&utm_content=sources)
-   [BroadNet Inference 套餐与典型速度（2026-11-15 核实）（英文）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-self-hosting-llm-vs-api-cost&utm_content=sources)
-   [NVIDIA NIM 基准测试指南：吞吐量与延迟指标（2026-11-16 查阅）](https://docs.nvidia.com/nim/benchmarking/llm/metrics)
