BroadRouter
开始使用

GPU 小时(GPU-hour)

更新于

GPU 小时是指一块图形处理器使用一小时。云服务商按小时或按秒对租用的 GPU 实例计费,研究人员也用 GPU 小时来说明一项任务消耗了多少算力。你为机器的时间付费,无论它是否在忙。

又称: GPU 时、GPU 机时、GPU 卡时、GPU 租用小时、云 GPU 按小时计费、GPU-hour、GPU hours、GPU-hours、GPU instance hour、GPU rental hour

租用硬件时,你付费的单位就是 GPU 小时。按 token 计费的 API 把它隐藏起来了;自托管模型则让它成为全部账单。

工作原理

云服务商按小时为 GPU 实例定价,再以更细的粒度计量。AWS 的按需定价页面说,价格按 “per instance-hour consumed”(译文:每消耗一个实例小时)计算,Linux 上不足一小时的部分按秒计费,最低 60 秒。Google Cloud 对 “all vCPUs, GPUs, and GB of memory”(译文:所有 vCPU、GPU 和内存 GB)收取 1 分钟的最低费用,之后以 1 秒为增量计费。一台 8 块 GPU 的实例运行 3 小时,就是 24 个 GPU 小时。

只要实例在运行,计费表就在走,无论它是否有用。凌晨 3 点空闲的 GPU 和忙碌的 GPU 花费一样。

研究人员也用同样的单位衡量算力。例如 GPTQ 论文 “in approximately four GPU hours”(译文:在大约四个 GPU 小时内)量化了一个 175B 参数的模型。

为什么重要

要把 GPU 小时与按 token 计价对比,需要通过吞吐量换算:

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

关键在分母。吞吐量取决于模型、精度、批大小,以及你让 GPU 保持多忙。一块负载 20% 的租用 GPU,每 token 成本是同一块满载 GPU 的五倍。这正是流量不均衡的团队选择 API 的主要原因;参见自托管与 API 成本对比。

在 BroadNet Inference 上

BroadNet 不按小时出租 GPU。它出售的是其模型的 API 访问;它的服务条款说,这些模型运行在 BroadNet 在美国自有或租用的硬件上,或由美国的推理合作方运行。它有两个按小时计价的选项,但都不是 GPU 小时:

GPU 小时(云租用) BroadNet 按小时密钥 Meteor 套餐
你得到什么 一整块 GPU 及其所在的机器 共享模型上的一路请求流 共享模型上的一个会话
模型 任何放得下的模型 仅 BroadNet Gemma 4 VL 26B 仅 DeepSeek V4.1 Flash
限制(据 BroadNet 文档) 硬件本身 每分钟 120 个请求,每分钟 300,000 个 token,1 路流 一次一个请求,不计 token
价格 由云服务商决定 每小时 $0.50 每个会话每小时 $1

这两个 BroadNet 选项都不需要你管理驱动、扩缩容或空闲时间,但你也不能选择硬件或加载其他模型。按小时密钥运行一整个月是 $0.50 × 24 × 30 = $360.00。详情参见大模型 API 按小时密钥详解和包月套餐词条。

常见问题

BroadNet 的按小时密钥就是 GPU 小时吗?

不是。按小时密钥买的是一小时内、在一个共享模型 BroadNet Gemma 4 VL 26B 上的一路请求流,限制是固定的。你得不到 GPU,不能选择模型,也无法控制服务器。

GPU 小时是按整小时计费的吗?

通常不是。AWS 对许多 Linux 实例在最低 60 秒之后按秒计费,Google Cloud 对 GPU 设有 1 分钟的最低计费,之后按秒计费。请查看具体的实例类型和操作系统。

如何把 GPU 小时价格换算成每 token 价格?

用每小时费用除以 GPU 一小时产出的百万 token 数,即 每秒 token 数 × 3,600 ÷ 1,000,000。请在真实负载下测量吞吐量,因为空闲时间同样计费。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity