租用硬件时,你付费的单位就是 GPU 小时。按 token 计费的 API 把它隐藏起来了;自托管模型则让它成为全部账单。
工作原理
云服务商按小时为 GPU 实例定价,再以更细的粒度计量。AWS 的按需定价页面说,价格按 “per instance-hour consumed”(译文:每消耗一个实例小时)计算,Linux 上不足一小时的部分按秒计费,最低 60 秒。Google Cloud 对 “all vCPUs, GPUs, and GB of memory”(译文:所有 vCPU、GPU 和内存 GB)收取 1 分钟的最低费用,之后以 1 秒为增量计费。一台 8 块 GPU 的实例运行 3 小时,就是 24 个 GPU 小时。
只要实例在运行,计费表就在走,无论它是否有用。凌晨 3 点空闲的 GPU 和忙碌的 GPU 花费一样。
研究人员也用同样的单位衡量算力。例如 GPTQ 论文 “in approximately four GPU hours”(译文:在大约四个 GPU 小时内)量化了一个 175B 参数的模型。
为什么重要
要把 GPU 小时与按 token 计价对比,需要通过吞吐量换算:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
关键在分母。吞吐量取决于模型、精度、批大小,以及你让 GPU 保持多忙。一块负载 20% 的租用 GPU,每 token 成本是同一块满载 GPU 的五倍。这正是流量不均衡的团队选择 API 的主要原因;参见自托管与 API 成本对比。
在 BroadNet Inference 上
BroadNet 不按小时出租 GPU。它出售的是其模型的 API 访问;它的服务条款说,这些模型运行在 BroadNet 在美国自有或租用的硬件上,或由美国的推理合作方运行。它有两个按小时计价的选项,但都不是 GPU 小时:
| GPU 小时(云租用) | BroadNet 按小时密钥 | Meteor 套餐 | |
|---|---|---|---|
| 你得到什么 | 一整块 GPU 及其所在的机器 | 共享模型上的一路请求流 | 共享模型上的一个会话 |
| 模型 | 任何放得下的模型 | 仅 BroadNet Gemma 4 VL 26B | 仅 DeepSeek V4.1 Flash |
| 限制(据 BroadNet 文档) | 硬件本身 | 每分钟 120 个请求,每分钟 300,000 个 token,1 路流 | 一次一个请求,不计 token |
| 价格 | 由云服务商决定 | 每小时 $0.50 | 每个会话每小时 $1 |
这两个 BroadNet 选项都不需要你管理驱动、扩缩容或空闲时间,但你也不能选择硬件或加载其他模型。按小时密钥运行一整个月是 $0.50 × 24 × 30 = $360.00。详情参见大模型 API 按小时密钥详解和包月套餐词条。