GPU-hour là đơn vị bạn trả tiền khi thuê phần cứng. API tính theo token che giấu nó; model tự host thì biến nó thành toàn bộ hóa đơn.
Cách hoạt động
Nhà cung cấp cloud định giá instance GPU theo giờ, rồi đo chi tiết hơn. Trang on-demand của AWS cho biết giá tính “per instance-hour consumed” (Bản dịch: theo mỗi giờ instance đã dùng), phần giờ lẻ trên Linux được tính theo giây với mức tối thiểu 60 giây. Google Cloud tính “all vCPUs, GPUs, and GB of memory” (Bản dịch: mọi vCPU, GPU và GB bộ nhớ) tối thiểu 1 phút, sau đó theo bước 1 giây. Một instance 8 GPU chạy trong 3 giờ là 24 GPU-hour.
Đồng hồ chạy khi instance đang bật, không phải khi nó có ích. Một GPU nhàn rỗi lúc 3 giờ sáng tốn tiền y như một GPU đang bận.
Nhà nghiên cứu cũng dùng đơn vị này để đo tính toán. Chẳng hạn bài báo GPTQ lượng tử hóa một model 175B tham số “in approximately four GPU hours” (Bản dịch: trong khoảng bốn giờ GPU).
Vì sao quan trọng
Để so sánh GPU-hour với giá theo token, hãy quy đổi qua throughput:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Nghĩa là: chi phí cho 1 triệu token đầu ra bằng chi phí GPU theo giờ chia cho (số token mỗi giây × 3.600 ÷ 1.000.000).
Điểm mấu chốt nằm ở mẫu số. Throughput phụ thuộc vào model, độ chính xác, kích thước batch và mức độ bạn giữ GPU bận rộn. Một GPU thuê chạy ở 20% tải có chi phí mỗi token gấp năm lần cùng GPU đó khi chạy hết tải. Đó là lý do chính khiến các nhóm có lưu lượng không đều dùng API; xem chi phí tự host so với API.
Trên BroadNet Inference
BroadNet không cho thuê GPU theo giờ. BroadNet bán quyền truy cập API tới các model của họ; Điều khoản của BroadNet nói các model này chạy trên phần cứng do BroadNet sở hữu hoặc thuê tại Hoa Kỳ, hoặc với các đối tác inference tại Mỹ. Hai lựa chọn của họ được định giá theo giờ, và không cái nào là GPU-hour:
| GPU-hour (thuê trên cloud) | Key theo giờ của BroadNet | Gói Meteor | |
|---|---|---|---|
| Bạn nhận được gì | Cả một GPU và máy chủ đi kèm | Một luồng trên một model dùng chung | Một phiên trên một model dùng chung |
| Model | Bất kỳ model nào vừa | Chỉ BroadNet Gemma 4 VL 26B | Chỉ DeepSeek V4.1 Flash |
| Giới hạn (theo tài liệu BroadNet) | Phần cứng | 120 request/phút, 300,000 token/phút, 1 luồng | Mỗi lúc một request, không đo token |
| Giá | Do cloud quy định | $0.50 mỗi giờ | $1 mỗi giờ mỗi phiên |
Với cả hai lựa chọn của BroadNet, bạn không phải quản lý driver, scale hay thời gian nhàn rỗi, nhưng bạn cũng không chọn được phần cứng hay nạp model khác. Chạy key theo giờ suốt cả tháng sẽ là $0.50 × 24 × 30 = $360.00. Để biết chi tiết, xem giải thích về key LLM API theo giờ và mục gói giá cố định.