BroadRouter
Bắt đầu

GPU-hour (giờ GPU)

Cập nhật

GPU-hour (giờ GPU) là một bộ xử lý đồ họa được dùng trong một giờ. Nhà cung cấp cloud tính tiền instance GPU thuê theo giờ hoặc theo giây, còn nhà nghiên cứu dùng GPU-hour để nói một job tốn bao nhiêu tính toán. Bạn trả tiền cho thời gian của máy, dù nó có đang làm việc hay không.

Còn gọi là: GPU-hour là gì, giờ GPU, thuê GPU theo giờ, giá GPU theo giờ, GPU hours, GPU-hours, GPU instance hour, GPU rental hour

GPU-hour là đơn vị bạn trả tiền khi thuê phần cứng. API tính theo token che giấu nó; model tự host thì biến nó thành toàn bộ hóa đơn.

Cách hoạt động

Nhà cung cấp cloud định giá instance GPU theo giờ, rồi đo chi tiết hơn. Trang on-demand của AWS cho biết giá tính “per instance-hour consumed” (Bản dịch: theo mỗi giờ instance đã dùng), phần giờ lẻ trên Linux được tính theo giây với mức tối thiểu 60 giây. Google Cloud tính “all vCPUs, GPUs, and GB of memory” (Bản dịch: mọi vCPU, GPU và GB bộ nhớ) tối thiểu 1 phút, sau đó theo bước 1 giây. Một instance 8 GPU chạy trong 3 giờ là 24 GPU-hour.

Đồng hồ chạy khi instance đang bật, không phải khi nó có ích. Một GPU nhàn rỗi lúc 3 giờ sáng tốn tiền y như một GPU đang bận.

Nhà nghiên cứu cũng dùng đơn vị này để đo tính toán. Chẳng hạn bài báo GPTQ lượng tử hóa một model 175B tham số “in approximately four GPU hours” (Bản dịch: trong khoảng bốn giờ GPU).

Vì sao quan trọng

Để so sánh GPU-hour với giá theo token, hãy quy đổi qua throughput:

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

Nghĩa là: chi phí cho 1 triệu token đầu ra bằng chi phí GPU theo giờ chia cho (số token mỗi giây × 3.600 ÷ 1.000.000).

Điểm mấu chốt nằm ở mẫu số. Throughput phụ thuộc vào model, độ chính xác, kích thước batch và mức độ bạn giữ GPU bận rộn. Một GPU thuê chạy ở 20% tải có chi phí mỗi token gấp năm lần cùng GPU đó khi chạy hết tải. Đó là lý do chính khiến các nhóm có lưu lượng không đều dùng API; xem chi phí tự host so với API.

Trên BroadNet Inference

BroadNet không cho thuê GPU theo giờ. BroadNet bán quyền truy cập API tới các model của họ; Điều khoản của BroadNet nói các model này chạy trên phần cứng do BroadNet sở hữu hoặc thuê tại Hoa Kỳ, hoặc với các đối tác inference tại Mỹ. Hai lựa chọn của họ được định giá theo giờ, và không cái nào là GPU-hour:

GPU-hour (thuê trên cloud) Key theo giờ của BroadNet Gói Meteor
Bạn nhận được gì Cả một GPU và máy chủ đi kèm Một luồng trên một model dùng chung Một phiên trên một model dùng chung
Model Bất kỳ model nào vừa Chỉ BroadNet Gemma 4 VL 26B Chỉ DeepSeek V4.1 Flash
Giới hạn (theo tài liệu BroadNet) Phần cứng 120 request/phút, 300,000 token/phút, 1 luồng Mỗi lúc một request, không đo token
Giá Do cloud quy định $0.50 mỗi giờ $1 mỗi giờ mỗi phiên

Với cả hai lựa chọn của BroadNet, bạn không phải quản lý driver, scale hay thời gian nhàn rỗi, nhưng bạn cũng không chọn được phần cứng hay nạp model khác. Chạy key theo giờ suốt cả tháng sẽ là $0.50 × 24 × 30 = $360.00. Để biết chi tiết, xem giải thích về key LLM API theo giờ và mục gói giá cố định.

Câu hỏi thường gặp

Key theo giờ của BroadNet có phải là GPU-hour không?

Không. Key theo giờ mua một giờ cho một luồng request trên một model dùng chung, BroadNet Gemma 4 VL 26B, với giới hạn cố định. Bạn không có GPU, không được chọn model và không kiểm soát server.

GPU-hour có bị tính tròn cả giờ không?

Thường là không. AWS tính nhiều instance Linux theo giây sau mức tối thiểu 60 giây, còn Google Cloud tính GPU tối thiểu 1 phút, sau đó theo giây. Hãy kiểm tra loại instance và hệ điều hành.

Làm sao quy giá GPU-hour ra giá mỗi token?

Chia chi phí theo giờ cho số triệu token mà GPU tạo ra trong một giờ, tức là số token mỗi giây × 3.600 ÷ 1.000.000. Hãy đo throughput ở tải thực tế, vì thời gian nhàn rỗi cũng bị tính tiền.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity