GPU-hour adalah satuan yang Anda bayar saat menyewa perangkat keras. API per token menyembunyikannya; model self-hosted menjadikannya seluruh tagihan.
Cara kerjanya
Penyedia cloud memberi harga instance GPU per jam, lalu mengukur lebih rinci. Halaman on-demand AWS menyebutkan harganya “per instance-hour consumed” (terjemahan: per jam instance yang dipakai), dengan sisa jam di Linux ditagih per detik dan minimum 60 detik. Google Cloud menagih “all vCPUs, GPUs, and GB of memory” (terjemahan: semua vCPU, GPU, dan GB memori) dengan minimum 1 menit, lalu kelipatan 1 detik. Instance dengan 8 GPU yang berjalan selama 3 jam berarti 24 GPU-hour.
Meteran berjalan selama instance menyala, bukan selama instance berguna. GPU yang menganggur pukul 3 pagi biayanya sama dengan GPU yang sibuk.
Peneliti memakai satuan yang sama untuk komputasi. Makalah GPTQ, misalnya, mengkuantisasi model 175B parameter “in approximately four GPU hours” (terjemahan: dalam sekitar empat jam GPU).
Mengapa penting
Untuk membandingkan GPU-hour dengan harga per token, konversikan lewat throughput:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Masalahnya ada di penyebut. Throughput bergantung pada model, presisi, ukuran batch, dan seberapa sibuk Anda menjaga GPU. GPU sewaan dengan beban 20% biayanya per token lima kali lipat GPU yang sama dengan beban penuh. Itulah alasan utama tim dengan trafik yang tidak merata memakai API; lihat biaya self-hosting vs API.
Di BroadNet Inference
BroadNet tidak menyewakan GPU per jam. BroadNet menjual akses API ke model-modelnya; Ketentuan Layanannya menyebutkan bahwa model-model itu berjalan di perangkat keras milik atau sewaan BroadNet di Amerika Serikat, atau bersama mitra inferensi di AS. Dua opsinya dihargai per jam, dan keduanya bukan GPU-hour:
| GPU-hour (sewa cloud) | Kunci per jam BroadNet | Paket Meteor | |
|---|---|---|---|
| Yang Anda dapat | Satu GPU utuh beserta mesinnya | Satu aliran pada model bersama | Satu sesi pada model bersama |
| Model | Apa saja yang muat | Hanya BroadNet Gemma 4 VL 26B | Hanya DeepSeek V4.1 Flash |
| Batas (menurut dokumentasi BroadNet) | Perangkat kerasnya | 120 request/menit, 300,000 token/menit, 1 aliran | Satu request dalam satu waktu, tanpa meteran token |
| Harga | Ditentukan cloud | $0.50 per jam | $1 per jam per sesi |
Dengan kedua opsi BroadNet, Anda tidak mengurus driver, scaling, atau waktu idle, tetapi Anda juga tidak bisa memilih perangkat keras atau memuat model lain. Menjalankan kunci per jam sepanjang bulan berarti $0.50 × 24 × 30 = $360.00. Untuk detailnya, lihat penjelasan kunci API LLM per jam dan entri paket LLM tarif tetap.