Jam GPU ialah unit yang anda bayar apabila menyewa perkakasan. API setiap token menyembunyikannya; model yang dihoskan sendiri menjadikannya keseluruhan bil.
Cara ia berfungsi
Penyedia awan menetapkan harga instans GPU setiap jam, kemudian meter dengan lebih halus. Halaman on-demand AWS menyatakan harga ialah “per instance-hour consumed” (setiap jam instans yang digunakan), dengan baki jam pada Linux dicaj setiap saat dan minimum 60 saat. Google Cloud mengenakan minimum 1 minit untuk “all vCPUs, GPUs, and GB of memory” (semua vCPU, GPU dan GB memori), kemudian kenaikan 1 saat. Instans dengan 8 GPU yang berjalan selama 3 jam bersamaan 24 jam GPU.
Meter berjalan selagi instans hidup, bukan selagi ia berguna. GPU yang melahu pada pukul 3 pagi menelan kos yang sama dengan GPU yang sibuk.
Penyelidik menggunakan unit yang sama untuk pengiraan. Sebagai contoh, kertas kajian GPTQ mengkuantisasi model 175B parameter “in approximately four GPU hours” (dalam kira-kira empat jam GPU).
Mengapa ia penting
Untuk membandingkan jam GPU dengan harga setiap token, tukarkan melalui daya pemprosesan:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Masalahnya pada penyebut. Daya pemprosesan bergantung pada model, ketepatan, saiz kelompok dan sejauh mana GPU dikekalkan sibuk. GPU sewaan pada beban 20% kosnya lima kali ganda bagi setiap token berbanding GPU yang sama pada beban penuh. Itulah sebab utama pasukan dengan trafik tidak sekata menggunakan API; lihat kos hos sendiri vs API.
Di BroadNet Inference
BroadNet tidak menyewakan GPU mengikut jam. Ia menjual akses API kepada modelnya; Termanya menyatakan model itu berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, atau bersama rakan kongsi inferens di AS. Dua pilihannya dihargakan setiap jam, dan kedua-duanya bukan jam GPU:
| Jam GPU (sewaan awan) | Kunci sejam BroadNet | Pelan Meteor | |
|---|---|---|---|
| Apa yang anda dapat | Seluruh GPU dan mesin di sekelilingnya | Satu aliran pada model yang dikongsi | Satu sesi pada model yang dikongsi |
| Model | Apa sahaja yang muat | BroadNet Gemma 4 VL 26B sahaja | DeepSeek V4.1 Flash sahaja |
| Had (menurut dokumentasi BroadNet) | Perkakasan | 120 permintaan/minit, 300,000 token/minit, 1 aliran | Satu permintaan pada satu masa, tiada meter token |
| Harga | Ditetapkan oleh awan | $0.50 sejam | $1 sejam bagi setiap sesi |
Anda tidak perlu mengurus pemacu, penskalaan atau masa melahu dengan mana-mana pilihan BroadNet, tetapi anda juga tidak boleh memilih perkakasan atau memuatkan model lain. Menjalankan kunci sejam sepanjang bulan bersamaan $0.50 × 24 × 30 = $360.00. Untuk butiran, lihat penerangan kunci API LLM sejam dan entri pelan kadar tetap.