BroadRouter
Mulakan

Jam GPU (GPU-hour)

Dikemas kini

Jam GPU ialah satu pemproses grafik yang digunakan selama satu jam. Penyedia awan mengecaj instans GPU yang disewa mengikut jam atau saat, dan penyelidik menggunakan jam GPU untuk menyatakan jumlah pengiraan yang digunakan sesuatu tugas. Anda membayar masa mesin itu, sama ada ia sibuk atau tidak.

Juga dikenali sebagai: jam GPU, GPU-hour, GPU hours, GPU-hours, sewa GPU sejam, GPU instance hour, GPU rental hour

Jam GPU ialah unit yang anda bayar apabila menyewa perkakasan. API setiap token menyembunyikannya; model yang dihoskan sendiri menjadikannya keseluruhan bil.

Cara ia berfungsi

Penyedia awan menetapkan harga instans GPU setiap jam, kemudian meter dengan lebih halus. Halaman on-demand AWS menyatakan harga ialah “per instance-hour consumed” (setiap jam instans yang digunakan), dengan baki jam pada Linux dicaj setiap saat dan minimum 60 saat. Google Cloud mengenakan minimum 1 minit untuk “all vCPUs, GPUs, and GB of memory” (semua vCPU, GPU dan GB memori), kemudian kenaikan 1 saat. Instans dengan 8 GPU yang berjalan selama 3 jam bersamaan 24 jam GPU.

Meter berjalan selagi instans hidup, bukan selagi ia berguna. GPU yang melahu pada pukul 3 pagi menelan kos yang sama dengan GPU yang sibuk.

Penyelidik menggunakan unit yang sama untuk pengiraan. Sebagai contoh, kertas kajian GPTQ mengkuantisasi model 175B parameter “in approximately four GPU hours” (dalam kira-kira empat jam GPU).

Mengapa ia penting

Untuk membandingkan jam GPU dengan harga setiap token, tukarkan melalui daya pemprosesan:

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

Masalahnya pada penyebut. Daya pemprosesan bergantung pada model, ketepatan, saiz kelompok dan sejauh mana GPU dikekalkan sibuk. GPU sewaan pada beban 20% kosnya lima kali ganda bagi setiap token berbanding GPU yang sama pada beban penuh. Itulah sebab utama pasukan dengan trafik tidak sekata menggunakan API; lihat kos hos sendiri vs API.

Di BroadNet Inference

BroadNet tidak menyewakan GPU mengikut jam. Ia menjual akses API kepada modelnya; Termanya menyatakan model itu berjalan pada perkakasan milik atau sewaan BroadNet di Amerika Syarikat, atau bersama rakan kongsi inferens di AS. Dua pilihannya dihargakan setiap jam, dan kedua-duanya bukan jam GPU:

Jam GPU (sewaan awan) Kunci sejam BroadNet Pelan Meteor
Apa yang anda dapat Seluruh GPU dan mesin di sekelilingnya Satu aliran pada model yang dikongsi Satu sesi pada model yang dikongsi
Model Apa sahaja yang muat BroadNet Gemma 4 VL 26B sahaja DeepSeek V4.1 Flash sahaja
Had (menurut dokumentasi BroadNet) Perkakasan 120 permintaan/minit, 300,000 token/minit, 1 aliran Satu permintaan pada satu masa, tiada meter token
Harga Ditetapkan oleh awan $0.50 sejam $1 sejam bagi setiap sesi

Anda tidak perlu mengurus pemacu, penskalaan atau masa melahu dengan mana-mana pilihan BroadNet, tetapi anda juga tidak boleh memilih perkakasan atau memuatkan model lain. Menjalankan kunci sejam sepanjang bulan bersamaan $0.50 × 24 × 30 = $360.00. Untuk butiran, lihat penerangan kunci API LLM sejam dan entri pelan kadar tetap.

Soalan lazim

Adakah kunci sejam BroadNet sama dengan jam GPU?

Tidak. Kunci sejam membeli satu jam bagi satu aliran permintaan pada model yang dikongsi, BroadNet Gemma 4 VL 26B, dengan had tetap. Anda tidak mendapat GPU, pilihan model atau sebarang kawalan ke atas pelayan.

Adakah jam GPU dicaj untuk sejam penuh?

Selalunya tidak. AWS mengecaj banyak instans Linux setiap saat selepas minimum 60 saat, dan Google Cloud mengenakan minimum 1 minit untuk GPU, kemudian setiap saat. Semak jenis instans dan sistem pengendalian.

Bagaimanakah saya menukar harga jam GPU kepada harga setiap token?

Bahagikan kos sejam dengan berjuta-juta token yang dihasilkan GPU dalam sejam, iaitu token sesaat × 3,600 ÷ 1,000,000. Ukur daya pemprosesan pada beban sebenar anda, kerana masa melahu juga dicaj.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity