GPU saati, donanım kiraladığınızda ödeme yaptığınız birimdir. Token başına fiyatlanan bir API onu gizler; kendi barındırdığınız bir modelde ise faturanın tamamı odur.
Nasıl çalışır
Bulut sağlayıcıları GPU örneklerini saat başına fiyatlar, sonra daha ince ölçer. AWS’nin isteğe bağlı fiyat sayfası fiyatlandırmanın “per instance-hour consumed” (çeviri: tüketilen örnek saati başına) olduğunu, Linux’ta kısmi saatlerin 60 saniyelik minimumla saniye bazında faturalandığını söyler. Google Cloud, “all vCPUs, GPUs, and GB of memory” (çeviri: tüm vCPU’lar, GPU’lar ve GB bellek) için 1 dakikalık minimum, ardından 1 saniyelik artışlarla ücret alır. 8 GPU’lu bir örneğin 3 saat çalışması 24 GPU saatidir.
Sayaç, örnek işe yaradığı sürece değil, açık olduğu sürece çalışır. Sabaha karşı 3’te boşta duran bir GPU, meşgul bir GPU ile aynı maliyettedir.
Araştırmacılar hesaplama için aynı birimi kullanır. Örneğin GPTQ makalesi, 175B parametreli bir modeli “in approximately four GPU hours” (çeviri: yaklaşık dört GPU saatinde) kuantize eder.
Neden önemli
Bir GPU saatini token başına fiyatla karşılaştırmak için işlem hacmi üzerinden dönüştürün:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Püf noktası paydadır. İşlem hacmi modele, hassasiyete, batch boyutuna ve GPU’yu ne kadar meşgul tuttuğunuza bağlıdır. %20 yükte çalışan kiralık bir GPU, token başına, tam yükteki aynı GPU’nun beş katı maliyetlidir. Dengesiz trafiği olan ekiplerin API kullanmasının ana nedeni budur; bkz. kendi barındırma ile API maliyeti.
BroadNet Inference’ta
BroadNet saatlik GPU kiralamaz. Kendi modellerine API erişimi satar; Koşulları, bu modellerin Amerika Birleşik Devletleri’nde BroadNet’e ait veya kiralık donanımda ya da ABD’li çıkarım ortaklarıyla çalıştığını söyler. Seçeneklerinden ikisi saat başına fiyatlanır ve hiçbiri GPU saati değildir:
| GPU saati (bulut kiralama) | BroadNet saatlik anahtar | Meteor planı | |
|---|---|---|---|
| Ne alırsınız | Bir GPU’nun tamamı ve çevresindeki makine | Paylaşılan bir modelde tek akış | Paylaşılan bir modelde tek oturum |
| Model | Sığan her şey | Yalnızca BroadNet Gemma 4 VL 26B | Yalnızca DeepSeek V4.1 Flash |
| Sınırlar (BroadNet belgelerine göre) | Donanım | Dakikada 120 istek, dakikada 300,000 token, 1 akış | Aynı anda tek istek, token sayacı yok |
| Fiyat | Bulut belirler | Saat başına $0.50 | Oturum başına saatte $1 |
İki BroadNet seçeneğinde de sürücüleri, ölçeklemeyi veya boşta geçen süreyi yönetmezsiniz; ama donanımı seçemez veya farklı bir model yükleyemezsiniz. Saatlik anahtarı bütün ay çalıştırmak $0.50 × 24 × 30 = $360.00 eder. Ayrıntılar için saatlik LLM API anahtarları yazısına ve sabit ücretli plan maddesine bakın.