GPU-घंटा वह इकाई है जिसमें आप हार्डवेयर किराए पर लेने पर भुगतान करते हैं। प्रति-टोकन API इसे छिपा लेता है; सेल्फ़-होस्टेड मॉडल में यही पूरा बिल होता है।
यह कैसे काम करता है
क्लाउड प्रोवाइडर GPU इंस्टेंस की कीमत प्रति घंटा रखते हैं, फिर उससे बारीक मीटरिंग करते हैं। AWS का ऑन-डिमांड पेज कहता है कि कीमत “per instance-hour consumed” (अनुवाद: इस्तेमाल किए गए हर इंस्टेंस-घंटे पर) है, और Linux पर अधूरे घंटों का बिल प्रति सेकंड बनता है, 60 सेकंड के न्यूनतम के साथ। Google Cloud “all vCPUs, GPUs, and GB of memory” (अनुवाद: सभी vCPU, GPU और GB मेमोरी) पर 1 मिनट का न्यूनतम, फिर 1-सेकंड की इकाइयों में चार्ज करता है। 8 GPU वाला इंस्टेंस 3 घंटे चले तो 24 GPU-घंटे होते हैं।
मीटर तब तक चलता है जब तक इंस्टेंस चालू है, न कि जब तक वह काम का है। रात 3 बजे ख़ाली पड़ा GPU भी उतना ही ख़र्च करता है जितना व्यस्त GPU।
रिसर्चर कंप्यूट के लिए भी यही इकाई इस्तेमाल करते हैं। उदाहरण के लिए GPTQ पेपर 175B पैरामीटर वाले मॉडल को “in approximately four GPU hours” (अनुवाद: लगभग चार GPU-घंटों में) क्वांटाइज़ करता है।
यह क्यों मायने रखता है
GPU-घंटे की तुलना प्रति-टोकन कीमत से करने के लिए थ्रूपुट के ज़रिए बदलें:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
पेच हर (denominator) में है। थ्रूपुट मॉडल, प्रिसिज़न, बैच साइज़ और GPU को कितना व्यस्त रखते हैं, इस पर निर्भर है। 20% लोड पर चल रहा किराए का GPU प्रति टोकन उसी GPU के पूरे लोड के मुक़ाबले पाँच गुना महँगा पड़ता है। असमान ट्रैफ़िक वाली टीमें API इसी मुख्य वजह से इस्तेमाल करती हैं; देखें सेल्फ़-होस्टिंग बनाम API लागत।
BroadNet Inference पर
BroadNet घंटे के हिसाब से GPU किराए पर नहीं देता। यह अपने मॉडल का API एक्सेस बेचता है; इसकी शर्तें कहती हैं कि ये मॉडल अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर के साथ चलते हैं। इसके दो विकल्पों की कीमत प्रति घंटा है, और दोनों में से कोई GPU-घंटा नहीं है:
| GPU-घंटा (क्लाउड किराया) | BroadNet घंटे वाली key | Meteor प्लान | |
|---|---|---|---|
| आपको क्या मिलता है | पूरा GPU और उसके आसपास की मशीन | शेयर्ड मॉडल पर एक स्ट्रीम | शेयर्ड मॉडल पर एक सेशन |
| मॉडल | जो कुछ भी समा जाए | सिर्फ़ BroadNet Gemma 4 VL 26B | सिर्फ़ DeepSeek V4.1 Flash |
| लिमिट (BroadNet के डॉक्स के अनुसार) | हार्डवेयर | 120 अनुरोध/मिनट, 300,000 टोकन/मिनट, 1 स्ट्रीम | एक बार में एक अनुरोध, कोई टोकन मीटर नहीं |
| कीमत | क्लाउड तय करता है | $0.50 प्रति घंटा | $1 प्रति घंटा प्रति सेशन |
BroadNet के दोनों विकल्पों में आपको ड्राइवर, स्केलिंग या ख़ाली समय नहीं सँभालना पड़ता, लेकिन आप हार्डवेयर नहीं चुन सकते और न कोई दूसरा मॉडल लोड कर सकते। घंटे वाली key पूरे महीने चलाने पर $0.50 × 24 × 30 = $360.00 होगा। विस्तार के लिए घंटे वाली LLM API keys समझें और फ़्लैट-रेट प्लान वाली एंट्री देखें।