GPU گھنٹہ وہ اکائی ہے جس میں آپ ہارڈویئر کرائے پر لینے پر ادائیگی کرتے ہیں۔ فی ٹوکن API اسے چھپا لیتا ہے؛ سیلف ہوسٹڈ ماڈل میں یہی پورا بل ہوتا ہے۔
یہ کیسے کام کرتا ہے
کلاؤڈ فراہم کنندگان GPU انسٹینسز کی قیمت فی گھنٹہ رکھتے ہیں، پھر اس سے باریک پیمائش کرتے ہیں۔ AWS کا آن ڈیمانڈ صفحہ کہتا ہے کہ قیمت “per instance-hour consumed” (ترجمہ: استعمال شدہ ہر انسٹینس گھنٹے پر) ہے، اور Linux پر نامکمل گھنٹوں کا بل فی سیکنڈ بنتا ہے، 60 سیکنڈ کی کم از کم حد کے ساتھ۔ Google Cloud “all vCPUs, GPUs, and GB of memory” (ترجمہ: تمام vCPUs، GPUs اور GB میموری) پر 1 منٹ کی کم از کم حد، پھر 1 سیکنڈ کی اکائیوں میں چارج کرتا ہے۔ 8 GPUs والا انسٹینس 3 گھنٹے چلے تو 24 GPU گھنٹے ہوتے ہیں۔
میٹر تب تک چلتا ہے جب تک انسٹینس چالو ہے، نہ کہ جب تک وہ کارآمد ہے۔ رات 3 بجے فارغ پڑا GPU بھی اتنا ہی خرچ کرتا ہے جتنا مصروف GPU۔
محققین کمپیوٹ کے لیے بھی یہی اکائی استعمال کرتے ہیں۔ مثال کے طور پر GPTQ مقالہ 175B پیرامیٹرز والے ماڈل کو “in approximately four GPU hours” (ترجمہ: تقریباً چار GPU گھنٹوں میں) کوانٹائز کرتا ہے۔
یہ کیوں اہم ہے
GPU گھنٹے کا فی ٹوکن قیمت سے موازنہ کرنے کے لیے تھروپٹ کے ذریعے تبدیل کریں:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
مشکل نسب نما (denominator) میں ہے۔ تھروپٹ ماڈل، پریسیژن، بیچ سائز اور GPU کو کتنا مصروف رکھتے ہیں، اس پر منحصر ہے۔ 20% لوڈ پر چلنے والا کرائے کا GPU فی ٹوکن اسی GPU کے پورے لوڈ کے مقابلے میں پانچ گنا مہنگا پڑتا ہے۔ غیر یکساں ٹریفک والی ٹیمیں API اسی بنیادی وجہ سے استعمال کرتی ہیں؛ دیکھیں سیلف ہوسٹنگ بمقابلہ API لاگت۔
BroadNet Inference پر
BroadNet گھنٹے کے حساب سے GPUs کرائے پر نہیں دیتا۔ یہ اپنے ماڈلز تک API رسائی بیچتا ہے؛ اس کی شرائط کہتی ہیں کہ یہ ماڈلز امریکہ میں BroadNet کے اپنے یا لیز پر لیے گئے ہارڈویئر پر، یا امریکی انفرینس پارٹنرز کے ساتھ چلتے ہیں۔ اس کے دو آپشنز کی قیمت فی گھنٹہ ہے، اور دونوں میں سے کوئی GPU گھنٹہ نہیں:
| GPU گھنٹہ (کلاؤڈ کرایہ) | BroadNet گھنٹے والی کلید | Meteor پلان | |
|---|---|---|---|
| آپ کو کیا ملتا ہے | پورا GPU اور اس کے گرد کی مشین | مشترکہ ماڈل پر ایک اسٹریم | مشترکہ ماڈل پر ایک سیشن |
| ماڈل | جو کچھ بھی سما جائے | صرف BroadNet Gemma 4 VL 26B | صرف DeepSeek V4.1 Flash |
| حدیں (BroadNet کی دستاویزات کے مطابق) | ہارڈویئر | 120 درخواستیں/منٹ، 300,000 ٹوکن/منٹ، 1 اسٹریم | ایک وقت میں ایک درخواست، کوئی ٹوکن میٹر نہیں |
| قیمت | کلاؤڈ طے کرتا ہے | $0.50 فی گھنٹہ | $1 فی گھنٹہ فی سیشن |
BroadNet کے دونوں آپشنز میں آپ کو ڈرائیورز، اسکیلنگ یا فارغ وقت نہیں سنبھالنا پڑتا، لیکن آپ نہ ہارڈویئر چن سکتے ہیں نہ کوئی دوسرا ماڈل لوڈ کر سکتے ہیں۔ گھنٹے والی کلید پورا مہینہ چلانے پر $0.50 × 24 × 30 = $360.00 ہو گا۔ تفصیل کے لیے گھنٹے والی LLM API کلیدیں سمجھیں اور فلیٹ ریٹ پلان والا اندراج دیکھیں۔