BroadNet اپنے inference ہارڈویئر کے بارے میں غیر معمولی تفصیل سے بتاتا ہے۔ اس کا ماڈل کیٹلاگ ان GPUs کو درج کرتا ہے جنہیں وہ اپنے بقول چلاتا ہے، فی کارڈ ناپا گیا throughput، اور ان پر ایک ہی ماڈلز چلا کر اس نے کیا سیکھا۔ یہ صفحہ BroadNet کے بیان کا خلاصہ ہے، اور جہاں اہم ہے وہاں اس کے اپنے الفاظ میں۔ ہم نے ہارڈویئر کا معائنہ نہیں کیا، اور پیمائشیں BroadNet کی اپنی ہیں، ستمبر 2026 کی۔
BroadNet کے بقول وہ کون سا ہارڈویئر چلاتا ہے؟
BroadNet کہتا ہے کہ وہ “one fleet, three tiers, one stack” (ترجمہ: ایک فلیٹ، تین درجے، ایک اسٹیک) چلاتا ہے: ڈیٹا سینٹر accelerators سے لے کر کلائنٹ سائٹس کے appliances تک وہی engines، quantisations اور gateway۔
| درجہ | BroadNet کے درج کردہ GPUs | BroadNet اسے کس لیے استعمال کرتا ہے |
|---|---|---|
| ڈیٹا سینٹر | B300، B200، H200، H100، A100 80 GB | فلیگ شپ سروِنگ، quantisation اور calibration، fine-tuning، مخصوص پرائیویٹ اینڈپوائنٹس، data-residency والی تعیناتیاں |
| ورک اسٹیشن | RTX PRO 6000 Blackwell، RTX 5090، RTX 3090، DGX Spark GB10، Radeon AI PRO R9700 | ہمیشہ چالو عوامی API، CUDA اور ROCm پر بینچ مارکنگ، ماڈل ڈویلپمنٹ |
| کلائنٹ سائٹ | DGX Spark GB10، کمپیکٹ AMD appliances | اسی اسٹیک پر on-premise اور air-gapped ڈیپلائمنٹس |
مجموعی طور پر BroadNet تقریباً 270 ماڈلز چلانے، تقریباً 200 checkpoints لوڈ کرنے، تقریباً 40 ماڈل فیملیز، 12 یا زیادہ quantisation فارمیٹس اور 13 GPU فیملیز کی بات بتاتا ہے۔ وہ یہ بھی کہتا ہے: “a single H100 serves the entire current public catalogue with headroom” (ترجمہ: ایک اکیلا H100 پورا موجودہ عوامی کیٹلاگ، گنجائش کے ساتھ، سرو کرتا ہے)۔
کون سے API ماڈلز اس پر چلتے ہیں؟
سب نہیں۔ BroadNet کا پرائیویسی بیان کہتا ہے کہ اس کے اپنے ماڈلز اور اس کے ہوسٹ کیے گئے open-weight ماڈلز امریکہ میں BroadNet کے اپنے یا لیز پر لیے گئے ہارڈویئر پر چلتے ہیں، بیک اپ کے لیے پارٹنر گنجائش کے ساتھ، اور پارٹنرز سے سرو ہونے والے ماڈلز امریکی inference پارٹنرز کے پاس zero-data-retention شرائط پر چلتے ہیں۔ اس کی Terms of Service DeepSeek V4.1 Flash کو پارٹنر ہوسٹڈ بتاتی ہیں۔
BroadNet کے اپنے صفحات ہر ماڈل کے بارے میں کیا کہتے ہیں:
| API پر ماڈل | BroadNet کا بتایا ہارڈویئر |
|---|---|
| Gemma 4 VL 26B | hot backup کے ساتھ NVIDIA Blackwell درجے کے GPUs |
| Transcribe Arabic اور Transcribe | امریکہ میں BroadNet کے چلائے گئے NVIDIA GPUs |
| DeepSeek V4.1 Flash | پارٹنر ہوسٹڈ (Terms of Service §7.3) |
| GLM 5.3، Qwen3.8 27B | API ٹریفک کے لیے بیان نہیں کیا گیا |
اگر یہ اہم ہے کہ آپ کا ڈیٹا کہاں پروسیس ہوتا ہے تو بھیجنے سے پہلے BroadNet سے پوچھیں۔ اس کا inference صفحہ کہتا ہے کہ MENA یا یورپ میں علاقائی پروسیسنگ درخواست پر دستیاب ہے۔
ہر GPU کتنا تیز ہے؟
BroadNet ایک ماڈل، Qwen3-VL 30B A3B Instruct، کے لیے 32 بیک وقت درخواستوں پر فی GPU مجموعی آؤٹ پٹ throughput شائع کرتا ہے:
| GPU | درجہ | Memory bandwidth | مجموعی ٹوکنز/سیکنڈ |
|---|---|---|---|
| B300 | ڈیٹا سینٹر | 8,000 GB/s | 14,500 |
| B200 | ڈیٹا سینٹر | 8,000 GB/s | 14,000 |
| H200 | ڈیٹا سینٹر | 4,800 GB/s | 8,400 |
| H100 | ڈیٹا سینٹر | 3,350 GB/s | 5,800 |
| A100 80 GB | ڈیٹا سینٹر | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | ورک اسٹیشن | 1,792 GB/s | 3,100 |
| RTX 3090 | ورک اسٹیشن | 936 GB/s | 1,630 |
| DGX Spark GB10 | ورک اسٹیشن | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | ورک اسٹیشن | 640 GB/s | 1,087 |
BroadNet بتاتا ہے کہ ڈیٹا سینٹر کے اعداد “planning numbers from our measured per-GPU curve” (ترجمہ: ہمارے ناپے گئے فی GPU منحنی سے نکالے گئے منصوبہ بندی کے نمبر) ہیں، ہر کارڈ پر براہِ راست پیمائش نہیں۔ زیادہ تر قطاریں memory bandwidth کے ساتھ بڑھتی ہیں، جو decoding کی عام حد ہوتی ہے، مگر سب نہیں: DGX Spark GB10 (273 GB/s) تقریباً RTX 3090 (936 GB/s) کے برابر ہے، اور Radeon AI PRO R9700 (640 GB/s) دونوں سے پیچھے ہے۔
BroadNet کے مطابق اس کے ہارڈویئر نے اسے کیا سکھایا؟
کیٹلاگ آٹھ نتائج درج کرتا ہے، ہر ایک پر “measured on our own hardware” (ترجمہ: ہمارے اپنے ہارڈویئر پر ناپا گیا) لکھا ہے۔ API خریداروں کے لیے سب سے اہم یہ ہیں:
- CUDA بمقابلہ ROCm۔ ایک ہی ماڈلز NVIDIA CUDA اور AMD ROCm پر چلانے پر CUDA نے تقریباً دگنی memory bandwidth کو ٹوکنز میں بدلا، اس لیے BroadNet اسی حساب سے ورک لوڈز تقسیم کرتا ہے۔
- لوڈ میں speculative decoding۔ 32 بیک وقت درخواستوں پر EAGLE3 نے 69% throughput کم کر دیا، اس لیے BroadNet نے multi-token-prediction drafters رکھے۔ اس کی Uno سروِنگ اسٹڈی ایک اور طریقے کے لیے یہی اثر ناپتی ہے۔
- سروِنگ اتنی ہی اہم ہے جتنے weights۔ ایک ہوسٹڈ فراہم کنندہ سے سرو کیے گئے وہی Gemma 4 26B weights اوسطاً اس سے 0.13 کم اسکور لائے جسے BroadNet “our own serving” (ترجمہ: ہماری اپنی سروِنگ) کہتا ہے۔ BroadNet کا اصول: موازنے سے پہلے challenger اور اس کے baseline کو ایک ہی سروِنگ پر رکھیں۔
- کم active پیرامیٹرز والا ماڈل جیت سکتا ہے۔ 26B mixture of experts نے تقریباً آٹھویں حصے کے active پیرامیٹرز کے ساتھ dense Gemma 4 31B کو 6 میں سے 5 پائپ لائن قدموں پر ہرایا۔
- ایک پائپ لائن پر frontier کے برابر۔ 240 ٹریسز کی blind جانچ میں BroadNet کے سرو کیے گئے Gemma 4 نے ناپے گئے چھ میں سے پانچ قدموں پر Claude Sonnet کی برابری کی، ہر قدم پر 1.2 سے 6.5 گنا تیز جوابات کے ساتھ۔
- فی درخواست رفتار۔ BroadNet کی پیمائش کے مطابق Qwen3-VL 30B A3B اس سروِنگ پر جسے BroadNet اپنی بتاتا ہے فی درخواست 36.5 سے 110 ٹوکن فی سیکنڈ پر چلا، جبکہ BroadNet کے ناپے گئے چار OpenRouter فراہم کنندگان پر 7 سے 19۔
- آرکیٹیکچر ماڈل کے انتخاب سے بڑا ہے۔ ایک مشکل سیٹ پر، جہاں دو مقامی وژن ماڈلز متفق نہیں تھے، ایک ہوسٹڈ ثالث (adjudicator) تک معاملہ بڑھانے سے درستگی 12 میں سے 1 سے 12 میں سے 11 ہو گئی۔
Sonnet والا موازنہ سب سے بڑا دعویٰ ہے، اور یہ محدود ہے: BroadNet کے Gemma 4 صفحے کے مطابق، ایک کمپنی کی chatbot پائپ لائن، جسے تین ججوں نے blind پرکھا، 11 tenants کی 240 پروڈکشن گفتگوؤں پر۔ اس کا مطلب یہ نہیں کہ Gemma 4 عمومی طور پر Sonnet کے برابر ہے۔ BroadNet نے اپنے ریسرچ صفحے پر اس جانچ کی مکمل تفصیل شائع نہیں کی۔
Gemma 4 ماڈل کیسے سرو ہوتا ہے؟
BroadNet کے ماڈل صفحے کے مطابق اس کا Gemma 4 VL 26B اس کے سروِنگ فیصلوں کی سب سے واضح مثال ہے:
- Weights: Google کا Gemma 4 26B A4B، جسے BroadNet نے 4-bit AWQ میں quantise کیا۔ BroadNet نے NVFP4 ٹیسٹ کیا اور براہِ راست موازنے کے بعد اسے ہٹا دیا۔
- Decoding: دو drafted ٹوکنز (k=2) والا multi-token-prediction speculative decoding، اور fp8 KV cache۔
- Template: ایک chat template جسے BroadNet نے اپنے گفتگو والے ورک فلو کے لیے ٹیون کیا۔
- Resilience: خودکار failover والا hot backup۔
- نتیجہ: ایک stream پر تقریباً 136 ٹوکن فی سیکنڈ، اور BroadNet کی اندرونی quality battery پر 90.86۔
اصطلاحات کے لیے quantisation اور speculative decoding دیکھیں۔
آپ کے لیے اس کا کیا مطلب ہے؟
استعمال کے مطابق ادائیگی والے صارف کے لیے BroadNet کے سروِنگ فیصلے شائع شدہ رفتار میں نظر آتے ہیں، پلان ماڈل پر عموماً تقریباً 100 ٹوکن فی سیکنڈ، اور حدوں میں: فی کلید 30 درخواستیں فی منٹ اور بیک وقت 4 جاری درخواستیں۔ BroadNet کی شرائط کہتی ہیں کہ self-serve پر دستیابی کی کوئی ضمانت نہیں؛ سروس لیولز صرف تحریری معاہدے کے ساتھ آتے ہیں۔ دوسرے فراہم کنندگان کے SLAs کا موازنہ۔
بڑی ضرورتوں کے لیے BroadNet مخصوص کیے گئے GPUs پر پرائیویٹ اینڈپوائنٹس دیتا ہے، آپ کے ماڈل، کلید، حدوں اور region کے ساتھ، اور اسی اسٹیک پر on-premise appliances بھی۔ اگر آپ اس کا موازنہ اپنے GPUs کرائے پر لینے سے کر رہے ہیں تو ہماری self-hosting بمقابلہ API لاگت گائیڈ پورا حساب کرتی ہے، اور BroadNet نے کون سے ماڈلز مسترد کیے دکھاتی ہے کہ اس نے کیا سرو کرنا ہے، یہ کیسے چنا۔
