BroadRouter

BroadNet نے کون سے ماڈلز پرکھ کر مسترد کیے، اور کیوں

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

BroadNet کا ماڈل کیٹلاگ اپنی لیب میں ٹیسٹ کے بعد تقریباً 30 ماڈلز اور طریقوں کو مسترد قرار دیتا ہے۔ وجوہات زیادہ تر پانچ گروہوں میں آتی ہیں: اسی کام کے لیے کوئی مضبوط ماڈل جیت گیا، کریڈنشل سیفٹی جانچ، ایسا لائسنس جو API سے سرو کرنے سے روکتا ہے، آمنے سامنے مقابلے میں ہارا کوانٹائزیشن فارمیٹ، اور عربی میں گراوٹ۔ تمام نتائج ستمبر 2026 کی BroadNet کی اپنی پیمائشیں ہیں۔

BroadNet کا ماڈل کیٹلاگ ہر اس ماڈل کو درج کرتا ہے جسے اس نے، اس کے بقول، اپنے ہارڈویئر پر چلایا، بینچ مارک کیا، کوانٹائز کیا یا فائن ٹیون کیا، اور جنہیں مسترد کیا ان پر وجہ کے ساتھ نشان لگاتا ہے۔ تقریباً 30 ماڈلز اور طریقوں پر RULED OUT کا لیبل ہے۔ نیچے کے اعداد ستمبر 2026 میں BroadNet کی لیب میں ناپے گئے؛ یہ BroadNet کے نتائج ہیں، ہمارے نہیں۔

کیٹلاگ چھ لیبل استعمال کرتا ہے: PROD (لائیو ٹریفک چلایا)، SERVED (کیٹلاگ کے الفاظ میں “ran on our fleet”، ترجمہ: ہمارے فلیٹ پر چلا)، BENCH (بینچ مارک کیا گیا)، QUANT (کوانٹائزیشن BroadNet نے بنائی)، FT (BroadNet نے فائن ٹیون کیا) اور RULED OUT۔

BroadNet نے کون سے چیٹ ماڈلز مسترد کیے؟

ماڈل BroadNet نے کیا کیا مسترد ہونے کی وجہ
Qwen3.5 35B A3B (AWQ 4-bit) اسپیڈ ٹیئر کے طور پر سرو کیا، تقریباً 164 ٹوکن/s سکیورٹی کرداروں کے لیے BroadNet کی کریڈنشل سیفٹی ٹیسٹ بیٹری میں ناکام
GLM 4.7 Flash (AWQ) تجرباتی طور پر سرو کیا لیبل SERVED ہے، RULED OUT نہیں: BroadNet کہتا ہے کہ اس کی کریڈنشل سیفٹی ٹیسٹ بیٹری نے اسے سکیورٹی کرداروں سے باہر کیا اور یہ پروڈکشن سے نیچے رکھا گیا
Nemotron 3 Nano 30B A3B (NVFP4) کسٹم reasoning پارسر کے ساتھ سرو کیا لیبل SERVED ہے، RULED OUT نہیں: BroadNet کہتا ہے کہ اس کی کریڈنشل سیفٹی ٹیسٹ بیٹری نے اسے سکیورٹی کرداروں سے باہر کیا اور یہ پروڈکشن سے نیچے رکھا گیا
Qwen3.6 35B A3B RTX 5090 اور GB10 پر سرو کیا چیٹ بوٹ سلاٹ Gemma 4 26B سے ہارا
Gemma 4 E4B (AWQ INT4) GB10 پر شریک کرایہ دار کے طور پر سرو کیا، تقریباً 94 ٹوکن/s چیٹ بوٹ سلاٹ Gemma 4 26B سے ہارا
Gemma 4 26B A4B NVFP4 (تین پبلشرز) کوانٹائزیشن کی جانچ کی sm_120 اور sm_121 GPUs پر آمنے سامنے موازنے کے بعد AWQ کے حق میں ہٹایا گیا
EAGLE3 speculative decoding پورے لوڈ والی سرونگ کے لیے ٹیسٹ کیا 32 بیک وقت درخواستوں پر تھروپٹ کا 69% کم ہوا؛ ملٹی ٹوکن پریڈکشن ڈرافٹرز رکھے گئے

اوپن ماڈل منتخب کرنے والے ہر شخص کے لیے یہ پیٹرن اہم ہے۔ تین مستردیاں معیار کے بارے میں نہیں، حفاظت کے بارے میں ہیں: ایسے ماڈلز جو کافی تیز تھے، مگر کریڈنشلز دہراتے تھے۔ یہی وہ کمزوری ہے جو BroadNet کی Safety Map اسٹڈی کو چھوٹے فعال حصے والے mixture-of-experts ماڈلز میں سب سے زیادہ ملی۔ چیٹ بوٹ سلاٹ جیتنے والا ماڈل، Gemma 4 26B A4B، وہی ہے جسے BroadNet Gemma 4 VL 26B کے نام سے بیچتا ہے۔

کون سے اسپیچ ماڈلز مسترد ہوئے؟

ماڈل مسترد ہونے کی وجہ
Gemma 4 E2B، Gemma 4 12B (ٹرانسکرائبر کے طور پر) ان کی جگہ E4B آڈیو ویریئنٹ رکھا گیا
Omnilingual ASR 300M، 1B، 3B اور CTC ویریئنٹس (Meta) سلاٹ 7B ویریئنٹ کو ملا
Voxtral Mini 3B / 4B Realtime (Mistral) عربی کے لیے مسترد
ArTSTv3 (MBZUAI سلسلہ) عربی سلاٹ کے لیے مسترد؛ Cohere Transcribe Arabic رکھا گیا
FireRedVAD، DeepFilterNet، BNR (فرنٹ اینڈز) آمنے سامنے موازنے کے بعد Silero وائس ایکٹیویٹی ڈیٹیکشن اپنایا گیا

BroadNet بتاتا ہے کہ اس کا رکھا ہوا ماڈل، Cohere Transcribe Arabic 07-2026، اس کے اپنے ٹیسٹ میں MASC لہجے والی اسپیچ پر 21.1 ورڈ ایرر ریٹ دیتا ہے، جبکہ ElevenLabs Scribe v2 کا 22.3 اور Whisper large-v3 کا 31.5 ہے۔ وہ اس ماڈل کو BroadNet Transcribe Arabic کے طور پر سرو کرتا ہے۔ کیٹلاگ یہ بھی بتاتا ہے کہ Whisper large-v3 کو فال بیک کے طور پر بینچ مارک کیا گیا۔

کون سے ڈاکیومنٹ، ایمبیڈنگ اور امیج ماڈلز ہارے؟

OCR اور ڈاکیومنٹ پارسنگ

  • LlamaParse، یعنی موجودہ API، نے BroadNet کے OmniDocBench سب سیٹ پر 16.6 اسکور کیا۔ BroadNet نے اسے اس لیے مسترد کیا کہ “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (ترجمہ: یہ ٹیبلز کھو دیتا ہے، اور خود ہوسٹ کرنا فی 1,000 صفحات 98% سستا ہے)۔
  • olmOCR-2، HunyuanOCR، GOT-OCR 2.0 اور Nanonets OCR2 کی جانچ ہوئی اور وہ مسترد ہوئے؛ Nanonets لائسنس کی شرائط پر۔ dots.mocr کو پروڈکشن کے لیے چنا گیا، کیونکہ وہ پارس بھی کرتا ہے اور اشکال کی وضاحت بھی، حالانکہ PaddleOCR-VL 1.6 کا اسکور زیادہ تھا (86.81 کے مقابلے میں 94.74)۔

ایمبیڈنگز

  • gemini-embedding-2 عربی کے لیے مسترد ہوا، کیونکہ وہ gemini-embedding-001 سے پیچھے گیا (BroadNet کے ریٹریول بینچ مارک پر 0.824 کے مقابلے میں 0.767)۔
  • nomic-embed-text v1.5، جو پہلے استعمال میں تھا، نے مجموعی طور پر 0.468 اور عربی پر 0.130 اسکور کیا، اور ہٹا دیا گیا۔
  • Octen 8B، Harrier 0.6B اور Nemotron Embed 1B سرو کیے گئے اور اصل عربی ٹریفک پر مسترد ہوئے، “where our podium held despite their public-board wins” (ترجمہ: جہاں ان کی پبلک بورڈ والی جیت کے باوجود ہمارے سرفہرست ماڈلز آگے رہے)۔

BroadNet ایک اور نتیجہ شامل کرتا ہے جو ماڈل کے انتخاب سے بھی زیادہ اہم نکلا: ورک لوڈ کے لیے مخصوص کوئری ہدایت نے ریٹریول کے معیار (nDCG) کو 0.048 بدلا، جو 4B سے 8B ایمبیڈنگ ماڈل پر جانے سے بھی زیادہ تھا۔

امیج جنریشن اور حفاظت

  • Cosmos3 Super 64B اور HunyuanImage 3.0 80B ہارڈویئر میں فٹ نہ ہونے اور لائسنس کی شرائط پر مسترد ہوئے۔
  • openai/privacy-filter 1.5B نے BroadNet کے لیک کارپس میں 100% کریڈنشلز پکڑے، مگر تنخواہ کے اعداد 0%، اس لیے اسے فائر وال کے طور پر مسترد کیا گیا۔

ان مستردیوں سے کیا سبق ملتا ہے؟

چار سبق BroadNet کے اپنے اسٹیک سے آگے بھی لاگو ہوتے ہیں:

  1. لیڈر بورڈ نہیں، کام کو ٹیسٹ کریں۔ پبلک بورڈ پر جیتنے والے کئی ایمبیڈنگ ماڈلز اصل عربی ٹریفک پر ہار گئے۔
  2. حفاظت ایک الگ جانچ ہے۔ تیز اور قابل ماڈل بھی کریڈنشل ٹیسٹ میں ناکام ہو سکتا ہے۔ کسی ماڈل کے سیکرٹس دیکھنے سے پہلے یہ ٹیسٹ چلائیں؛ BroadNet کا جانچ کا طریقہ ایک آغاز ہے۔
  3. لائسنس طے کرتے ہیں کہ کیا سرو ہو سکتا ہے۔ Voxtral 4B TTS اور Higgs Audio v3 جیسے غیر تجارتی ماڈلز کیٹلاگ میں صرف معیار کی بالائی حد کے طور پر آتے ہیں۔
  4. سرونگ کے فیصلے بھی ناپے جاتے ہیں۔ کوانٹائزیشن فارمیٹس اور ڈرافٹنگ کے طریقے آمنے سامنے کے اعداد پر مسترد ہوئے، بطور ڈیفالٹ نہیں۔ دیکھیں BroadNet کا GPU ہارڈویئر اور سرونگ کا طریقہ۔

یہاں کا ہر عدد ایک کمپنی کی لیب اور ٹریفک سے ہے۔ اسے ٹیسٹ کرنے لائق چیزوں کی مختصر فہرست کے طور پر استعمال کریں، پھر بدلنے سے پہلے اپنے ڈیٹا پر جانچ کریں۔ مسترد یا بینچ مارک والی قطار ایسی چیز بھی نہیں جسے آپ کال کر سکیں؛ ماڈل کیٹلاگ کیسے پڑھیں بتاتا ہے کہ لائیو، درخواست پر ملنے والی اور تحقیقی اندراجات میں فرق کیسے کریں۔

عام سوالات

BroadNet اپنے مسترد کیے گئے ماڈلز کیوں شائع کرتا ہے؟

اس کا کیٹلاگ کہتا ہے کہ وہ "what we rule out as carefully as what we ship" (ترجمہ: جو ہم مسترد کرتے ہیں، اسے اتنی ہی احتیاط سے جتنا جو ہم لانچ کرتے ہیں) شائع کرتا ہے، تاکہ خریدار ہر سفارش کے پیچھے کی دلیل دیکھ سکیں۔ وجہ کے ساتھ مستردی ایسا ثبوت ہے جسے آپ اپنے ورک لوڈ پر پرکھ سکتے ہیں۔

کیا "ruled out" کا مطلب ہے کہ ماڈل خراب ہے؟

نہیں۔ زیادہ تر مستردیاں BroadNet کی اپنی پائپ لائن کے کسی ایک سلاٹ کے لیے ہیں، BroadNet کے بتائے ہوئے سیٹ اپ اور ٹریفک پر۔ Qwen3.6 35B A3B اور Gemma 4 E4B چیٹ بوٹ سلاٹ Gemma 4 26B سے ہار گئے؛ پھر بھی وہ آپ کے کام کے لیے موزوں ہو سکتے ہیں۔

کریڈنشل سیفٹی ٹیسٹ بیٹری کیا ہے؟

BroadNet کا یہ ٹیسٹ کہ کیا کوئی ماڈل دیکھے ہوئے کریڈنشلز دہراتا ہے، اس کے شائع شدہ حساس ڈیٹا کی جانچ کے طریقے پر مبنی۔ جو ماڈلز ناکام ہوتے ہیں، انہیں سکیورٹی کرداروں کے لیے پروڈکشن سے نیچے رکھا جاتا ہے۔

لائسنس کی وجہ سے ماڈلز کیوں مسترد ہوتے ہیں؟

Voxtral 4B TTS اور Higgs Audio v3 جیسے کچھ مضبوط ماڈلز غیر تجارتی ہیں، اس لیے BroadNet انہیں صرف معیار کی بالائی حد کے طور پر بینچ مارک کرتا ہے اور ادائیگی والے API سے سرو نہیں کر سکتا۔

کیا مسترد کیے گئے ماڈلز BroadNet Inference پر دستیاب ہیں؟

نہیں۔ API چھ ماڈلز بیچتا ہے، اور تین مزید درخواست پر دستیاب ہیں۔ جن ماڈلز پر ruled out لکھا ہے، وہ پیش نہیں کیے جاتے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں