BroadNet کا دوسرا Uno preprint پہلی بار self-drafting کو ایک mixture-of-experts ماڈل پر لاگو کرتا ہے۔ 18 ستمبر 2026 کو Zenodo پر DOI 10.5281/zenodo.22820511 کے تحت شائع ہونے والا یہ پیپر Gemma 4 26B A4B کو 4-bit پر سرو کرتا ہے اور اس کے لیے ایک Uno adapter ٹرین کرتا ہے۔ ہدف وہی بنیادی ماڈل ہے جو BroadNet Inference پر BroadNet Gemma 4 VL 26B کا ہے۔
یہ vLLM میں Uno کی سرونگ اسٹڈی کے بعد آیا ہے، جس میں ایک dense 8B ماڈل ٹیسٹ کیا گیا تھا۔ نیچے کے اعداد BroadNet کے ہیں؛ ہم نے انہیں دہرا کر نہیں جانچا۔
سوال کیا تھا؟
speculative decoding کئی ٹوکنز کا draft بناتی ہے اور انہیں ایک pass میں verify کرتی ہے۔ mixture-of-experts ماڈل پر ایک اضافی فکر ہے: draft کی قطاریں مختلف experts تک route ہو سکتی ہیں، اس لیے چار ٹوکنز کا draft بنانے میں ایک ٹوکن بنانے سے کہیں زیادہ expert weights پڑھنے پڑ سکتے ہیں۔ پیپر پوچھتا ہے کہ کیا یہ “expert fan-out” self-drafting کو بہت مہنگا بنا دیتا ہے، اور self-drafting کب الگ drafter سے بہتر ہوتا ہے۔
BroadNet نے اسے کیسے ٹیسٹ کیا؟
پیپر کے abstract اور BroadNet کی methods والی سطر کے مطابق:
- ماڈل: Gemma 4 26B A4B، ہر ٹوکن پر تقریباً 4B پیرامیٹرز فعال، 4-bit weights کے ساتھ۔
- ہارڈویئر: 24 GB درجے کے GPUs، ایک وقت میں ایک sequence۔
- ورک لوڈ: BroadNet کی پروڈکشن ٹریفک سے 72 پرامپٹس؛ ہر رفتار کے اضافے کو اسی سیشن میں سادہ ڈیکوڈنگ والے رن سے تقسیم کیا گیا۔
- لمبا کانٹیکسٹ: تقریباً 10,500 ٹوکن والے پانچ پرامپٹس کا الگ سیٹ۔
- Adapter: rank 16، 965 قطاروں پر اسی 4-bit checkpoint کے ذریعے ٹرین کیا گیا جس پر وہ سرو ہوتا ہے، ایک 24 GB GPU پر، بغیر کسی full-precision weights کے۔
کیا نتائج نکلے؟
| Gemma 4 26B A4B کو کیسے ڈیکوڈ کیا گیا | سادہ ڈیکوڈنگ کے مقابلے میں رفتار کا اضافہ |
|---|---|
| سادہ ڈیکوڈنگ | 1.000 |
| Uno pilot adapter، width 4 | 1.166 |
| Multi-token-prediction drafter، width 2 | 1.474 |
| Block drafter، width 8 | 1.553 |
| تقریباً 10,500 ٹوکن کانٹیکسٹ پر Uno | 1.089 (MTP drafter: 1.011) |
BroadNet کے بتائے دوسرے نتائج:
- ٹریننگ سے فائدہ ہوا۔ 1,500 updates میں قبول شدہ حصہ 42.4% سے 48.9% ہوا، اور 2,000 قطاروں والے بڑے corpus نے، جسے اسی recipe پر ٹرین کیا گیا، matched anchor run کے مقابلے میں ہر verify step میں 0.49 زیادہ draft ٹوکن قبول کروائے۔
- Expert fan-out حقیقی ہے، مگر سستا۔ چار draft قطاروں نے 22 الگ experts کو چھوا جبکہ ایک قطار نے 8 کو، پھر بھی قطاروں سے متعلق پوری لاگت تقریباً 2.4 steps کی سائیکل میں 0.53 steps تک محدود رہی۔ BroadNet کا نتیجہ ہے کہ اس درجے کے ہارڈویئر پر routing کی لاگت “worth under a fifth of a cycle” (ترجمہ: ایک سائیکل کے پانچویں حصے سے کم) ہے۔
- Lossless۔ BroadNet نے ایک ایسے پروفائل کے لیے جانچ بنائی جس کا سادہ آؤٹ پٹ مختلف سیشنز میں خود کو نہیں دہراتا، اور Uno کو “as close to plain as plain is to itself” (ترجمہ: سادہ ڈیکوڈنگ کے اتنا ہی قریب جتنی سادہ ڈیکوڈنگ خود سے ہے) بتاتا ہے۔
- پانچ زبانیں۔ پیپر پانچ زبانوں میں اس adapter کی قبولیت کی وہ پیمائش دیتا ہے جسے وہ پہلی پیمائش کہتا ہے۔
عملی طور پر اس کا کیا مطلب ہے؟
پیپر کا اپنا اصول سیدھا ہے: اگر آپ کے ماڈل کے لیے اچھا چھوٹا drafter موجود ہے تو اسے استعمال کریں؛ self-drafting لمبے کانٹیکسٹ پر اور ان ماڈلز پر اپنی جگہ بناتا ہے جن کا کوئی drafter نہیں۔ یہ BroadNet کے اپنے بتائے سیٹ اپ سے میل کھاتا ہے: اس کا کیٹلاگ Gemma 4 26B کو پروڈکشن میں multi-token-prediction drafter (k=2) کے ساتھ دکھاتا ہے، “90%+ acceptance on structured prompts” (ترجمہ: structured پرامپٹس پر 90%+ قبولیت) کے ساتھ۔
پروڈکشن میں drafter کتنا اضافہ کرتا ہے؟ BroadNet کے کیٹلاگ کے مطابق RTX 3090 پر multi-token prediction نے 48.8% اضافہ کیا، اور اس کا Gemma 4 VL 26B صفحہ speculative decoding آن ہونے پر ایک stream پر تقریباً 136 ٹوکن فی سیکنڈ بتاتا ہے۔ دونوں BroadNet کی اپنی پیمائشیں ہیں، اس سرونگ کنفیگریشن پر جو اس کا ماڈل صفحہ بیان کرتا ہے، اس لیے API سے آپ کی رفتار لوڈ پر اور آپ کے پرامپٹ اور جواب کی لمبائی پر بھی منحصر ہے۔
API خریدنے والوں کے لیے کارآمد حصہ adapter نہیں، طریقہ ہے۔ BroadNet کہتا ہے کہ وہ جو بھی ماڈل سرو کرتا ہے، وہ گاہک تک پہنچنے سے پہلے اسی حساب سے گزرتا ہے: ایک draft سائیکل کی لاگت ناپو، پھر وہ drafter چنو جو اصل ورک لوڈ پر جیتتا ہے۔ اسی نظم و ضبط کی وجہ سے اس نے saturated سرونگ کے لیے EAGLE3 کو مسترد کیا۔
حدیں کیا ہیں؟
- صرف single-stream۔ ایک وقت میں ایک sequence، ہر arm کا ایک رن۔ batch سرونگ کا رویہ مختلف ہوتا ہے، جیسا dense اسٹڈی نے دکھایا۔
- ایک ماڈل۔ نتائج 24 GB درجے کے کارڈز پر 4-bit والے Gemma 4 26B A4B کے ہیں۔
- ایک preprint۔ Zenodo پر ورژن 2.3، peer-review نہیں ہوا، ساتھ میں ایک evidence آرکائیو منسلک ہے۔
vllm-uno کی ریلیز v0.3.0 میں سرونگ پروفائل، کنٹینر امیج اور validation ریکارڈ ہیں، تاکہ اعداد جانچے جا سکیں۔ سرو کیے گئے ماڈل کو خود آزمانے کے لیے BroadNet کا براؤزر playground بغیر اکاؤنٹ کے Gemma 4 چلاتا ہے۔
