BroadRouter

vLLM میں Uno: BroadNet کی سرونگ اسٹڈی نے کیا ناپا

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ

vLLM میں Uno، BroadNet کا ستمبر 2026 کا preprint ہے (DOI 10.5281/zenodo.22652610)۔ یہ vLLM میں Uno شامل کرتا ہے، ایک adapter جو ماڈل کو اپنے ٹوکن خود draft کرنے دیتا ہے۔ H100 پر Qwen3-8B کے ساتھ BroadNet نے سادہ vLLM کے مقابلے میں ایک stream پر 2.58 گنا، آٹھ پر 2.20 گنا اور 32 پر 1.74 گنا تھروپٹ ناپا، reference implementation سے 3% کے اندر۔

vLLM میں Uno، BroadNet کے تحقیقی شعبے کا ایک preprint ہے، جو 8 ستمبر 2026 کو Zenodo پر DOI 10.5281/zenodo.22652610 کے تحت شائع ہوا۔ یہ Uno کا native vLLM implementation بیان کرتا ہے، جو IFM کا تیار کردہ speculative-decoding طریقہ ہے، اور ناپتا ہے کہ یہ سادہ vLLM سے کتنا تیز سرو کرتا ہے۔ اس کے Zenodo ریکارڈ میں مصنف Mohammad Al Zubaidi درج ہیں۔

یہ صفحہ بتاتا ہے کہ پیپر کیا کہتا ہے، اس نے یہ کیسے ناپا، اور یہ آپ کو کیا بتاتا ہے اور کیا نہیں۔ اعداد BroadNet کے ہیں؛ ہم نے انہیں دہرا کر نہیں جانچا۔

Uno کس مسئلے کو حل کرتا ہے؟

زبان کا ماڈل عام طور پر ہر forward pass میں ایک ٹوکن بناتا ہے۔ speculative decoding آگے کے کئی ٹوکنز کا اندازہ لگا کر اور انہیں پورے ماڈل کے ایک pass میں جانچ کر اسے تیز کرتی ہے۔ زیادہ تر طریقے ایک الگ، چھوٹا draft ماڈل استعمال کرتے ہیں۔ Uno اس کے بجائے ماڈل پر ہی ایک ٹرین شدہ adapter لگاتا ہے، تاکہ ماڈل اپنے ٹوکن خود draft کرے اور پھر انہیں اپنے اصل weights سے verify کرے۔ عمومی تصور کے لیے speculative decoding دیکھیں۔

پیپر کا سوال عملی ہے: کیا رفتار کا یہ اضافہ ایک پروڈکشن سرونگ engine کے اندر، batching، caching اور ایک ساتھ کئی درخواستوں کے بیچ، برقرار رہتا ہے؟

BroadNet نے کیا بنایا؟

BroadNet کی بلاگ پوسٹ کریڈٹ کے بارے میں واضح ہے: طریقہ “Uno, developed by IFM and collaborators” (ترجمہ: IFM اور ساتھیوں کا تیار کردہ Uno) ہے، اور BroadNet کا حصہ “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (ترجمہ: native vLLM انضمام، وہ انجینئرنگ جو اس کے execution paths کو مل کر کام کرنے کے قابل بناتی ہے، اور سرونگ کی جانچ) ہے۔ abstract، execution کے حصے گنواتا ہے: conditional adapter routing، مکمل draft key/value state، asynchronous scheduling، CUDA graph replay، overlapping adapter computation اور seed-row reuse۔

کوڈ BroadNet کی vllm-uno ریپوزیٹری میں عوامی ہے، اور BroadNet نے اسے pull request 55947 کے طور پر upstream vLLM کو تجویز کیا ہے۔

اسے کیسے ناپا گیا؟

مرکزی ٹیسٹ کنٹرول شدہ ہے:

  • ہارڈویئر اور ماڈل: ایک NVIDIA H100، bfloat16 میں Qwen3-8B، شائع شدہ Qwen3-8B Uno adapter کے ساتھ۔
  • ورک لوڈ: آٹھ ریاضی پرامپٹس، بڑے batches بھرنے کے لیے دہرائے گئے، ہر ایک 512 ٹوکن تک بناتا ہے، prefix caching بند۔
  • Baseline: اسی سیٹ اپ پر عام autoregressive vLLM (“سادہ vLLM”)۔
  • Concurrency: 1، 8 اور 32 بیک وقت streams۔

ایک دوسرا، الگ موازنہ prefix caching آن کرتا ہے اور BroadNet کی منتخب سرونگ سیٹنگز استعمال کرتا ہے، تاکہ SGLang reference implementation سے موازنہ ہو سکے۔

اسٹڈی میں کیا ملا؟

پیمائش BroadNet کا بتایا ہوا نتیجہ
سادہ vLLM کے مقابلے میں تھروپٹ، 1 stream 2.58x
سادہ vLLM کے مقابلے میں تھروپٹ، 8 streams 2.20x
سادہ vLLM کے مقابلے میں تھروپٹ، 32 streams 1.74x
SGLang reference implementation سے فرق 1، 8 اور 32 streams پر 3% کے اندر
پروڈکشن سیٹنگز، 32 streams 7,657 ٹوکن/s، SGLang کے 7,505 کے مقابلے میں (2.0% آگے)
warm first-token latency، vLLM کے اندر ablation ایک کے بجائے دو API پروسیسز کے ساتھ 25% کم

گنجائش کی منصوبہ بندی کے لیے اہم بات پہلے بلاک کی آخری قطار ہے: اسی GPU سے 32 بیک وقت streams پر فی سیکنڈ 74% زیادہ آؤٹ پٹ۔ BroadNet کا بلاگ اسے “the central payoff” (ترجمہ: مرکزی فائدہ) کہتا ہے، کیونکہ جو رفتار کا اضافہ لوڈ میں غائب ہو جائے وہ مشترکہ API کے لیے زیادہ کام کا نہیں۔

بعد کی ایک ریلیز (v0.2.0، vLLM کے Model Runner V2 پر) BroadNet کے بلاگ پر Blackwell پر 2.1 سے 2.4 گنا، Ampere پر 1.7 سے 1.9 گنا اور Hopper پر 2.6 گنا single-stream آؤٹ پٹ کے ساتھ بیان کی گئی ہے۔ یہ پیپر کے مرکزی جدول سے مختلف ہارڈویئر اور ورژنز ہیں، اسی لیے اعداد مختلف ہیں۔

حدیں کیا ہیں؟

  • ایک ماڈل، ایک ورک لوڈ۔ کنٹرول شدہ نتیجہ ریاضی پرامپٹس پر Qwen3-8B کا ہے۔ کوڈ، چیٹ یا لمبی دستاویزات کم draft ٹوکن قبول کر سکتی ہیں۔
  • لوڈ کے ساتھ فائدہ گھٹتا ہے۔ 2.58x سے 1.74x کا رجحان متوقع شکل ہے: جب GPU مصروف ہو تو drafting کے لیے بچا compute ختم ہو جاتا ہے۔
  • ایک preprint۔ پیپر Zenodo پر جمع ہے، peer-review نہیں ہوا۔ اس کے ساتھ کے آرکائیو میں evidence inventory اور figure ڈیٹا ہے، جس سے دوسرے اسے جانچ سکتے ہیں۔
  • خود رپورٹ کردہ۔ دونوں arms، BroadNet نے چلائے۔ reference implementation سے 3% کی مطابقت اس پر پیپر کی اپنی جانچ ہے۔

اگر آپ صرف API کال کرتے ہیں تو یہ کیوں اہم ہے؟

فی GPU تھروپٹ طے کرتا ہے کہ فراہم کنندہ کتنا چارج کر سکتا ہے اور لوڈ میں کتنی تیزی سے جواب دیتا ہے۔ BroadNet کا کیٹلاگ بتاتا ہے کہ وہ کوئی drafting طریقہ چننے سے پہلے اسے اصل concurrency پر ناپتا ہے، اور اس نے EAGLE3 کو تب مسترد کیا جب اس نے 32 بیک وقت درخواستوں پر 69% تھروپٹ کھویا۔ Gemma 4 26B پر فالو اپ اسٹڈی یہی طریقہ اس mixture-of-experts ماڈل پر لاگو کرتی ہے جسے BroadNet Gemma 4 VL 26B کے نام سے بیچتا ہے۔ یہ BroadNet کے وسیع تر سرونگ فیصلوں میں کیسے فٹ ہوتا ہے، اس کے لیے BroadNet کا GPU ہارڈویئر اور سرونگ کا طریقہ دیکھیں۔

اگر آپ اپنے vLLM سرورز چلاتے ہیں تو عملی سبق یہ ہے: کسی بھی drafting طریقے کو اس concurrency پر بینچ مارک کریں جس پر آپ واقعی چلاتے ہیں، ایک stream پر نہیں۔

عام سوالات

Uno کیا ہے؟

Uno، IFM اور ساتھیوں کا تیار کردہ speculative-decoding طریقہ ہے۔ ایک چھوٹا ٹرین شدہ adapter ماڈل کو ایک ساتھ کئی ٹوکن تجویز کرنے دیتا ہے، اور پھر ماڈل کے اپنے weights انہیں verify کرتے ہیں۔ کوئی الگ draft ماڈل نہیں ہوتا۔

کیا رفتار کا یہ اضافہ lossless ہے؟

BroadNet اپنی ریلیز کے لیے یہی کہتا ہے: جب بھی سادہ vLLM اپنا آؤٹ پٹ دہراتا ہے، Uno اس کے greedy ٹوکنز سے میل کھاتا ہے، اور اس کے sampled-distribution ٹیسٹ پاس ہوتے ہیں۔ speculative decoding ہر draft ٹوکن کو پورے ماڈل سے verify کرتی ہے، اس لیے آؤٹ پٹ کا معیار نہیں بدلنا چاہیے؛ اسے اپنے پرامپٹس پر جانچیں۔

کیا زیادہ concurrency پر Uno مدد کرتا ہے؟

کم concurrency کے مقابلے میں کم۔ پیپر کے کنٹرول شدہ ٹیسٹ میں فائدہ ایک stream پر 2.58x سے گر کر 32 پر 1.74x رہ گیا۔ BroadNet کا کیٹلاگ یہ بھی بتاتا ہے کہ ایک اور طریقے، EAGLE3، نے 32 بیک وقت درخواستوں پر 69% تھروپٹ کھویا، اس لیے drafting طریقوں کو اپنے اصل لوڈ پر ٹیسٹ کرنا ضروری ہے۔

کیا میں اسے خود چلا سکتا ہوں؟

جی ہاں۔ BroadNet اس کا implementation اپنی vllm-uno ریپوزیٹری میں شائع کرتا ہے، ہر ریلیز کے لیے کنٹینر امیج، pinned ورژنز اور validation ریکارڈ کے ساتھ، اور اس نے اسے pull request 55947 کے طور پر vLLM کو تجویز کیا ہے۔

کیا BroadNet Inference اپنے API ماڈلز کے لیے Uno استعمال کرتا ہے؟

BroadNet ایسا نہیں کہتا۔ اس کا کیٹلاگ Gemma 4 26B کے لیے پروڈکشن میں multi-token-prediction drafters (k=2) دکھاتا ہے۔ Uno ایک تحقیقی نتیجہ ہے جسے BroadNet شائع کرتا ہے؛ اگر آپ کو یہ پرائیویٹ اینڈپوائنٹ پر چاہیے تو BroadNet سے پوچھیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں