---
title: "vLLM میں Uno: BroadNet کی سرونگ اسٹڈی، DOI اور نتائج"
description: "BroadNet نے Uno self-drafting adapter کو vLLM میں شامل کیا اور H100 پر ناپا: ایک stream پر سادہ vLLM سے 2.58x تھروپٹ، 32 پر 1.74x۔ طریقہ، DOI اور حدیں۔"
url: https://broadrouter.com/ur/blog/uno-in-vllm-serving-study/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (اپ ڈیٹ: 2026-11-15).

# vLLM میں Uno: BroadNet کی سرونگ اسٹڈی نے کیا ناپا

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ 2026-11-15

vLLM میں Uno، BroadNet کا ستمبر 2026 کا preprint ہے (DOI 10.5281/zenodo.22652610)۔ یہ vLLM میں Uno شامل کرتا ہے، ایک adapter جو ماڈل کو اپنے ٹوکن خود draft کرنے دیتا ہے۔ H100 پر Qwen3-8B کے ساتھ BroadNet نے سادہ vLLM کے مقابلے میں ایک stream پر 2.58 گنا، آٹھ پر 2.20 گنا اور 32 پر 1.74 گنا تھروپٹ ناپا، reference implementation سے 3% کے اندر۔

## اہم نکات

-   پیپر Zenodo پر ایک preprint ہے، DOI 10.5281/zenodo.22652610، 8 ستمبر 2026 کو CC BY 4.0 کے تحت شائع ہوا۔ اس کا peer-review نہیں ہوا۔
-   Uno، IFM کا طریقہ ہے؛ BroadNet کا حصہ native vLLM انضمام اور سرونگ کی پیمائشیں ہیں۔
-   کنٹرول شدہ H100 اور Qwen3-8B ریاضی ورک لوڈ پر: سادہ vLLM کے مقابلے میں 1 stream پر 2.58x، 8 پر 2.20x، 32 پر 1.74x۔
-   پروڈکشن سیٹنگز کے ساتھ 32 streams پر 7,657 ٹوکن فی سیکنڈ، SGLang reference کے 7,505 کے مقابلے میں۔
-   یہ فوائد ایک ماڈل، ایک ورک لوڈ اور مخصوص سیٹنگز کے ہیں۔ ان پر بھروسہ کرنے سے پہلے اپنی ٹریفک پر ناپیں۔

**اس صفحے پر**

1.  Uno کس مسئلے کو حل کرتا ہے؟
2.  BroadNet نے کیا بنایا؟
3.  اسے کیسے ناپا گیا؟
4.  اسٹڈی میں کیا ملا؟
5.  حدیں کیا ہیں؟
6.  اگر آپ صرف API کال کرتے ہیں تو یہ کیوں اہم ہے؟

vLLM میں Uno، BroadNet کے تحقیقی شعبے کا ایک preprint ہے، جو 8 ستمبر 2026 کو Zenodo پر DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610) کے تحت شائع ہوا۔ یہ Uno کا native vLLM implementation بیان کرتا ہے، جو IFM کا تیار کردہ speculative-decoding طریقہ ہے، اور ناپتا ہے کہ یہ سادہ vLLM سے کتنا تیز سرو کرتا ہے۔ اس کے Zenodo ریکارڈ میں مصنف Mohammad Al Zubaidi درج ہیں۔

یہ صفحہ بتاتا ہے کہ پیپر کیا کہتا ہے، اس نے یہ کیسے ناپا، اور یہ آپ کو کیا بتاتا ہے اور کیا نہیں۔ اعداد BroadNet کے ہیں؛ ہم نے انہیں دہرا کر نہیں جانچا۔

## Uno کس مسئلے کو حل کرتا ہے؟

زبان کا ماڈل عام طور پر ہر forward pass میں ایک ٹوکن بناتا ہے۔ speculative decoding آگے کے کئی ٹوکنز کا اندازہ لگا کر اور انہیں پورے ماڈل کے ایک pass میں جانچ کر اسے تیز کرتی ہے۔ زیادہ تر طریقے ایک الگ، چھوٹا draft ماڈل استعمال کرتے ہیں۔ Uno اس کے بجائے ماڈل پر ہی ایک ٹرین شدہ adapter لگاتا ہے، تاکہ ماڈل اپنے ٹوکن خود draft کرے اور پھر انہیں اپنے اصل weights سے verify کرے۔ عمومی تصور کے لیے [speculative decoding](https://broadrouter.com/ur/glossary/speculative-decoding/) دیکھیں۔

پیپر کا سوال عملی ہے: کیا رفتار کا یہ اضافہ ایک پروڈکشن سرونگ engine کے اندر، batching، caching اور ایک ساتھ کئی درخواستوں کے بیچ، برقرار رہتا ہے؟

## BroadNet نے کیا بنایا؟

BroadNet کی بلاگ پوسٹ کریڈٹ کے بارے میں واضح ہے: طریقہ “Uno, developed by IFM and collaborators” (ترجمہ: IFM اور ساتھیوں کا تیار کردہ Uno) ہے، اور BroadNet کا حصہ “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (ترجمہ: native vLLM انضمام، وہ انجینئرنگ جو اس کے execution paths کو مل کر کام کرنے کے قابل بناتی ہے، اور سرونگ کی جانچ) ہے۔ abstract، execution کے حصے گنواتا ہے: conditional adapter routing، مکمل draft key/value state، asynchronous scheduling، CUDA graph replay، overlapping adapter computation اور seed-row reuse۔

کوڈ BroadNet کی [vllm-uno ریپوزیٹری](https://github.com/brntech/vllm-uno) میں عوامی ہے، اور BroadNet نے اسے pull request 55947 کے طور پر upstream vLLM کو تجویز کیا ہے۔

## اسے کیسے ناپا گیا؟

مرکزی ٹیسٹ کنٹرول شدہ ہے:

-   **ہارڈویئر اور ماڈل:** ایک NVIDIA H100، bfloat16 میں Qwen3-8B، شائع شدہ Qwen3-8B Uno adapter کے ساتھ۔
-   **ورک لوڈ:** آٹھ ریاضی پرامپٹس، بڑے batches بھرنے کے لیے دہرائے گئے، ہر ایک 512 ٹوکن تک بناتا ہے، prefix caching بند۔
-   **Baseline:** اسی سیٹ اپ پر عام autoregressive vLLM (“سادہ vLLM”)۔
-   **Concurrency:** 1، 8 اور 32 بیک وقت streams۔

ایک دوسرا، الگ موازنہ prefix caching آن کرتا ہے اور BroadNet کی منتخب سرونگ سیٹنگز استعمال کرتا ہے، تاکہ SGLang reference implementation سے موازنہ ہو سکے۔

## اسٹڈی میں کیا ملا؟

| پیمائش | BroadNet کا بتایا ہوا نتیجہ |
| --- | --- |
| سادہ vLLM کے مقابلے میں تھروپٹ، 1 stream | 2.58x |
| سادہ vLLM کے مقابلے میں تھروپٹ، 8 streams | 2.20x |
| سادہ vLLM کے مقابلے میں تھروپٹ، 32 streams | 1.74x |
| SGLang reference implementation سے فرق | 1، 8 اور 32 streams پر 3% کے اندر |
| پروڈکشن سیٹنگز، 32 streams | 7,657 ٹوکن/s، SGLang کے 7,505 کے مقابلے میں (2.0% آگے) |
| warm first-token latency، vLLM کے اندر ablation | ایک کے بجائے دو API پروسیسز کے ساتھ 25% کم |

گنجائش کی منصوبہ بندی کے لیے اہم بات پہلے بلاک کی آخری قطار ہے: اسی GPU سے 32 بیک وقت streams پر فی سیکنڈ 74% زیادہ آؤٹ پٹ۔ BroadNet کا بلاگ اسے “the central payoff” (ترجمہ: مرکزی فائدہ) کہتا ہے، کیونکہ جو رفتار کا اضافہ لوڈ میں غائب ہو جائے وہ مشترکہ API کے لیے زیادہ کام کا نہیں۔

بعد کی ایک ریلیز (v0.2.0، vLLM کے Model Runner V2 پر) BroadNet کے بلاگ پر Blackwell پر 2.1 سے 2.4 گنا، Ampere پر 1.7 سے 1.9 گنا اور Hopper پر 2.6 گنا single-stream آؤٹ پٹ کے ساتھ بیان کی گئی ہے۔ یہ پیپر کے مرکزی جدول سے مختلف ہارڈویئر اور ورژنز ہیں، اسی لیے اعداد مختلف ہیں۔

## حدیں کیا ہیں؟

-   **ایک ماڈل، ایک ورک لوڈ۔** کنٹرول شدہ نتیجہ ریاضی پرامپٹس پر Qwen3-8B کا ہے۔ کوڈ، چیٹ یا لمبی دستاویزات کم draft ٹوکن قبول کر سکتی ہیں۔
-   **لوڈ کے ساتھ فائدہ گھٹتا ہے۔** 2.58x سے 1.74x کا رجحان متوقع شکل ہے: جب GPU مصروف ہو تو drafting کے لیے بچا compute ختم ہو جاتا ہے۔
-   **ایک preprint۔** پیپر Zenodo پر جمع ہے، peer-review نہیں ہوا۔ اس کے ساتھ کے آرکائیو میں evidence inventory اور figure ڈیٹا ہے، جس سے دوسرے اسے جانچ سکتے ہیں۔
-   **خود رپورٹ کردہ۔** دونوں arms، BroadNet نے چلائے۔ reference implementation سے 3% کی مطابقت اس پر پیپر کی اپنی جانچ ہے۔

## اگر آپ صرف API کال کرتے ہیں تو یہ کیوں اہم ہے؟

فی GPU تھروپٹ طے کرتا ہے کہ فراہم کنندہ کتنا چارج کر سکتا ہے اور لوڈ میں کتنی تیزی سے جواب دیتا ہے۔ BroadNet کا کیٹلاگ بتاتا ہے کہ وہ کوئی drafting طریقہ چننے سے پہلے اسے اصل concurrency پر ناپتا ہے، اور اس نے EAGLE3 کو تب مسترد کیا جب اس نے 32 بیک وقت درخواستوں پر 69% تھروپٹ کھویا۔ [Gemma 4 26B پر فالو اپ اسٹڈی](https://broadrouter.com/ur/blog/uno-mixture-of-experts-gemma-4-study/) یہی طریقہ اس mixture-of-experts ماڈل پر لاگو کرتی ہے جسے BroadNet [Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) کے نام سے بیچتا ہے۔ یہ BroadNet کے وسیع تر سرونگ فیصلوں میں کیسے فٹ ہوتا ہے، اس کے لیے [BroadNet کا GPU ہارڈویئر اور سرونگ کا طریقہ](https://broadrouter.com/ur/blog/broadnet-gpu-fleet-and-serving/) دیکھیں۔

اگر آپ اپنے vLLM سرورز چلاتے ہیں تو عملی سبق یہ ہے: کسی بھی drafting طریقے کو اس concurrency پر بینچ مارک کریں جس پر آپ واقعی چلاتے ہیں، ایک stream پر نہیں۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[vLLM](https://broadrouter.com/ur/glossary/vllm/)

vLLM، LLM inference اور سرونگ کے لیے ایک اوپن سورس لائبریری ہے، جو پہلے UC Berkeley کی Sky Computing Lab میں بنائی گئی۔ یہ PagedAttention سے KV cache میموری سنبھالتی ہے، آنے والی درخواستوں کو مسلسل بیچ کرتی ہے، کئی quantization فارمیٹس سپورٹ کرتی ہے اور OpenAI-compatible HTTP سرور دیتی ہے۔

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[کنکرنسی (concurrency)](https://broadrouter.com/ur/glossary/concurrency/)

کنکرنسی، کسی کلائنٹ کی بیک وقت چل رہی (in-flight) درخواستوں کی تعداد ہے۔ LLM APIs اکثر اس کی حد ہر کلید یا پلان پر، فی منٹ درخواستوں سے الگ رکھتے ہیں، کیونکہ ہر کھلی درخواست جواب مکمل ہونے تک GPU کی گنجائش گھیرے رکھتی ہے۔

[تھروپٹ (throughput)](https://broadrouter.com/ur/glossary/throughput/)

LLM سرونگ میں تھروپٹ وہ کل کام ہے جو کوئی سسٹم تمام بیک وقت درخواستوں میں فی اکائی وقت مکمل کرتا ہے، عموماً آؤٹ پٹ ٹوکن فی سیکنڈ یا درخواستیں فی سیکنڈ میں ناپا جاتا ہے۔ یہ فی اسٹریم رفتار سے مختلف ہے، جو بتاتی ہے کہ ایک درخواست کو اس کے ٹوکن کتنی تیزی سے ملتے ہیں۔

[اسپیکیولیٹو ڈیکوڈنگ (speculative decoding)](https://broadrouter.com/ur/glossary/speculative-decoding/)

اسپیکیولیٹو ڈیکوڈنگ ایک انفرنس تکنیک ہے جس میں چھوٹا، تیز ڈرافٹ ماڈل اگلے کئی ٹوکنز تجویز کرتا ہے اور بڑا ٹارگٹ ماڈل انہیں ایک ہی forward pass میں جانچ کر قبول شدہ ٹوکنز رکھتا ہے۔ یہ آؤٹ پٹ کی ڈسٹری بیوشن بدلے بغیر جنریشن تیز کرتی ہے۔

[لیٹنسی (latency)](https://broadrouter.com/ur/glossary/latency/)

لینگویج ماڈل API کے لیے لیٹنسی وہ وقت ہے جو کسی درخواست کے بھیجے جانے سے آخری آؤٹ پٹ ٹوکن موصول ہونے تک لگتا ہے۔ یہ پہلے ٹوکن تک کے وقت اور جنریشن ٹائم کا مجموعہ ہے، اور عموماً اوسط کے بجائے p50 اور p95 جیسے پرسنٹائلز میں بتائی جاتی ہے۔

[پہلے ٹوکن تک کا وقت (TTFT، time to first token)](https://broadrouter.com/ur/glossary/time-to-first-token/)

Time to first token (TTFT) وہ وقت ہے جو لینگویج ماڈل کو درخواست بھیجنے سے پہلا آؤٹ پٹ ٹوکن آنے تک لگتا ہے۔ اس میں نیٹ ورک کا وقت، سرور پر قطار اور prefill شامل ہیں، یعنی وہ مرحلہ جس میں ماڈل پورا پرامپٹ پڑھتا ہے، اس لیے یہ پرامپٹ کی لمبائی اور لوڈ کے ساتھ بڑھتا ہے۔

## عام سوالات

### Uno کیا ہے؟

Uno، IFM اور ساتھیوں کا تیار کردہ speculative-decoding طریقہ ہے۔ ایک چھوٹا ٹرین شدہ adapter ماڈل کو ایک ساتھ کئی ٹوکن تجویز کرنے دیتا ہے، اور پھر ماڈل کے اپنے weights انہیں verify کرتے ہیں۔ کوئی الگ draft ماڈل نہیں ہوتا۔

### کیا رفتار کا یہ اضافہ lossless ہے؟

BroadNet اپنی ریلیز کے لیے یہی کہتا ہے: جب بھی سادہ vLLM اپنا آؤٹ پٹ دہراتا ہے، Uno اس کے greedy ٹوکنز سے میل کھاتا ہے، اور اس کے sampled-distribution ٹیسٹ پاس ہوتے ہیں۔ speculative decoding ہر draft ٹوکن کو پورے ماڈل سے verify کرتی ہے، اس لیے آؤٹ پٹ کا معیار نہیں بدلنا چاہیے؛ اسے اپنے پرامپٹس پر جانچیں۔

### کیا زیادہ concurrency پر Uno مدد کرتا ہے؟

کم concurrency کے مقابلے میں کم۔ پیپر کے کنٹرول شدہ ٹیسٹ میں فائدہ ایک stream پر 2.58x سے گر کر 32 پر 1.74x رہ گیا۔ BroadNet کا کیٹلاگ یہ بھی بتاتا ہے کہ ایک اور طریقے، EAGLE3، نے 32 بیک وقت درخواستوں پر 69% تھروپٹ کھویا، اس لیے drafting طریقوں کو اپنے اصل لوڈ پر ٹیسٹ کرنا ضروری ہے۔

### کیا میں اسے خود چلا سکتا ہوں؟

جی ہاں۔ BroadNet اس کا implementation اپنی vllm-uno ریپوزیٹری میں شائع کرتا ہے، ہر ریلیز کے لیے کنٹینر امیج، pinned ورژنز اور validation ریکارڈ کے ساتھ، اور اس نے اسے pull request 55947 کے طور پر vLLM کو تجویز کیا ہے۔

### کیا BroadNet Inference اپنے API ماڈلز کے لیے Uno استعمال کرتا ہے؟

BroadNet ایسا نہیں کہتا۔ اس کا کیٹلاگ Gemma 4 26B کے لیے پروڈکشن میں multi-token-prediction drafters (k=2) دکھاتا ہے۔ Uno ایک تحقیقی نتیجہ ہے جسے BroadNet شائع کرتا ہے؛ اگر آپ کو یہ پرائیویٹ اینڈپوائنٹ پر چاہیے تو BroadNet سے پوچھیں۔

## مزید پڑھیں

-   [Gemma 4 26B پر Uno: BroadNet کی mixture-of-experts اسٹڈی](https://broadrouter.com/ur/blog/uno-mixture-of-experts-gemma-4-study/)
-   [BroadNet کا GPU ہارڈویئر اور سروِنگ کا طریقہ، BroadNet کی زبانی](https://broadrouter.com/ur/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM لیٹنسی: TTFT، فی سیکنڈ ٹوکن اور مکمل جواب کا وقت](https://broadrouter.com/ur/blog/llm-latency-ttft-throughput/)
-   [BroadNet نے کون سے ماڈلز پرکھ کر مسترد کیے، اور کیوں](https://broadrouter.com/ur/blog/models-broadnet-ruled-out/)
-   [LLM API جوابات کیش کر کے لاگت کم کریں: Python میں ایگزیکٹ میچ کیش](https://broadrouter.com/ur/blog/cache-llm-responses-cut-cost/)
-   [دستاویزی AI ورک فلو میں انسانی جائزے کو شامل کریں](https://broadrouter.com/ur/blog/document-review-queues/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**ذرائع**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo preprint v1.0, 2026-09-08 (ریکارڈ حاصل کیا گیا 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: شائع شدہ پیپرز اور اہم نتائج (حاصل کیا گیا 2026-11-15) (انگریزی میں)](https://www.broadnet.ai/research)
-   [BroadNet بلاگ، Bringing Uno to vLLM (8 ستمبر 2026؛ حاصل کیا گیا 2026-11-15) (انگریزی میں)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno ریپوزیٹری، BroadNet (حاصل کیا گیا 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM، Uno پروجیکٹ ریپوزیٹری (حاصل کیا گیا 2026-11-15)](https://github.com/ifm-ai/uno)
