---
title: "vLLM में Uno: BroadNet की सर्विंग स्टडी, DOI और नतीजे"
description: "BroadNet ने Uno self-drafting adapter को vLLM में जोड़ा और H100 पर मापा: एक stream पर सादे vLLM से 2.58x थ्रूपुट, 32 पर 1.74x। विधि, DOI और सीमाएँ।"
url: https://broadrouter.com/hi/blog/uno-in-vllm-serving-study/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (2026-11-15 को अपडेट किया गया).

# vLLM में Uno: BroadNet की सर्विंग स्टडी ने क्या मापा

BroadNet Inference टीम · 4 मिनट में पढ़ें · प्रकाशित 2026-11-15

vLLM में Uno, BroadNet का सितंबर 2026 का preprint है (DOI 10.5281/zenodo.22652610)। यह vLLM में Uno जोड़ता है, एक adapter जो मॉडल को अपने टोकन ख़ुद draft करने देता है। H100 पर Qwen3-8B के साथ BroadNet ने सादे vLLM के मुक़ाबले एक stream पर 2.58 गुना, आठ पर 2.20 गुना और 32 पर 1.74 गुना थ्रूपुट मापा, reference implementation से 3% के भीतर।

## मुख्य बातें

-   पेपर Zenodo पर एक preprint है, DOI 10.5281/zenodo.22652610, 8 सितंबर 2026 को CC BY 4.0 के तहत प्रकाशित। इसका peer-review नहीं हुआ।
-   Uno, IFM की विधि है; BroadNet का योगदान native vLLM इंटीग्रेशन और सर्विंग माप हैं।
-   नियंत्रित H100 और Qwen3-8B गणित वर्कलोड पर: सादे vLLM से 1 stream पर 2.58x, 8 पर 2.20x, 32 पर 1.74x।
-   प्रोडक्शन सेटिंग के साथ 32 streams पर 7,657 टोकन प्रति सेकंड, SGLang reference के 7,505 के मुक़ाबले।
-   ये फ़ायदे एक मॉडल, एक वर्कलोड और ख़ास सेटिंग के हैं। इन पर भरोसा करने से पहले अपने ट्रैफ़िक पर मापें।

**इस पेज पर**

1.  Uno किस समस्या को हल करता है?
2.  BroadNet ने क्या बनाया?
3.  इसे कैसे मापा गया?
4.  स्टडी में क्या मिला?
5.  सीमाएँ क्या हैं?
6.  अगर आप सिर्फ़ API कॉल करते हैं, तो यह क्यों मायने रखता है?

vLLM में Uno, BroadNet की रिसर्च शाखा का एक preprint है, जो 8 सितंबर 2026 को Zenodo पर DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610) के तहत प्रकाशित हुआ। यह Uno का native vLLM implementation बताता है, जो IFM की बनाई speculative-decoding विधि है, और मापता है कि यह सादे vLLM से कितना तेज़ सर्व करता है। इसके Zenodo रिकॉर्ड में लेखक Mohammad Al Zubaidi हैं।

यह पेज बताता है कि पेपर क्या कहता है, उसने यह कैसे मापा, और यह आपको क्या बताता है और क्या नहीं। संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।

## Uno किस समस्या को हल करता है?

भाषा मॉडल आम तौर पर हर forward pass में एक टोकन बनाता है। speculative decoding आगे के कई टोकन का अनुमान लगाकर और उन्हें पूरे मॉडल के एक pass में जाँचकर इसे तेज़ करती है। ज़्यादातर विधियाँ एक अलग, छोटा draft मॉडल इस्तेमाल करती हैं। Uno इसके बजाय मॉडल पर ही एक ट्रेन किया हुआ adapter जोड़ता है, ताकि मॉडल अपने टोकन ख़ुद draft करे और फिर उन्हें अपने मूल weights से verify करे। सामान्य विचार के लिए [speculative decoding](https://broadrouter.com/hi/glossary/speculative-decoding/) देखें।

पेपर का सवाल व्यावहारिक है: क्या यह स्पीड-अप एक प्रोडक्शन सर्विंग engine के भीतर, batching, caching और एक साथ कई अनुरोधों के बीच, टिका रहता है?

## BroadNet ने क्या बनाया?

BroadNet की ब्लॉग पोस्ट श्रेय को लेकर साफ़ है: विधि “Uno, developed by IFM and collaborators” (अनुवाद: IFM और सहयोगियों द्वारा विकसित Uno) है, और BroadNet का योगदान “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (अनुवाद: native vLLM इंटीग्रेशन, वह इंजीनियरिंग जो इसके execution paths को साथ काम करने लायक बनाती है, और सर्विंग मूल्यांकन) है। abstract execution के हिस्से गिनाता है: conditional adapter routing, पूरा draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation और seed-row reuse।

कोड BroadNet की [vllm-uno रिपॉज़िटरी](https://github.com/brntech/vllm-uno) में सार्वजनिक है, और BroadNet ने इसे pull request 55947 के रूप में upstream vLLM को प्रस्तावित किया है।

## इसे कैसे मापा गया?

मुख्य टेस्ट नियंत्रित है:

-   **हार्डवेयर और मॉडल:** एक NVIDIA H100, bfloat16 में Qwen3-8B, प्रकाशित Qwen3-8B Uno adapter के साथ।
-   **वर्कलोड:** आठ गणित प्रॉम्प्ट, बड़े batch भरने के लिए दोहराए गए, हर एक 512 टोकन तक बनाता है, prefix caching बंद।
-   **Baseline:** उसी सेटअप पर सामान्य autoregressive vLLM (“सादा vLLM”)।
-   **Concurrency:** 1, 8 और 32 एक साथ streams।

एक दूसरी, अलग तुलना prefix caching चालू करती है और BroadNet की चुनी सर्विंग सेटिंग इस्तेमाल करती है, ताकि SGLang reference implementation से तुलना हो सके।

## स्टडी में क्या मिला?

| माप | BroadNet का बताया नतीजा |
| --- | --- |
| सादे vLLM के मुक़ाबले थ्रूपुट, 1 stream | 2.58x |
| सादे vLLM के मुक़ाबले थ्रूपुट, 8 streams | 2.20x |
| सादे vLLM के मुक़ाबले थ्रूपुट, 32 streams | 1.74x |
| SGLang reference implementation से अंतर | 1, 8 और 32 streams पर 3% के भीतर |
| प्रोडक्शन सेटिंग, 32 streams | 7,657 टोकन/s, SGLang के 7,505 के मुक़ाबले (2.0% आगे) |
| warm first-token latency, vLLM के भीतर ablation | एक के बजाय दो API प्रोसेस के साथ 25% कम |

क्षमता योजना के लिए मुख्य बात पहले ब्लॉक की आख़िरी पंक्ति है: उसी GPU से 32 एक साथ streams पर प्रति सेकंड 74% ज़्यादा आउटपुट। BroadNet का ब्लॉग इसे “the central payoff” (अनुवाद: मुख्य फ़ायदा) कहता है, क्योंकि जो स्पीड-अप लोड में ग़ायब हो जाए, वह साझा API के लिए ज़्यादा काम का नहीं।

बाद की एक रिलीज़ (v0.2.0, vLLM के Model Runner V2 पर) BroadNet के ब्लॉग पर Blackwell पर 2.1 से 2.4 गुना, Ampere पर 1.7 से 1.9 गुना और Hopper पर 2.6 गुना single-stream आउटपुट के साथ बताई गई है। ये पेपर की मुख्य टेबल से अलग हार्डवेयर और वर्शन हैं, इसीलिए आँकड़े अलग हैं।

## सीमाएँ क्या हैं?

-   **एक मॉडल, एक वर्कलोड।** नियंत्रित नतीजा गणित प्रॉम्प्ट पर Qwen3-8B का है। कोड, चैट या लंबे दस्तावेज़ कम draft टोकन स्वीकार कर सकते हैं।
-   **लोड के साथ फ़ायदा घटता है।** 2.58x से 1.74x का रुझान अपेक्षित आकार है: जब GPU व्यस्त होता है, तो drafting के लिए बचा compute ख़त्म हो जाता है।
-   **एक preprint।** पेपर Zenodo पर जमा है, peer-review नहीं हुआ। उसके साथ के आर्काइव में evidence inventory और figure डेटा है, जिससे दूसरे इसे जाँच सकते हैं।
-   **स्व-रिपोर्टेड।** दोनों arm BroadNet ने चलाए। reference implementation से 3% का मेल इस पर पेपर की अपनी जाँच है।

## अगर आप सिर्फ़ API कॉल करते हैं, तो यह क्यों मायने रखता है?

प्रति GPU थ्रूपुट तय करता है कि प्रोवाइडर कितना चार्ज कर सकता है और लोड में कितनी तेज़ी से जवाब देता है। BroadNet का कैटलॉग बताता है कि वह कोई drafting विधि चुनने से पहले उसे असली concurrency पर मापता है, और उसने EAGLE3 को तब ख़ारिज किया जब उसने 32 एक साथ अनुरोधों पर 69% थ्रूपुट गँवाया। [Gemma 4 26B पर फ़ॉलो-अप स्टडी](https://broadrouter.com/hi/blog/uno-mixture-of-experts-gemma-4-study/) यही विधि उस mixture-of-experts मॉडल पर लागू करती है जिसे BroadNet [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) के नाम से बेचता है। यह BroadNet के बड़े सर्विंग फ़ैसलों में कैसे फ़िट होता है, इसके लिए [BroadNet का GPU हार्डवेयर और सर्विंग तरीक़ा](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/) देखें।

अगर आप अपने vLLM सर्वर चलाते हैं, तो व्यावहारिक सबक़ यह है: किसी भी drafting विधि को उस concurrency पर बेंचमार्क करें जिस पर आप असल में चलाते हैं, एक stream पर नहीं।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[vLLM](https://broadrouter.com/hi/glossary/vllm/)

vLLM, LLM inference और सर्विंग के लिए एक ओपन-सोर्स लाइब्रेरी है, जिसे पहले UC Berkeley की Sky Computing Lab में बनाया गया। यह PagedAttention से KV cache मेमोरी सँभालती है, आने वाले अनुरोधों को लगातार बैच करती है, कई quantization फ़ॉर्मैट सपोर्ट करती है और OpenAI-compatible HTTP सर्वर देती है।

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/)

LLM सर्विंग में थ्रूपुट वह कुल काम है जो कोई सिस्टम सभी कॉन्करेंट अनुरोधों में प्रति इकाई समय पूरा करता है, आम तौर पर आउटपुट टोकन प्रति सेकंड या अनुरोध प्रति सेकंड में नापा जाता है। यह प्रति-स्ट्रीम स्पीड से अलग है, जो बताती है कि एक अनुरोध को उसके टोकन कितनी तेज़ी से मिलते हैं।

[लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/)

लैंग्वेज मॉडल API के लिए लेटेंसी वह समय है जो किसी अनुरोध के भेजे जाने से अंतिम आउटपुट टोकन मिलने तक लगता है। यह पहले टोकन तक के समय और जनरेशन टाइम का जोड़ है, और आम तौर पर औसत के बजाय p50 और p95 जैसे परसेंटाइल में बताई जाती है।

[स्पेक्युलेटिव डिकोडिंग (speculative decoding)](https://broadrouter.com/hi/glossary/speculative-decoding/)

स्पेक्युलेटिव डिकोडिंग एक इन्फ़रेंस तकनीक है जिसमें छोटा, तेज़ ड्राफ़्ट मॉडल अगले कई टोकन सुझाता है और बड़ा टारगेट मॉडल उन्हें एक ही forward pass में जाँचकर स्वीकार किए गए टोकन रखता है। यह आउटपुट के डिस्ट्रिब्यूशन को बदले बिना जनरेशन तेज़ करती है।

[पहले टोकन तक का समय (TTFT, time to first token)](https://broadrouter.com/hi/glossary/time-to-first-token/)

Time to first token (TTFT) वह समय है जो लैंग्वेज मॉडल को अनुरोध भेजने से पहला आउटपुट टोकन आने तक लगता है। इसमें नेटवर्क का समय, सर्वर पर कतार और prefill शामिल हैं, यानी वह चरण जिसमें मॉडल पूरा प्रॉम्प्ट पढ़ता है, इसलिए यह प्रॉम्प्ट की लंबाई और लोड के साथ बढ़ता है।

## अक्सर पूछे जाने वाले सवाल

### Uno क्या है?

Uno, IFM और सहयोगियों की बनाई speculative-decoding विधि है। एक छोटा ट्रेन किया हुआ adapter मॉडल को एक साथ कई टोकन प्रस्तावित करने देता है, और फिर मॉडल के अपने weights उन्हें verify करते हैं। कोई अलग draft मॉडल नहीं होता।

### क्या यह स्पीड-अप lossless है?

BroadNet अपनी रिलीज़ के लिए यही कहता है: जब भी सादा vLLM अपना आउटपुट दोहराता है, Uno उसके greedy टोकन से मेल खाता है, और उसके sampled-distribution टेस्ट पास होते हैं। speculative decoding हर draft टोकन को पूरे मॉडल से verify करती है, इसलिए आउटपुट क्वालिटी नहीं बदलनी चाहिए; इसे अपने प्रॉम्प्ट पर जाँचें।

### क्या ज़्यादा concurrency पर Uno मदद करता है?

कम concurrency के मुक़ाबले कम। पेपर के नियंत्रित टेस्ट में फ़ायदा एक stream पर 2.58x से गिरकर 32 पर 1.74x रह गया। BroadNet का कैटलॉग यह भी बताता है कि एक दूसरी विधि, EAGLE3, ने 32 एक साथ अनुरोधों पर 69% थ्रूपुट गँवाया, इसलिए drafting विधियों को अपने असली लोड पर टेस्ट करना ज़रूरी है।

### क्या मैं इसे ख़ुद चला सकता हूँ?

हाँ। BroadNet इसका implementation अपनी vllm-uno रिपॉज़िटरी में प्रकाशित करता है, हर रिलीज़ के लिए कंटेनर इमेज, pinned वर्शन और validation रिकॉर्ड के साथ, और उसने इसे pull request 55947 के रूप में vLLM को प्रस्तावित किया है।

### क्या BroadNet Inference अपने API मॉडलों के लिए Uno इस्तेमाल करता है?

BroadNet ऐसा नहीं कहता। उसका कैटलॉग Gemma 4 26B के लिए प्रोडक्शन में multi-token-prediction drafter (k=2) दिखाता है। Uno एक रिसर्च नतीजा है जिसे BroadNet प्रकाशित करता है; अगर आपको यह प्राइवेट एंडपॉइंट पर चाहिए, तो BroadNet से पूछें।

## आगे पढ़ें

-   [Gemma 4 26B पर Uno: BroadNet की mixture-of-experts स्टडी](https://broadrouter.com/hi/blog/uno-mixture-of-experts-gemma-4-study/)
-   [BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM लेटेंसी: TTFT, टोकन प्रति सेकंड और एंड-टू-एंड समय](https://broadrouter.com/hi/blog/llm-latency-ttft-throughput/)
-   [BroadNet ने किन मॉडलों को परखकर ख़ारिज किया, और क्यों](https://broadrouter.com/hi/blog/models-broadnet-ruled-out/)
-   [LLM API रिस्पॉन्स कैश करके लागत घटाएँ: Python में एक्ज़ैक्ट-मैच कैश](https://broadrouter.com/hi/blog/cache-llm-responses-cut-cost/)
-   [डॉक्यूमेंट AI वर्कफ़्लो में ह्यूमन रिव्यू को शामिल करें](https://broadrouter.com/hi/blog/document-review-queues/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**स्रोत**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo preprint v1.0, 2026-09-08 (रिकॉर्ड 2026-11-15 को लिया गया)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: प्रकाशित पेपर और मुख्य निष्कर्ष (2026-11-15 को लिया गया) (अंग्रेज़ी में)](https://www.broadnet.ai/research)
-   [BroadNet ब्लॉग, Bringing Uno to vLLM (8 सितंबर 2026; 2026-11-15 को लिया गया) (अंग्रेज़ी में)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno रिपॉज़िटरी, BroadNet (2026-11-15 को लिया गया)](https://github.com/brntech/vllm-uno)
-   [IFM, Uno प्रोजेक्ट रिपॉज़िटरी (2026-11-15 को लिया गया)](https://github.com/ifm-ai/uno)
