vLLM में Uno, BroadNet की रिसर्च शाखा का एक preprint है, जो 8 सितंबर 2026 को Zenodo पर DOI 10.5281/zenodo.22652610 के तहत प्रकाशित हुआ। यह Uno का native vLLM implementation बताता है, जो IFM की बनाई speculative-decoding विधि है, और मापता है कि यह सादे vLLM से कितना तेज़ सर्व करता है। इसके Zenodo रिकॉर्ड में लेखक Mohammad Al Zubaidi हैं।
यह पेज बताता है कि पेपर क्या कहता है, उसने यह कैसे मापा, और यह आपको क्या बताता है और क्या नहीं। संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।
Uno किस समस्या को हल करता है?
भाषा मॉडल आम तौर पर हर forward pass में एक टोकन बनाता है। speculative decoding आगे के कई टोकन का अनुमान लगाकर और उन्हें पूरे मॉडल के एक pass में जाँचकर इसे तेज़ करती है। ज़्यादातर विधियाँ एक अलग, छोटा draft मॉडल इस्तेमाल करती हैं। Uno इसके बजाय मॉडल पर ही एक ट्रेन किया हुआ adapter जोड़ता है, ताकि मॉडल अपने टोकन ख़ुद draft करे और फिर उन्हें अपने मूल weights से verify करे। सामान्य विचार के लिए speculative decoding देखें।
पेपर का सवाल व्यावहारिक है: क्या यह स्पीड-अप एक प्रोडक्शन सर्विंग engine के भीतर, batching, caching और एक साथ कई अनुरोधों के बीच, टिका रहता है?
BroadNet ने क्या बनाया?
BroadNet की ब्लॉग पोस्ट श्रेय को लेकर साफ़ है: विधि “Uno, developed by IFM and collaborators” (अनुवाद: IFM और सहयोगियों द्वारा विकसित Uno) है, और BroadNet का योगदान “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (अनुवाद: native vLLM इंटीग्रेशन, वह इंजीनियरिंग जो इसके execution paths को साथ काम करने लायक बनाती है, और सर्विंग मूल्यांकन) है। abstract execution के हिस्से गिनाता है: conditional adapter routing, पूरा draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation और seed-row reuse।
कोड BroadNet की vllm-uno रिपॉज़िटरी में सार्वजनिक है, और BroadNet ने इसे pull request 55947 के रूप में upstream vLLM को प्रस्तावित किया है।
इसे कैसे मापा गया?
मुख्य टेस्ट नियंत्रित है:
- हार्डवेयर और मॉडल: एक NVIDIA H100, bfloat16 में Qwen3-8B, प्रकाशित Qwen3-8B Uno adapter के साथ।
- वर्कलोड: आठ गणित प्रॉम्प्ट, बड़े batch भरने के लिए दोहराए गए, हर एक 512 टोकन तक बनाता है, prefix caching बंद।
- Baseline: उसी सेटअप पर सामान्य autoregressive vLLM (“सादा vLLM”)।
- Concurrency: 1, 8 और 32 एक साथ streams।
एक दूसरी, अलग तुलना prefix caching चालू करती है और BroadNet की चुनी सर्विंग सेटिंग इस्तेमाल करती है, ताकि SGLang reference implementation से तुलना हो सके।
स्टडी में क्या मिला?
| माप | BroadNet का बताया नतीजा |
|---|---|
| सादे vLLM के मुक़ाबले थ्रूपुट, 1 stream | 2.58x |
| सादे vLLM के मुक़ाबले थ्रूपुट, 8 streams | 2.20x |
| सादे vLLM के मुक़ाबले थ्रूपुट, 32 streams | 1.74x |
| SGLang reference implementation से अंतर | 1, 8 और 32 streams पर 3% के भीतर |
| प्रोडक्शन सेटिंग, 32 streams | 7,657 टोकन/s, SGLang के 7,505 के मुक़ाबले (2.0% आगे) |
| warm first-token latency, vLLM के भीतर ablation | एक के बजाय दो API प्रोसेस के साथ 25% कम |
क्षमता योजना के लिए मुख्य बात पहले ब्लॉक की आख़िरी पंक्ति है: उसी GPU से 32 एक साथ streams पर प्रति सेकंड 74% ज़्यादा आउटपुट। BroadNet का ब्लॉग इसे “the central payoff” (अनुवाद: मुख्य फ़ायदा) कहता है, क्योंकि जो स्पीड-अप लोड में ग़ायब हो जाए, वह साझा API के लिए ज़्यादा काम का नहीं।
बाद की एक रिलीज़ (v0.2.0, vLLM के Model Runner V2 पर) BroadNet के ब्लॉग पर Blackwell पर 2.1 से 2.4 गुना, Ampere पर 1.7 से 1.9 गुना और Hopper पर 2.6 गुना single-stream आउटपुट के साथ बताई गई है। ये पेपर की मुख्य टेबल से अलग हार्डवेयर और वर्शन हैं, इसीलिए आँकड़े अलग हैं।
सीमाएँ क्या हैं?
- एक मॉडल, एक वर्कलोड। नियंत्रित नतीजा गणित प्रॉम्प्ट पर Qwen3-8B का है। कोड, चैट या लंबे दस्तावेज़ कम draft टोकन स्वीकार कर सकते हैं।
- लोड के साथ फ़ायदा घटता है। 2.58x से 1.74x का रुझान अपेक्षित आकार है: जब GPU व्यस्त होता है, तो drafting के लिए बचा compute ख़त्म हो जाता है।
- एक preprint। पेपर Zenodo पर जमा है, peer-review नहीं हुआ। उसके साथ के आर्काइव में evidence inventory और figure डेटा है, जिससे दूसरे इसे जाँच सकते हैं।
- स्व-रिपोर्टेड। दोनों arm BroadNet ने चलाए। reference implementation से 3% का मेल इस पर पेपर की अपनी जाँच है।
अगर आप सिर्फ़ API कॉल करते हैं, तो यह क्यों मायने रखता है?
प्रति GPU थ्रूपुट तय करता है कि प्रोवाइडर कितना चार्ज कर सकता है और लोड में कितनी तेज़ी से जवाब देता है। BroadNet का कैटलॉग बताता है कि वह कोई drafting विधि चुनने से पहले उसे असली concurrency पर मापता है, और उसने EAGLE3 को तब ख़ारिज किया जब उसने 32 एक साथ अनुरोधों पर 69% थ्रूपुट गँवाया। Gemma 4 26B पर फ़ॉलो-अप स्टडी यही विधि उस mixture-of-experts मॉडल पर लागू करती है जिसे BroadNet Gemma 4 VL 26B के नाम से बेचता है। यह BroadNet के बड़े सर्विंग फ़ैसलों में कैसे फ़िट होता है, इसके लिए BroadNet का GPU हार्डवेयर और सर्विंग तरीक़ा देखें।
अगर आप अपने vLLM सर्वर चलाते हैं, तो व्यावहारिक सबक़ यह है: किसी भी drafting विधि को उस concurrency पर बेंचमार्क करें जिस पर आप असल में चलाते हैं, एक stream पर नहीं।
