BroadRouter

Gemma 4 26B पर Uno: BroadNet की mixture-of-experts स्टडी

BroadNet Inference टीम · 3 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

BroadNet का सितंबर 2026 का preprint (DOI 10.5281/zenodo.22820511) mixture-of-experts मॉडल Gemma 4 26B A4B के लिए पहला Uno adapter ट्रेन करता है, जिसे 4-bit पर सर्व किया गया। 72 प्रॉम्प्ट वाले प्रोडक्शन वर्कलोड पर adapter सादी डिकोडिंग से 1.166 गुना तेज़ है, दो अलग drafter (1.474 और 1.553) से पीछे, लेकिन लगभग 10,500 टोकन कॉन्टेक्स्ट पर प्रोडक्शन drafter से आगे।

BroadNet का दूसरा Uno preprint पहली बार self-drafting को एक mixture-of-experts मॉडल पर लागू करता है। 18 सितंबर 2026 को Zenodo पर DOI 10.5281/zenodo.22820511 के तहत प्रकाशित यह पेपर Gemma 4 26B A4B को 4-bit पर सर्व करता है और उसके लिए एक Uno adapter ट्रेन करता है। लक्ष्य वही बेस मॉडल है जो BroadNet Inference पर BroadNet Gemma 4 VL 26B का है।

यह vLLM में Uno की सर्विंग स्टडी के बाद आया है, जिसमें एक dense 8B मॉडल टेस्ट किया गया था। नीचे की संख्याएँ BroadNet की हैं; हमने उन्हें दोहराकर नहीं जाँचा है।

सवाल क्या था?

speculative decoding कई टोकन का draft बनाती है और उन्हें एक pass में verify करती है। mixture-of-experts मॉडल पर एक अतिरिक्त चिंता है: draft की पंक्तियाँ अलग-अलग experts तक route हो सकती हैं, इसलिए चार टोकन का draft बनाने में एक टोकन बनाने से कहीं ज़्यादा expert weights पढ़ने पड़ सकते हैं। पेपर पूछता है कि क्या यह “expert fan-out” self-drafting को बहुत महँगा बना देता है, और self-drafting कब अलग drafter से बेहतर होता है।

BroadNet ने इसे कैसे टेस्ट किया?

पेपर के abstract और BroadNet की methods पंक्ति के अनुसार:

  • मॉडल: Gemma 4 26B A4B, हर टोकन पर लगभग 4B पैरामीटर सक्रिय, 4-bit weights के साथ।
  • हार्डवेयर: 24 GB-क्लास GPU, एक समय में एक sequence।
  • वर्कलोड: BroadNet के प्रोडक्शन ट्रैफ़िक से 72 प्रॉम्प्ट; हर स्पीड-अप को उसी सेशन में सादी डिकोडिंग वाले रन से भाग दिया गया।
  • लंबा कॉन्टेक्स्ट: लगभग 10,500 टोकन वाले पाँच प्रॉम्प्ट का अलग सेट।
  • Adapter: rank 16, 965 पंक्तियों पर उसी 4-bit checkpoint के ज़रिए ट्रेन किया गया जिस पर वह सर्व होता है, एक 24 GB GPU पर, बिना किसी full-precision weights के।

क्या नतीजे निकले?

Gemma 4 26B A4B को कैसे डिकोड किया गया सादी डिकोडिंग के मुक़ाबले स्पीड-अप
सादी डिकोडिंग 1.000
Uno pilot adapter, width 4 1.166
Multi-token-prediction drafter, width 2 1.474
Block drafter, width 8 1.553
लगभग 10,500 टोकन कॉन्टेक्स्ट पर Uno 1.089 (MTP drafter: 1.011)

BroadNet के बताए अन्य नतीजे:

  • ट्रेनिंग से फ़ायदा हुआ। 1,500 updates में स्वीकार हिस्सा 42.4% से 48.9% हुआ, और उसी recipe पर ट्रेन किए गए 2,000 पंक्तियों वाले बड़े corpus ने मिलान वाले anchor रन की तुलना में हर verify step में 0.49 ज़्यादा draft टोकन स्वीकार करवाए।
  • Expert fan-out असली है, पर सस्ता है। चार draft पंक्तियों ने 22 अलग experts छुए, जबकि एक पंक्ति ने 8, फिर भी पंक्तियों से जुड़ी पूरी लागत लगभग 2.4 steps की साइकिल में 0.53 steps तक सीमित रही। BroadNet का निष्कर्ष है कि इस क्लास के हार्डवेयर पर routing की लागत “worth under a fifth of a cycle” (अनुवाद: एक साइकिल के पाँचवें हिस्से से कम) है।
  • Lossless। BroadNet ने एक ऐसी प्रोफ़ाइल के लिए जाँच बनाई जिसका सादा आउटपुट अलग-अलग सेशन में ख़ुद को दोहराता नहीं, और Uno को “as close to plain as plain is to itself” (अनुवाद: सादी डिकोडिंग के उतना ही क़रीब, जितनी सादी डिकोडिंग ख़ुद से है) बताता है।
  • पाँच भाषाएँ। पेपर पाँच भाषाओं में इस adapter की स्वीकार दर का वह माप देता है जिसे वह पहला माप कहता है।

व्यवहार में इसका क्या मतलब है?

पेपर का अपना नियम सीधा है: अगर आपके मॉडल के लिए अच्छा छोटा drafter मौजूद है, तो उसे इस्तेमाल करें; self-drafting लंबे कॉन्टेक्स्ट पर और उन मॉडलों पर अपनी जगह बनाता है जिनका कोई drafter नहीं। यह BroadNet के बताए अपने सेटअप से मेल खाता है: उसका कैटलॉग Gemma 4 26B को प्रोडक्शन में multi-token-prediction drafter (k=2) के साथ दिखाता है, “90%+ acceptance on structured prompts” (अनुवाद: structured प्रॉम्प्ट पर 90%+ स्वीकार दर) के साथ।

प्रोडक्शन में drafter कितना जोड़ता है? BroadNet के कैटलॉग के अनुसार RTX 3090 पर multi-token prediction ने 48.8% जोड़ा, और उसका Gemma 4 VL 26B पेज speculative decoding चालू होने पर एक stream पर लगभग 136 टोकन प्रति सेकंड बताता है। दोनों BroadNet के अपने माप हैं, उस सर्विंग कॉन्फ़िगरेशन पर जो उसका मॉडल पेज बताता है, इसलिए API से आपकी स्पीड लोड पर और आपके प्रॉम्प्ट व जवाब की लंबाई पर भी निर्भर करती है।

API ख़रीदने वालों के लिए काम का हिस्सा adapter नहीं, विधि है। BroadNet कहता है कि वह जो भी मॉडल सर्व करता है, वह ग्राहक तक पहुँचने से पहले इसी हिसाब से गुज़रता है: एक draft साइकिल की लागत मापो, फिर वह drafter चुनो जो असली वर्कलोड पर जीतता है। इसी अनुशासन के चलते उसने saturated सर्विंग के लिए EAGLE3 को ख़ारिज किया।

सीमाएँ क्या हैं?

  • सिर्फ़ single-stream। एक समय में एक sequence, हर arm का एक रन। batch सर्विंग अलग व्यवहार करती है, जैसा dense स्टडी ने दिखाया।
  • एक मॉडल। नतीजे 24 GB-क्लास कार्ड पर 4-bit वाले Gemma 4 26B A4B के हैं।
  • एक preprint। Zenodo पर वर्शन 2.3, peer-review नहीं हुआ, साथ में एक evidence आर्काइव जुड़ा है।

vllm-uno की रिलीज़ v0.3.0 में सर्विंग प्रोफ़ाइल, कंटेनर इमेज और validation रिकॉर्ड हैं, ताकि संख्याएँ जाँची जा सकें। सर्व किए गए मॉडल को ख़ुद आज़माने के लिए BroadNet का ब्राउज़र playground बिना अकाउंट के Gemma 4 चलाता है।

अक्सर पूछे जाने वाले सवाल

mixture-of-experts मॉडल क्या होता है?

ऐसा मॉडल जिसकी लेयर में कई expert sub-network होते हैं, जिनमें से हर टोकन के लिए सिर्फ़ कुछ ही चलते हैं। Gemma 4 26B A4B में कुल 26B पैरामीटर हैं और हर टोकन पर लगभग 4B सक्रिय होते हैं, इसीलिए अपने आकार के हिसाब से इसे सर्व करना सस्ता है।

यहाँ Uno adapter बाक़ी drafter से धीमा क्यों है?

पेपर इसे संरचनात्मक कारण बताता है: एक self-drafting साइकिल में पूरे मॉडल के दो forward pass लगते हैं, जबकि अलग drafter उनमें से एक को छोटे नेटवर्क से बदल देता है। इसलिए जब कोई समर्पित छोटा drafter मौजूद हो, तो आम तौर पर वही जीतता है।

self-drafting कब फ़ायदेमंद होता है?

पेपर के अनुसार, लंबे कॉन्टेक्स्ट पर, जहाँ चौड़ा draft हर साइकिल में ज़्यादा टोकन पक्के करता है (लगभग 10,500 टोकन पर 1.089x बनाम 1.011x), और उन मॉडलों के लिए जिनका कोई छोटा drafter है ही नहीं।

क्या BroadNet अपने Gemma 4 API के लिए यह adapter इस्तेमाल करता है?

BroadNet का मॉडल पेज कहता है कि उसका Gemma 4 26B build multi-token-prediction speculative decoding (k=2) के साथ सर्व होता है। Uno adapter एक रिसर्च artifact के रूप में प्रकाशित है; BroadNet यह नहीं कहता कि वह API ट्रैफ़िक इससे सर्व करता है।

क्या मैं adapter डाउनलोड कर सकता हूँ?

हाँ। BroadNet इसे Hugging Face पर Broadnet/gemma-4-26B-A4B-uno-pilot-adapter के नाम से प्रकाशित करता है, और सर्विंग प्रोफ़ाइल व कंटेनर इमेज vllm-uno रिलीज़ v0.3.0 में हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें