BroadNet का मॉडल कैटलॉग हर उस मॉडल को लिस्ट करता है जिसे उसने, उसके कहे मुताबिक़, अपने हार्डवेयर पर चलाया, बेंचमार्क किया, क्वांटाइज़ किया या फ़ाइन-ट्यून किया, और जिन्हें ख़ारिज किया उन पर कारण के साथ निशान लगाता है। लगभग 30 मॉडलों और तरीक़ों पर RULED OUT लेबल है। नीचे के आँकड़े सितंबर 2026 में BroadNet की लैब में मापे गए; ये BroadNet के नतीजे हैं, हमारे नहीं।
कैटलॉग छह लेबल इस्तेमाल करता है: PROD (लाइव ट्रैफ़िक चलाया), SERVED (कैटलॉग के शब्दों में, “ran on our fleet”, अनुवाद: हमारे फ़्लीट पर चला), BENCH (बेंचमार्क किया गया), QUANT (क्वांटाइज़ेशन BroadNet ने बनाया), FT (BroadNet ने फ़ाइन-ट्यून किया) और RULED OUT।
BroadNet ने कौन-से चैट मॉडल ख़ारिज किए?
| मॉडल | BroadNet ने क्या किया | ख़ारिज होने का कारण |
|---|---|---|
| Qwen3.5 35B A3B (AWQ 4-bit) | स्पीड टियर के रूप में सर्व किया, लगभग 164 टोकन/s | सुरक्षा भूमिकाओं के लिए BroadNet की क्रेडेंशियल-सुरक्षा टेस्ट बैटरी में फ़ेल |
| GLM 4.7 Flash (AWQ) | प्रयोग के तौर पर सर्व किया | लेबल SERVED है, RULED OUT नहीं: BroadNet कहता है कि उसकी क्रेडेंशियल-सुरक्षा टेस्ट बैटरी ने इसे सुरक्षा भूमिकाओं से बाहर किया और यह प्रोडक्शन से नीचे रखा गया |
| Nemotron 3 Nano 30B A3B (NVFP4) | कस्टम reasoning पार्सर के साथ सर्व किया | लेबल SERVED है, RULED OUT नहीं: BroadNet कहता है कि उसकी क्रेडेंशियल-सुरक्षा टेस्ट बैटरी ने इसे सुरक्षा भूमिकाओं से बाहर किया और यह प्रोडक्शन से नीचे रखा गया |
| Qwen3.6 35B A3B | RTX 5090 और GB10 पर सर्व किया | चैटबॉट स्लॉट Gemma 4 26B से हारा |
| Gemma 4 E4B (AWQ INT4) | GB10 पर सह-किरायेदार के रूप में सर्व किया, लगभग 94 टोकन/s | चैटबॉट स्लॉट Gemma 4 26B से हारा |
| Gemma 4 26B A4B NVFP4 (तीन पब्लिशर) | क्वांटाइज़ेशन का मूल्यांकन किया | sm_120 और sm_121 GPU पर आमने-सामने तुलना के बाद AWQ के पक्ष में हटाया गया |
| EAGLE3 स्पेक्युलेटिव डिकोडिंग | पूरे लोड वाली सर्विंग के लिए टेस्ट किया | 32 समानांतर अनुरोधों पर थ्रूपुट का 69% घटा; मल्टी-टोकन-प्रेडिक्शन ड्राफ़्टर रखे गए |
ओपन मॉडल चुनने वाले किसी भी व्यक्ति के लिए यह पैटर्न मायने रखता है। तीन अस्वीकृतियाँ गुणवत्ता के बारे में नहीं, सुरक्षा के बारे में हैं: ऐसे मॉडल जो काफ़ी तेज़ थे, पर क्रेडेंशियल दोहराते थे। यही वह कमज़ोरी है जो BroadNet की Safety Map स्टडी को छोटे सक्रिय हिस्से वाले mixture-of-experts मॉडलों में सबसे ज़्यादा मिली। चैटबॉट स्लॉट जीतने वाला मॉडल, Gemma 4 26B A4B, वही है जिसे BroadNet Gemma 4 VL 26B के नाम से बेचता है।
कौन-से स्पीच मॉडल ख़ारिज हुए?
| मॉडल | ख़ारिज होने का कारण |
|---|---|
| Gemma 4 E2B, Gemma 4 12B (ट्रांसक्राइबर के रूप में) | इनकी जगह E4B ऑडियो वैरिएंट रखा गया |
| Omnilingual ASR 300M, 1B, 3B और CTC वैरिएंट (Meta) | स्लॉट 7B वैरिएंट को मिला |
| Voxtral Mini 3B / 4B Realtime (Mistral) | अरबी के लिए ख़ारिज |
| ArTSTv3 (MBZUAI वंश) | अरबी स्लॉट के लिए ख़ारिज; Cohere Transcribe Arabic रखा गया |
| FireRedVAD, DeepFilterNet, BNR (फ़्रंट-एंड) | आमने-सामने तुलना के बाद Silero वॉइस एक्टिविटी डिटेक्शन अपनाया गया |
BroadNet बताता है कि उसका रखा हुआ मॉडल, Cohere Transcribe Arabic 07-2026, उसके अपने टेस्ट में MASC बोली वाली स्पीच पर 21.1 वर्ड एरर रेट देता है, जबकि ElevenLabs Scribe v2 का 22.3 और Whisper large-v3 का 31.5 है। वह इस मॉडल को BroadNet Transcribe Arabic के रूप में सर्व करता है। कैटलॉग यह भी बताता है कि Whisper large-v3 को फ़ॉलबैक के तौर पर बेंचमार्क किया गया।
कौन-से डॉक्युमेंट, एम्बेडिंग और इमेज मॉडल हारे?
OCR और डॉक्युमेंट पार्सिंग
- LlamaParse, यानी मौजूदा API, ने BroadNet के OmniDocBench सबसेट पर 16.6 स्कोर किया। BroadNet ने इसे इसलिए ख़ारिज किया क्योंकि “it loses tables, and self-hosting is 98% cheaper per 1,000 pages” (अनुवाद: यह टेबल खो देता है, और ख़ुद होस्ट करना प्रति 1,000 पेज 98% सस्ता है)।
- olmOCR-2, HunyuanOCR, GOT-OCR 2.0 और Nanonets OCR2 का मूल्यांकन हुआ और वे ख़ारिज हुए; Nanonets लाइसेंस की शर्तों पर। dots.mocr को प्रोडक्शन के लिए चुना गया, क्योंकि वह पार्स भी करता है और आकृतियों का वर्णन भी, हालाँकि PaddleOCR-VL 1.6 का स्कोर ज़्यादा था (86.81 के मुक़ाबले 94.74)।
एम्बेडिंग
- gemini-embedding-2 अरबी के लिए ख़ारिज हुआ, क्योंकि वह gemini-embedding-001 से पीछे गया (BroadNet के रिट्रीवल बेंचमार्क पर 0.824 के मुक़ाबले 0.767)।
- nomic-embed-text v1.5, जो पहले इस्तेमाल में था, ने कुल 0.468 और अरबी पर 0.130 स्कोर किया, और हटा दिया गया।
- Octen 8B, Harrier 0.6B और Nemotron Embed 1B सर्व किए गए और असली अरबी ट्रैफ़िक पर ख़ारिज हुए, “where our podium held despite their public-board wins” (अनुवाद: जहाँ उनकी पब्लिक बोर्ड वाली जीत के बावजूद हमारे टॉप मॉडल आगे रहे)।
BroadNet एक और नतीजा जोड़ता है जो मॉडल के चुनाव से भी ज़्यादा अहम निकला: वर्कलोड के हिसाब से लिखे गए क्वेरी निर्देश ने रिट्रीवल गुणवत्ता (nDCG) को 0.048 बदला, जो 4B से 8B एम्बेडिंग मॉडल पर जाने से भी ज़्यादा था।
इमेज जनरेशन और सुरक्षा
- Cosmos3 Super 64B और HunyuanImage 3.0 80B हार्डवेयर में फ़िट न होने और लाइसेंस की शर्तों पर ख़ारिज हुए।
- openai/privacy-filter 1.5B ने BroadNet के लीक कॉर्पस में 100% क्रेडेंशियल पकड़े, पर वेतन के आँकड़े 0%, इसलिए इसे फ़ायरवॉल के रूप में ख़ारिज किया गया।
इन अस्वीकृतियों से क्या सीख मिलती है?
चार सबक़ BroadNet के अपने स्टैक से आगे भी लागू होते हैं:
- लीडरबोर्ड नहीं, काम को टेस्ट करें। पब्लिक बोर्ड पर जीतने वाले कई एम्बेडिंग मॉडल असली अरबी ट्रैफ़िक पर हार गए।
- सुरक्षा एक अलग जाँच है। तेज़ और सक्षम मॉडल भी क्रेडेंशियल टेस्ट में फ़ेल हो सकता है। किसी मॉडल के सीक्रेट देखने से पहले यह टेस्ट चलाएँ; BroadNet का मूल्यांकन तरीक़ा एक शुरुआत है।
- लाइसेंस तय करते हैं कि क्या सर्व हो सकता है। Voxtral 4B TTS और Higgs Audio v3 जैसे ग़ैर-व्यावसायिक मॉडल कैटलॉग में सिर्फ़ गुणवत्ता की ऊपरी सीमा के रूप में आते हैं।
- सर्विंग के फ़ैसले भी मापे जाते हैं। क्वांटाइज़ेशन फ़ॉर्मैट और ड्राफ़्टिंग तरीक़े आमने-सामने के आँकड़ों पर ख़ारिज हुए, डिफ़ॉल्ट रूप से नहीं। देखें BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा।
यहाँ का हर आँकड़ा एक कंपनी की लैब और ट्रैफ़िक से है। इसे टेस्ट करने लायक़ चीज़ों की शॉर्टलिस्ट की तरह इस्तेमाल करें, फिर बदलने से पहले अपने डेटा पर मूल्यांकन करें। ख़ारिज या बेंचमार्क वाली पंक्ति ऐसी चीज़ भी नहीं है जिसे आप कॉल कर सकें; मॉडल कैटलॉग कैसे पढ़ें बताता है कि लाइव, अनुरोध पर मिलने वाली और रिसर्च वाली एंट्री में फ़र्क़ कैसे करें।
