मॉडल लॉन्च के साथ बेंचमार्क स्कोर की तालिकाएँ आती हैं। बेंचमार्क क्या मापता है, और क्या नहीं माप सकता, यह जानने से आप ग़लत संख्या देखकर मॉडल चुनने से बचते हैं।
यह कैसे काम करता है
बेंचमार्क तीन चीज़ें तय करता है: टास्क, मॉडल को प्रॉम्प्ट करने का तरीक़ा, और स्कोर का नियम। दो जाने-माने उदाहरण:
| बेंचमार्क | क्या परखता है | साइज़ | स्कोरिंग |
|---|---|---|---|
| MMLU (2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more” (अनुवाद: प्रारंभिक गणित, अमेरिकी इतिहास, कंप्यूटर साइंस, क़ानून और अन्य समेत 57 टास्क) में ज्ञान | 57 विषय | सटीकता |
| SWE-bench (2023) | “editing the codebase to address the issue” (अनुवाद: issue सुलझाने के लिए कोडबेस बदलकर) असली GitHub issues ठीक करना | 12 Python रिपॉज़िटरी से 2,294 समस्याएँ | हल हुए issues का हिस्सा |
स्पीच के अपने बेंचमार्क हैं: लीडरबोर्ड ट्रांसक्रिप्शन मॉडल को word error rate से रैंक करते हैं, जहाँ कम बेहतर है।
बेंचमार्क पुराने पड़ते हैं। जब MMLU प्रकाशित हुआ, तब सबसे बड़ा GPT-3 मॉडल “over random chance by almost 20 percentage points on average” (अनुवाद: औसतन रैंडम अनुमान से लगभग 20 प्रतिशत अंक ऊपर) था। जब SWE-bench प्रकाशित हुआ, तब सबसे अच्छे मॉडल, Claude 2, ने 1.96% issues हल किए। जो बेंचमार्क कभी मॉडल को अच्छी तरह अलग करता था, वह मॉडल बेहतर होने पर ऐसा करना बंद कर सकता है, इसलिए जाँचें कि बेंचमार्क कब बना और आज आम स्कोर कितने हैं।
यह क्यों मायने रखता है
- Contamination. Xu और साथियों का सर्वे बेंचमार्क डेटा contamination को ऐसे मॉडल बताता है जो “inadvertently incorporate evaluation benchmark information from their training data” (अनुवाद: अनजाने में अपने ट्रेनिंग डेटा से मूल्यांकन बेंचमार्क की जानकारी शामिल कर लेते हैं), जिससे “inaccurate or unreliable performance during the evaluation phase” (अनुवाद: मूल्यांकन चरण में ग़लत या अविश्वसनीय प्रदर्शन) होता है।
- सीमित दायरा. Python का कोडिंग बेंचमार्क अरबी कस्टमर सपोर्ट के बारे में कम बताता है। अपने टास्क से मेल खाते बेंचमार्क चुनें (कौन-सा लीडरबोर्ड क्या मापता है), फिर अपने डेटा पर eval से पुष्टि करें।
- सेटिंग से स्कोर बदलते हैं. प्रॉम्प्ट फ़ॉर्मैट, few-shot उदाहरण, reasoning बजट और सर्विंग सेटअप, सब नतीजे हिलाते हैं। स्कोर की तुलना तभी करें जब वे एक ही तरह से चलाए गए हों।
- जज अपना bias जोड़ते हैं. खुले जवाब वाले बेंचमार्क अक्सर LLM-as-judge इस्तेमाल करते हैं; जाँचें कि कौन-सा जज और rubric इस्तेमाल हुआ।
मॉडल बदलने से पहले LLM का मूल्यांकन पोस्ट दिखाती है कि अपने ट्रैफ़िक से छोटा टेस्ट सेट कैसे बनाएँ।
BroadNet Inference पर
BroadNet अपने कुछ बेंचमार्क आँकड़े प्रकाशित करता है; उन्हें BroadNet के बताए आँकड़े मानें। BroadNet Transcribe Arabic (Cohere Transcribe पर आधारित) के लिए BroadNet MASC बोली वाली स्पीच पर 21.1 और FLEURS Arabic पर 3.8 word error rate बताता है, और Open Universal Arabic ASR Leaderboard पर 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) रैंक बताता है। Gemma 4 VL 26B के लिए BroadNet 240 प्रोडक्शन बातचीत पर तीन जजों वाला blind मूल्यांकन बताता है, जिसमें यह BroadNet की अपनी चैटबॉट पाइपलाइन के 6 में से 5 चरणों पर Claude Sonnet के बराबर रहा। यह एक कंपनी की पाइपलाइन है, कोई आम बेंचमार्क नहीं। फ़ैसला करने से पहले अपना eval चलाएँ; $5 का शुरुआती क्रेडिट Gemma 4 VL 26B और दोनों ट्रांसक्रिप्शन मॉडल कवर करता है।