BroadRouter

वर्ड एरर रेट (WER)

अपडेट किया गया

वर्ड एरर रेट (WER) स्पीच रिकग्निशन की सटीकता का मानक पैमाना है: ट्रांसक्रिप्ट को सही रेफ़रंस में बदलने के लिए ज़रूरी शब्दों के substitutions, deletions और insertions की संख्या, जिसे रेफ़रंस के कुल शब्दों से भाग दिया जाता है। जितना कम, उतना बेहतर।

अन्य नाम: वर्ड एरर रेट, ट्रांसक्रिप्शन सटीकता, wer kya hai, word error rate kya hai, WER, ASR accuracy, transcription accuracy, word accuracy

WER एक सवाल का जवाब देता है: किसी के बोले हर 100 शब्दों में से ट्रांसक्रिप्ट ने कितने ग़लत लिखे?

यह कैसे काम करता है

मॉडल के ट्रांसक्रिप्ट को इंसान के बनाए सही रेफ़रंस के साथ मिलाएँ, फिर तीन तरह की ग़लतियाँ गिनें:

  • Substitutions: सही शब्द की जगह ग़लत शब्द;
  • Deletions: बोला गया शब्द जो ग़ायब है;
  • Insertions: न बोला गया शब्द जो दिख रहा है।

WER = (S + D + I) / N, जहाँ N रेफ़रंस के शब्दों की संख्या है।

उदाहरण। रेफ़रंस है “please send the invoice to our office today” (8 शब्द)। ट्रांसक्रिप्ट में है “please send an invoice to office today now”:

ग़लती गिनती
“the” → “an” 1 substitution
“our” ग़ायब 1 deletion
“now” जुड़ा 1 insertion

WER = 3 / 8 = 0.375, यानी 37.5%। Wikipedia बताता है कि WER शब्द-स्तर की edit distance है, और क्योंकि insertions की कोई सीमा नहीं, यह “can be larger than 1.0.” (अनुवाद: 1.0 से बड़ा हो सकता है।)

jiwer Python पैकेज जैसे टूल इसे निकालते हैं। पहले दोनों टेक्स्ट को नॉर्मलाइज़ करें: केस, विराम चिह्न, अंकों या शब्दों में लिखी संख्याएँ, और अरबी के लिए diacritics और alef या yaa के रूप। सिर्फ़ नॉर्मलाइज़ेशन के फ़ैसले भी स्कोर को काफ़ी बदल सकते हैं।

यह क्यों मायने रखता है

  • मॉडलों की तुलना. लीडरबोर्ड और वेंडर के दावों में WER ही आम पैमाना है, इसलिए स्पीच-टू-टेक्स्ट API चुनते समय यह पहला फ़िल्टर है।
  • आपका ऑडियो अलग है. वही मॉडल पढ़ी गई स्पीच और बोली वाली फ़ोन कॉल पर बहुत अलग स्कोर कर सकता है। अरबी के लिए Modern Standard Arabic और बोली वाला ऑडियो अलग संख्याएँ देते हैं। अपनी जैसी रिकॉर्डिंग पर टेस्ट करें।
  • सारी ग़लतियाँ बराबर नहीं. WER हर शब्द को एक जैसा वज़न देता है। ग़लत अकाउंट नंबर भी एक ग़लती गिना जाता है, ठीक ग़ायब “the” की तरह। सिर्फ़ स्कोर नहीं, ट्रांसक्रिप्ट भी पढ़ें।

BroadNet Inference पर

BroadNet BroadNet Transcribe Arabic के लिए अपने लैब माप प्रकाशित करता है:

टेस्ट सेट यह क्या है WER (%)
FLEURS-ar साफ़ पढ़े गए वाक्य 3.8
MASC-ar असल दुनिया की मिली-जुली अरबी स्पीच 21.1
BroadNet बोली सेट बोली वाली स्पीच 23.4

3.8 और 23.4 का अंतर दिखाता है कि आपका अपना टेस्ट क्यों ज़रूरी है। BroadNet यह भी बताता है कि Open Universal Arabic ASR Leaderboard पर यह मॉडल 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) पर है। $5 का शुरुआती क्रेडिट लगभग 1,190 मिनट अरबी ऑडियो कवर करता है, जो एक टेस्ट सेट के लिए काफ़ी है। ख़रीदार गाइड में एक घंटे का टेस्ट प्लान है, और अरबी गाइड में कोड।

अक्सर पूछे जाने वाले सवाल

अच्छा वर्ड एरर रेट कितना होता है?

यह ऑडियो पर निर्भर है। साफ़ पढ़ी गई स्पीच इकाई अंकों में स्कोर कर सकती है, जबकि शोर वाली बातचीत या बोली वाला ऑडियो उसी मॉडल पर अक्सर कहीं ज़्यादा स्कोर करता है। मॉडलों की तुलना एक ही टेस्ट सेट पर करें, बेहतर हो तो अपनी रिकॉर्डिंग पर।

क्या WER 100% से ज़्यादा हो सकता है?

हाँ। insertions गिने जाते हैं पर हर (denominator) सिर्फ़ रेफ़रंस के शब्द हैं, इसलिए बहुत सारे अतिरिक्त शब्दों वाला ट्रांसक्रिप्ट 1.0 से ऊपर स्कोर कर सकता है।

WER प्रतिशत में लिखा जाता है या दशमलव में?

दोनों आम हैं। 0.211 और 21.1 का मतलब आम तौर पर एक ही है, प्रति 100 रेफ़रंस शब्द लगभग 21 ग़लतियाँ। देखें कि सोर्स कौन-सा तरीक़ा इस्तेमाल करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें