speech-to-text अरबी बोलियों पर इसलिए लड़खड़ाता है कि वे मानक आधुनिक अरबी (MSA) से ध्वनियों, शब्दों और वर्तनी में अलग हैं, और बोलने वाले अंग्रेज़ी या फ़्रेंच मिलाते हैं। कोई प्रोवाइडर कैसा करेगा, यह जानने के लिए अपने असली ऑडियो से हर बोली का छोटा टेस्ट सेट बनाएँ और हर बोली को अलग से स्कोर करें।
रियाद का एक कॉलर, काहिरा का एक वॉइस नोट और कासाब्लांका की एक सपोर्ट कॉल, तीनों “अरबी” हैं, और एक ही मॉडल पहली को अच्छे से और तीसरी को बुरी तरह संभाल सकता है।
यह पोस्ट बताती है कि हर बड़े बोली समूह को speech recognition के लिए क्या मुश्किल बनाता है, और ऐसा टेस्ट कैसे बनाएँ जो दिखाए कि प्रोवाइडर आपकी बोलियों पर कैसा करेगा। ख़रीदारी की बड़ी चेकलिस्ट (कीमत, सीमाएँ, प्राइवेसी) के लिए अरबी speech-to-text ख़रीदार गाइड देखें।
अरबी बोलियाँ speech recognition के लिए मुश्किल क्यों हैं?
चार समस्याएँ एक के ऊपर एक जुड़ती हैं:
- अलग ध्वनियाँ। एक ही अक्षर अलग-अलग इलाक़ों में अलग बोला जाता है, इसलिए acoustic मॉडल को कई ध्वनियों को एक वर्तनी से जोड़ना पड़ता है।
- अलग शब्द। रोज़मर्रा के शब्द बोली के हिसाब से बदलते हैं। ज़्यादातर MSA पर ट्रेन हुआ मॉडल बोली के शब्द को उसके औपचारिक रूप में “सुधार” सकता है, जो आपका reference शब्दशः होने पर ग़लती गिनी जाती है।
- कोई मानक वर्तनी नहीं। बोलियाँ अनौपचारिक रूप से लिखी जाती हैं, इसलिए दो इंसानी ट्रांसक्राइबर भी असहमत होते हैं। ट्रेनिंग डेटा भी असमान है: बोली कवरेज पर 2024 का एक अध्ययन नोट करता है कि मौजूदा ASR सिस्टम “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (अनुवाद: मुख्य रूप से मानक आधुनिक अरबी (MSA) और कुछ ज़्यादा संसाधन वाली बोलियों को कवर करते हैं) (arXiv 2411.05872)।
- Code-switching। बोलने वाले वाक्य के बीच अंग्रेज़ी या फ़्रेंच मिलाते हैं। आठ बोलियों वाला Casablanca डेटासेट बोली और लिंग के साथ code-switching को भी annotate करता है।
Open Universal Arabic ASR Leaderboard पेपर (Interspeech 2025) ठीक इसी वजह से ओपन-सोर्स मॉडलों को कई बहु-बोली टेस्ट सेटों पर परखता है: अरबी का एक स्कोर फैलाव को छिपा देता है।
हर अरबी बोली speech recognition को कैसे उलझाती है?
| बोली समूह | कहाँ | ASR की आम दिक़्क़तें |
|---|---|---|
| खाड़ी (ख़लीजी) | सऊदी अरब, UAE, कुवैत, क़तर, बहरीन, ओमान | अंग्रेज़ी प्रोडक्ट नाम, संख्याएँ और ब्रांड शब्द मिले हुए; क़ाफ़ और काफ़ का इलाक़ाई उच्चारण |
| मिस्री | मिस्र | जीम कठोर g की तरह; क़ाफ़ अक्सर glottal stop; मीडिया में बहुत आम, इसलिए मॉडल आमतौर पर इसे ज़्यादा देखते हैं |
| लेवेंटाइन | सीरिया, लेबनान, जॉर्डन, फ़िलिस्तीन | शहरी क़ाफ़ glottal stop की तरह; फ़्रेंच या अंग्रेज़ी मिली हुई, ख़ासकर लेबनान में |
| मग़रिबी (दारिजा) | मोरक्को, अल्जीरिया, ट्यूनीशिया, लीबिया | MSA से सबसे दूर; छोटे स्वर ग़ायब; भारी फ़्रेंच code-switching; अमाज़ीग़ से लिए शब्द |
| इराक़ी | इराक़ | अलग शब्दावली और उच्चारण; कम सार्वजनिक ट्रेनिंग ऑडियो |
ये रुझान हैं, नियम नहीं। हर समूह के भीतर शहरी और ग्रामीण बोली अलग होती है, और युवा ज़्यादा code-switch करते हैं। बात यह है कि हर समूह अपने तरीक़े से फ़ेल होता है, इसलिए हर समूह को अलग स्कोर करें।
अरबी बोली टेस्ट सेट कैसे बनाएँ?
1. हर बोली का असली ऑडियो सैंपल करें
उसी चैनल से हर बोली के 30 से 50 clips लें जिस पर आप production चलाएँगे: फ़ोन कॉल, WhatsApp वॉइस नोट, मीटिंग रिकॉर्डिंग। 8 kHz का फ़ोन ऑडियो स्टूडियो ऑडियो से अलग बर्ताव करता है। हर clip पर बोली का लेबल लगाएँ, और अंग्रेज़ी या फ़्रेंच वाले clips को टैग करें।
2. पहले वर्तनी का नियम तय करें
किसी के reference लिखने से पहले तय करें:
- शब्दशः बोली (जो कहा गया वही लिखें, बोली की वर्तनी में), या
- Normalised (एक सुसंगत रूप में बदलें)।
अपना चुनाव उदाहरणों के साथ लिख लें। अगर reference शब्दशः हैं और मॉडल MSA जैसे शब्द देता है, तो अर्थ सही होने पर भी WER भयानक दिखेगा। कोई भी चुनाव ग़लत नहीं। बस उसे आपके downstream सिस्टम की ज़रूरत से मेल खाना चाहिए।
3. हर बोली के 10 clips के reference लिखें
उन्हें उसी बोली के मूल वक्ताओं से ट्रांसक्राइब कराएँ। code-switching वाले clips के लिए तय करें कि अंग्रेज़ी शब्द लैटिन लिपि में रहेंगे या नहीं, और इसे हर जगह लागू करें।
4. दोनों तरफ़ normalise करें, फिर स्कोर करें
हरकात (diacritics) हटाएँ, अलिफ़ के रूप एक करें (إ أ آ को ا) और आख़िरी या (ى को ي), विराम चिह्न हटाएँ, और पूर्वी अरबी अंकों को पश्चिमी अंकों में बदलें। फिर गणना करें:
| मीट्रिक | क्यों |
|---|---|
| हर बोली का WER | मानक माप; clitics और prefixes पर सख़्त |
| हर बोली का CER | वर्तनी के अंतर को ज़्यादा माफ़ करता है |
| Entity सटीकता | संख्याओं, तारीख़ों और नामों का वह हिस्सा जो बिल्कुल सही ट्रांसक्राइब हुआ |
| code-switch समूह का WER | दिखाता है कि अंग्रेज़ी या फ़्रेंच शब्द बचते हैं या नहीं |
jiwer पैकेज WER और CER निकालता है; अरबी WER की व्याख्या में दोबारा इस्तेमाल लायक normalisation फ़ंक्शन है और एक उदाहरण कि इससे स्कोर कितना बदलता है।
5. ट्रांसक्रिप्ट पढ़ें
कॉल सेंटर या बैंकिंग वर्कफ़्लो चलेगा या नहीं, यह संख्याएँ तय करती हैं। हर बोली के 20 ट्रांसक्रिप्ट पढ़ें और हर संख्या, तारीख़ और नाम हाथ से जाँचें।
प्रकाशित अरबी WER आँकड़े आपको क्या बताते हैं?
सार्वजनिक बेंचमार्क दिशा देते हैं, वादा नहीं। BroadNet अपने मॉडल कैटलॉग में BroadNet Transcribe Arabic के तीन WER आँकड़े प्रकाशित करता है: FLEURS-ar (साफ़ पढ़ी गई स्पीच) पर 3.8, MASC-ar (मिली-जुली असली स्पीच) पर 21.1 और अपने बोली सेट पर 23.4। एक ही मॉडल में पढ़ी गई स्पीच और बोली वाली स्पीच के बीच यह छह गुना उछाल है, और इसीलिए आप अपनी बोलियों पर टेस्ट करते हैं।
प्रोवाइडरों की तुलना करते समय उन्हें एक ही टेस्ट सेट पर तुलना करें। Open Universal Arabic ASR Leaderboard जैसा leaderboard इसलिए काम का है कि हर मॉडल एक ही तरीक़े से स्कोर होता है। किसी vendor का अपने सेट पर अपना आँकड़ा दूसरे vendor के आँकड़े से तुलना लायक नहीं।
बोली वाले ट्रांसक्रिप्ट कौन-सा LLM पढ़े?
ट्रांसक्रिप्ट आमतौर पर किसी LLM को जाते हैं: कॉल का सारांश बनाने, टिकट route करने या सवाल का जवाब देने के लिए। उस मॉडल को भी बोली पढ़नी आनी चाहिए। हमारी अरबी के लिए LLM चुनने की गाइड बताती है कि इसे कैसे टेस्ट करें, और Qwen3.8 27B वह मॉडल है जिसे BroadNet ने खाड़ी और मिस्री बोलियों पर टेस्ट किया।
BroadNet Inference कहाँ फ़िट होता है
BroadNet Transcribe Arabic बोलियों समेत अरबी के लिए बना है, इसकी लागत $0.0042 प्रति मिनट ($0.25 प्रति घंटा) है, और BroadNet रिपोर्ट करता है कि यह Open Universal Arabic ASR Leaderboard पर 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) है, और उन मॉडलों में #1 जिनके लाइसेंस API से सर्व करने की अनुमति देते हैं। शोर वाले ऑडियो में संख्याओं, तारीख़ों और नामों के लिए BroadNet एक fine-tuned संस्करण अनुरोध पर देता है। $5 का शुरुआती क्रेडिट लगभग 1,190 मिनट कवर करता है, जो ऊपर के पूरे टेस्ट के लिए काफ़ी है; speech-to-text लागत कैलकुलेटर आपके production वॉल्यूम को मासिक बिल में बदलता है। शुरू करने के लिए API key बनाएँ।
BroadNet हर बोली समूह के अलग WER आँकड़े प्रकाशित नहीं करता। ठीक इसीलिए आपको यह टेस्ट चलाना चाहिए: उसका बोली-सेट आँकड़ा एक संख्या है, और आपके ग्राहक एक या दो बोलियाँ बोलते हैं, सभी नहीं।
