कोई मॉडल अरबी बेंचमार्क पर अच्छा स्कोर कर सकता है और फिर भी रियाद के वॉइस नोट या कैसाब्लांका के चैट मैसेज पर अटक सकता है। ये बोलियाँ हैं, और इनका टेस्ट आधुनिक मानक अरबी से अलग है।
यह कैसे काम करती हैं
MADAR कॉर्पस बनाने वाले Bouamor और साथी (2018) अरबी को “a family of varieties” (अनुवाद: रूपों का एक परिवार) बताते हैं। MSA “from Morocco to Oman” (अनुवाद: मोरक्को से ओमान तक) संस्कृति, मीडिया और शिक्षा की साझा भाषा है, लेकिन यह किसी की मातृभाषा नहीं। बोलियों को आम तौर पर क्षेत्र के हिसाब से मिस्री, उत्तर अफ़्रीकी, लेवेंटाइन, खाड़ी और यमनी में, या उप-क्षेत्र के हिसाब से ट्यूनीशियाई, लेबनानी, कुवैती आदि में बाँटा जाता है। ये MSA से आवाज़ों, शब्दावली और रूप-रचना में अलग हैं, और कुछ कम हद तक एक शहर से दूसरे शहर में भी।
सॉफ़्टवेयर के लिए तीन अंतर सबसे ज़्यादा मायने रखते हैं:
- आवाज़ें. MADAR का उदाहरण क़ाफ़ (ق) अक्षर है। ट्यूनीशियाई अरबी में यह /q/ ही रहता है, MSA के क़रीब; मिस्री और लेवेंटाइन अरबी में यह ग्लॉटल स्टॉप बन जाता है; खाड़ी अरबी में /g/। स्पीच मॉडल को तीनों को एक ही लिखे शब्द पर वापस लाना होता है।
- शब्द. रोज़मर्रा के शब्द अलग हैं। “मैं चाहता हूँ” MSA में أريد है, मिस्री में عايز, लेवेंटाइन में بدي, खाड़ी अरबी में أبي या أبغى और मोरक्कन अरबी में بغيت।
- वर्तनी. MADAR बताता है कि MSA की मानक वर्तनी है, बोलियों की नहीं। लोग आवाज़ के हिसाब से या शब्द की जड़ के हिसाब से लिखते हैं, और कभी-कभी लैटिन अक्षरों में, जिसे Arabizi कहते हैं। बोलने वाले बीच में अंग्रेज़ी या फ़्रेंच भी मिलाते हैं, जो कोड-स्विचिंग है।
बोलियाँ अब ज़्यादा लिखी भी जा रही हैं। MADAR इन्हें ऑनलाइन अनौपचारिक बातचीत की उभरती हुई मुख्य लिखित भाषा कहता है। NADI 2020 ने 21 अरब देशों के 100 प्रांतों के ट्वीट से एक साझा टास्क बनाया।
यह क्यों मायने रखती हैं
- चैट और सपोर्ट बॉट. यूज़र वैसे ही लिखते हैं जैसे बोलते हैं। MSA पर ट्रेन हुए इंटेंट नियम, कीवर्ड सर्च और सेंटिमेंट मॉडल बोली के शब्द नहीं पकड़ते। देखें LLM के साथ खाड़ी और मिस्री बोलियाँ।
- स्पीच-टू-टेक्स्ट. उसी मॉडल पर बोली वाला ऑडियो पढ़ी गई MSA से कहीं ख़राब स्कोर करता है। हर बोली के लिए टेस्ट सेट बनाएँ, जैसा बोली स्पीच रिकग्निशन पोस्ट समझाती है।
- रूटिंग. अगर जवाब, रिव्यूअर या प्रॉम्प्ट क्षेत्र के हिसाब से बदलते हैं, तो पहले अरबी बोली की पहचान से बोली का लेबल लगाएँ।
BroadNet Inference पर
BroadNet खाड़ी, मिस्री, लेवेंटाइन, मग़रिबी और आधुनिक मानक अरबी के लिए BroadNet Transcribe Arabic बताता है। BroadNet FLEURS-ar की पढ़ी गई स्पीच पर 3.8 और अपने खाड़ी, मिस्री और लेवेंटाइन बोली सेट पर 23.4 का वर्ड एरर रेट रिपोर्ट करता है, दोनों BroadNet के अपने माप हैं। यह अंतर बोली का असर है। सबके लिए language=ar भेजें; BroadNet के डॉक्स चेतावनी देते हैं कि वरना अरबी लैटिन अक्षरों में लिप्यंतरित होकर लौट सकती है।
टेक्स्ट के लिए BroadNet बताता है कि उसने Qwen3.8 27B को अरबी में टेस्ट किया और खाड़ी व मिस्री बोलियाँ समझी गईं। BroadNet लेवेंटाइन या मग़रिबी टेक्स्ट का कोई नतीजा प्रकाशित नहीं करता, इसलिए उन्हें अपने मैसेज से टेस्ट करें। अरबी LLM गाइड मॉडल की तुलना करती है, और अरबी स्पीच-टू-टेक्स्ट गाइड में चलने वाला कोड है।
आम ग़लतियाँ
- सिर्फ़ MSA की ख़बरों वाले टेक्स्ट पर टेस्ट करना, फिर बोली में लिखने वाले यूज़र तक प्रोडक्ट भेज देना।
- सभी बोलियों का WER औसत कर देना, जिससे सबसे कमज़ोर बोली छिप जाती है।
- यूज़र को दिखाए जाने वाले टेक्स्ट में बोली की वर्तनी को MSA में बदल देना।