किसी यूज़र को उसकी बोली में जवाब देने से पहले आपको जानना होगा कि उसने किस बोली में लिखा है। यही बोली की पहचान है।
यह कैसे काम करता है
रिसर्च समुदाय इसे NADI shared tasks (Nuanced Arabic Dialect Identification) से मापता है। NADI 2020 में 21 अरब देशों के 100 प्रांतों के ट्वीट थे, जिसमें एक देश-स्तर का और एक प्रांत-स्तर का सबटास्क था। NADI 2024 ने बोली पहचान को multi-label टास्क बनाया, क्योंकि एक वाक्य कई बोलियों में सही हो सकता है, और “dialectness” के स्तर पर एक सबटास्क जोड़ा। Subtask 1 के सबसे अच्छे सिस्टम ने 50.57 F1 स्कोर किया, और आयोजक लिखते हैं कि बोली पहचान अब भी चुनौतीपूर्ण है।
MADAR कॉर्पस (Bouamor और साथी, 2018) एक आम संसाधन है: यात्रा से जुड़े वही वाक्य 25 शहरों की बोलियों में अनुवाद किए गए हैं। 2,000 वाक्य सभी 25 में हैं; 10,000 और वाक्य Doha, Beirut, Cairo, Tunis और Rabat के लिए हैं। ऐसे पैरेलल डेटा से दिखता है कि एक ही बात हर जगह कैसे लिखी जाती है।
व्यवहार में ज़्यादातर प्रोडक्ट को मोटा लेबल चाहिए। एक काम का सेट:
| लेबल | किसे कवर करता है |
|---|---|
msa |
मॉडर्न स्टैंडर्ड अरबी |
gulf |
सऊदी, अमीराती, कुवैती, क़तरी, बहरैनी, ओमानी |
egyptian |
मिस्री |
levantine |
सीरियाई, लेबनानी, जॉर्डनी, फ़िलिस्तीनी |
maghrebi |
मोरक्कन, अल्जीरियाई, ट्यूनीशियाई, लीबियाई |
other_or_unclear |
इराक़ी, यमनी, सूडानी, मिली-जुली या बहुत छोटी |
इसके लिए LLM प्रॉम्प्ट एक JSON ऑब्जेक्ट माँगता है: लेबल, भरोसे का स्तर, और वे शब्द जिनसे बोली पता चली। उदाहरण के लिए, मैसेज عايز أغير الباقة का जवाब यह होगा:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
संकेत (cues) माँगने से ग़लतियाँ जाँचना आसान होता है: अगर संकेत कोई MSA शब्द है, तो लेबल संदिग्ध है।
यह क्यों मायने रखता है
- रूटिंग। खाड़ी के ग्राहकों को खाड़ी के एजेंट के पास भेजें, या जवाब वाला प्रॉम्प्ट यूज़र की बोली में बदलें।
- मूल्यांकन। स्पीच और चैट टेस्ट सेट को बोली के हिसाब से बाँटें। एक औसत सबसे कमज़ोर समूह को छिपा देता है, जैसा बोली स्पीच रिकग्निशन पोस्ट दिखाती है।
- एनालिटिक्स। किसी एक बोली में निवेश करने से पहले जानें कि आपके यूज़र असल में कौन-सी बोलियाँ लिखते हैं।
मिले-जुले मैसेज आम हैं। यूज़र एक ही लाइन में बोली, MSA और अंग्रेज़ी के बीच बदलते हैं, जिसे code-switching कहते हैं; ज़बरदस्ती अंदाज़ा लगवाने के बजाय “unclear” लेबल रखें।
BroadNet Inference पर
BroadNet के पास बोली पहचान का कोई एंडपॉइंट नहीं है। आप इसे POST /v1/chat/completions पर बना सकते हैं। BroadNet का API रेफ़रंस GLM 5.3 और Qwen3.8 27B के लिए structured output दर्ज करता है, जो तय लेबल सूची के लिए उपयुक्त है; structured output देखें। BroadNet बताता है कि उसने Qwen3.8 27B को टेस्ट किया और वह खाड़ी और मिस्री बोलियाँ समझता है। BroadNet किसी भी मॉडल के लिए बोली पहचान की सटीकता प्रकाशित नहीं करता, इसलिए भरोसा करने से पहले अपने लगभग 100 मैसेज हाथ से लेबल करें और मॉडल को उन पर मापें।
अरबी टेक्स्ट क्लासिफ़िकेशन पोस्ट इस तरह के टास्क के लिए प्रॉम्प्ट, लेबल सूची और स्कोरिंग समझाती है, और बोलचाल की अरबी बताती है कि लेबल का मतलब क्या है।