दो भाषाएँ बोलने वालों के लिए code-switching सामान्य बोलचाल है। जो सॉफ़्टवेयर हर इनपुट में एक ही भाषा की उम्मीद करता है, उसके लिए यह ग़लतियों का आम स्रोत है।
यह कैसे काम करता है
Solorio और साथी (2014), code-switched डेटा पर पहले shared task में, इसे मोटे तौर पर एक संचार क्रिया बताते हैं, “spoken or written, where two or more languages are being used interchangeably” (अनुवाद: बोली या लिखी हुई, जिसमें दो या ज़्यादा भाषाएँ अदल-बदल कर इस्तेमाल होती हैं)। उनके टास्क में Twitter पोस्ट के हर शब्द पर उसकी भाषा का लेबल लगाया गया, चार जोड़ों में: मॉडर्न स्टैंडर्ड अरबी-बोलचाल की अरबी, Mandarin-अंग्रेज़ी, नेपाली-अंग्रेज़ी और स्पैनिश-अंग्रेज़ी। सात टीमों ने 42 रन जमा किए। शब्द-स्तर की पहचान MSA बनाम बोली के लिए सबसे कठिन थी, क्योंकि दोनों बहुत क़रीबी हैं, और स्पैनिश-अंग्रेज़ी व नेपाली-अंग्रेज़ी के लिए सबसे आसान।
अरबी यूज़र एक साथ कई तरह से स्विच करते हैं:
- बोली और MSA। MADAR पेपर बताता है कि बिना स्क्रिप्ट वाली जगहों पर जहाँ MSA की उम्मीद होती है, जैसे टीवी टॉक शो, बोलने वाले बार-बार अपनी बोली और MSA के बीच आते-जाते हैं।
- अरबी और अंग्रेज़ी या फ़्रेंच। Darwish (2014) देखते हैं कि बहुत-से अरबी बोलने वाले द्विभाषी हैं और वाक्यों के भीतर अंग्रेज़ी या फ़्रेंच को अरबी से मिलाते हैं।
- लिपियाँ। टाइप किए गए मैसेज एक ही लाइन में अरबी लिपि, लैटिन लिपि और Arabizi मिला सकते हैं।
खाड़ी का एक आम चैट मैसेज ये सब मिलाता है:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
अरबी शब्द बोलचाल के हैं, “meeting” एक अरबी उपवाक्य के भीतर अंग्रेज़ी है, और वाक्य अंग्रेज़ी में ख़त्म होता है। भाषा पहचानने वाले टूल, tokenizer और स्पीच मॉडल, सबको इस बदलाव से निपटना पड़ता है।
यह क्यों मायने रखता है
- स्पीच-टू-टेक्स्ट। ट्रांसक्रिप्शन अनुरोध आम तौर पर एक
languageलेता है। अरबी स्पीच के भीतर कोई अंग्रेज़ी प्रोडक्ट नाम अरबी लिपि में, लैटिन लिपि में या ग़लत सुना हुआ आ सकता है। एक परिपाटी तय करें और word error rate उसी के हिसाब से स्कोर करें, वरना शैली के फ़र्क़ ग़लतियाँ गिने जाएँगे। - रूटिंग और सर्च। हर मैसेज पर एक लेबल चुनने वाला भाषा डिटेक्टर मिले-जुले मैसेज पर ग़लत लेबल लगाएगा, जिससे अरबी intents अंग्रेज़ी फ़्लो में पहुँच सकते हैं।
- LLM प्रॉम्प्ट। मॉडल को बताएँ कि इनपुट में भाषाएँ मिल सकती हैं और किस भाषा में जवाब देना है। वरना वह आख़िर में आई भाषा की नक़ल कर सकता है।
BroadNet Inference पर
BroadNet के डॉक्स कहते हैं कि ट्रांसक्रिप्शन के साथ हमेशा language भेजें, अरबी के लिए ar और अंग्रेज़ी के लिए en, और चेतावनी देते हैं कि इसके बिना अरबी लैटिन अक्षरों में transliterate हो सकती है। वे मिली-जुली भाषा की कोई सेटिंग दर्ज नहीं करते। अंग्रेज़ी शब्दों वाली अरबी स्पीच के लिए BroadNet Transcribe Arabic को language=ar भेजें और असली रिकॉर्डिंग पर टेस्ट करें; बोली स्पीच रिकग्निशन लेख वह टेस्ट सेट बनाना समझाता है। चैट में मिले-जुले टेक्स्ट के लिए Qwen3.8 27B वह मॉडल है जिसे BroadNet अरबी बोलियों पर टेस्ट करने की बात बताता है।