BroadRouter
शुरू करें

कोड-स्विचिंग (code-switching)

अपडेट किया गया

Code-switching एक ही बातचीत या वाक्य में, बोलकर या लिखकर, दो या ज़्यादा भाषाओं, या एक भाषा के अलग रूपों, का इस्तेमाल है। उदाहरण: अरबी बोलने वाले अपनी बोली में अंग्रेज़ी शब्द मिलाते हैं, या मॉडर्न स्टैंडर्ड अरबी और अपनी बोली के बीच आते-जाते हैं।

अन्य नाम: कोड-स्विचिंग, कोड मिक्सिंग, code switching kya hai, code mixing kya hai, code switching, code-mixing, code mixing, language mixing, mixed-language text

दो भाषाएँ बोलने वालों के लिए code-switching सामान्य बोलचाल है। जो सॉफ़्टवेयर हर इनपुट में एक ही भाषा की उम्मीद करता है, उसके लिए यह ग़लतियों का आम स्रोत है।

यह कैसे काम करता है

Solorio और साथी (2014), code-switched डेटा पर पहले shared task में, इसे मोटे तौर पर एक संचार क्रिया बताते हैं, “spoken or written, where two or more languages are being used interchangeably” (अनुवाद: बोली या लिखी हुई, जिसमें दो या ज़्यादा भाषाएँ अदल-बदल कर इस्तेमाल होती हैं)। उनके टास्क में Twitter पोस्ट के हर शब्द पर उसकी भाषा का लेबल लगाया गया, चार जोड़ों में: मॉडर्न स्टैंडर्ड अरबी-बोलचाल की अरबी, Mandarin-अंग्रेज़ी, नेपाली-अंग्रेज़ी और स्पैनिश-अंग्रेज़ी। सात टीमों ने 42 रन जमा किए। शब्द-स्तर की पहचान MSA बनाम बोली के लिए सबसे कठिन थी, क्योंकि दोनों बहुत क़रीबी हैं, और स्पैनिश-अंग्रेज़ी व नेपाली-अंग्रेज़ी के लिए सबसे आसान।

अरबी यूज़र एक साथ कई तरह से स्विच करते हैं:

  • बोली और MSA। MADAR पेपर बताता है कि बिना स्क्रिप्ट वाली जगहों पर जहाँ MSA की उम्मीद होती है, जैसे टीवी टॉक शो, बोलने वाले बार-बार अपनी बोली और MSA के बीच आते-जाते हैं।
  • अरबी और अंग्रेज़ी या फ़्रेंच। Darwish (2014) देखते हैं कि बहुत-से अरबी बोलने वाले द्विभाषी हैं और वाक्यों के भीतर अंग्रेज़ी या फ़्रेंच को अरबी से मिलाते हैं।
  • लिपियाँ। टाइप किए गए मैसेज एक ही लाइन में अरबी लिपि, लैटिन लिपि और Arabizi मिला सकते हैं।

खाड़ी का एक आम चैट मैसेज ये सब मिलाता है:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

अरबी शब्द बोलचाल के हैं, “meeting” एक अरबी उपवाक्य के भीतर अंग्रेज़ी है, और वाक्य अंग्रेज़ी में ख़त्म होता है। भाषा पहचानने वाले टूल, tokenizer और स्पीच मॉडल, सबको इस बदलाव से निपटना पड़ता है।

यह क्यों मायने रखता है

  • स्पीच-टू-टेक्स्ट। ट्रांसक्रिप्शन अनुरोध आम तौर पर एक language लेता है। अरबी स्पीच के भीतर कोई अंग्रेज़ी प्रोडक्ट नाम अरबी लिपि में, लैटिन लिपि में या ग़लत सुना हुआ आ सकता है। एक परिपाटी तय करें और word error rate उसी के हिसाब से स्कोर करें, वरना शैली के फ़र्क़ ग़लतियाँ गिने जाएँगे।
  • रूटिंग और सर्च। हर मैसेज पर एक लेबल चुनने वाला भाषा डिटेक्टर मिले-जुले मैसेज पर ग़लत लेबल लगाएगा, जिससे अरबी intents अंग्रेज़ी फ़्लो में पहुँच सकते हैं।
  • LLM प्रॉम्प्ट। मॉडल को बताएँ कि इनपुट में भाषाएँ मिल सकती हैं और किस भाषा में जवाब देना है। वरना वह आख़िर में आई भाषा की नक़ल कर सकता है।

BroadNet Inference पर

BroadNet के डॉक्स कहते हैं कि ट्रांसक्रिप्शन के साथ हमेशा language भेजें, अरबी के लिए ar और अंग्रेज़ी के लिए en, और चेतावनी देते हैं कि इसके बिना अरबी लैटिन अक्षरों में transliterate हो सकती है। वे मिली-जुली भाषा की कोई सेटिंग दर्ज नहीं करते। अंग्रेज़ी शब्दों वाली अरबी स्पीच के लिए BroadNet Transcribe Arabic को language=ar भेजें और असली रिकॉर्डिंग पर टेस्ट करें; बोली स्पीच रिकग्निशन लेख वह टेस्ट सेट बनाना समझाता है। चैट में मिले-जुले टेक्स्ट के लिए Qwen3.8 27B वह मॉडल है जिसे BroadNet अरबी बोलियों पर टेस्ट करने की बात बताता है।

अक्सर पूछे जाने वाले सवाल

क्या code-switching और code-mixing एक ही हैं?

व्यवहार में दोनों नाम एक मैसेज या बातचीत में एक से ज़्यादा भाषाओं को बताते हैं, और भाषा टूल के लिए एक जैसी समस्याएँ पैदा करते हैं। यह शब्दावली इन्हें एक ही टर्म मानती है।

अंग्रेज़ी शब्दों वाले अरबी ऑडियो के लिए कौन-सी language भेजूँ?

BroadNet पर मुख्य रूप से अरबी ऑडियो के लिए language=ar भेजें। पहले से तय करें कि अंग्रेज़ी शब्द लैटिन लिपि में रहें या नहीं, और ट्रांसक्रिप्ट का एक सैंपल जाँचें।

क्या LLM code-switched टेक्स्ट समझ सकते हैं?

अरबी और अंग्रेज़ी जैसे आम जोड़ों के लिए आम तौर पर हाँ, लेकिन क्वालिटी मॉडल और बोली के हिसाब से बदलती है। प्रॉम्प्ट में बताएँ कि इनपुट में भाषाएँ मिल सकती हैं, जवाब की भाषा बताएँ, और अपने यूज़र्स के असली मैसेज से टेस्ट करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें