دو زبانیں بولنے والوں کے لیے code-switching عام بول چال ہے۔ جو سافٹ ویئر ہر ان پٹ میں ایک ہی زبان کی توقع رکھتا ہے، اس کے لیے یہ غلطیوں کا عام ذریعہ ہے۔
یہ کیسے کام کرتی ہے
Solorio اور ساتھی (2014)، code-switched ڈیٹا پر پہلے shared task میں، اسے وسیع معنوں میں ایک ابلاغی عمل بتاتے ہیں، “spoken or written, where two or more languages are being used interchangeably” (ترجمہ: بولا یا لکھا ہوا، جس میں دو یا زیادہ زبانیں باری باری استعمال ہو رہی ہوں)۔ ان کے کام میں Twitter پوسٹس کے ہر لفظ پر اس کی زبان کا لیبل لگایا گیا، چار جوڑوں میں: جدید معیاری عربی-بول چال کی عربی، Mandarin-انگریزی، نیپالی-انگریزی اور ہسپانوی-انگریزی۔ سات ٹیموں نے 42 رنز جمع کرائے۔ لفظی سطح کی شناخت MSA بمقابلہ لہجے کے لیے سب سے مشکل تھی، کیونکہ دونوں بہت قریب ہیں، اور ہسپانوی-انگریزی اور نیپالی-انگریزی کے لیے سب سے آسان۔
عربی صارفین ایک ساتھ کئی طریقوں سے سوئچ کرتے ہیں:
- لہجہ اور MSA۔ MADAR پیپر بتاتا ہے کہ بغیر اسکرپٹ والے ماحول میں جہاں MSA کی توقع ہوتی ہے، جیسے ٹی وی ٹاک شوز، بولنے والے بار بار اپنے لہجے اور MSA کے درمیان آتے جاتے ہیں۔
- عربی اور انگریزی یا فرانسیسی۔ Darwish (2014) مشاہدہ کرتے ہیں کہ بہت سے عربی بولنے والے دو لسانی ہیں اور جملوں کے اندر انگریزی یا فرانسیسی کو عربی سے ملاتے ہیں۔
- رسم الخط۔ ٹائپ کیے گئے پیغامات ایک ہی سطر میں عربی رسم الخط، لاطینی رسم الخط اور Arabizi ملا سکتے ہیں۔
خلیج کا ایک عام چیٹ پیغام یہ سب ملاتا ہے:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
عربی الفاظ بول چال کے ہیں، “meeting” ایک عربی جملے کے اندر انگریزی ہے، اور جملہ انگریزی میں ختم ہوتا ہے۔ زبان پہچاننے والا ٹول، tokenizer اور اسپیچ ماڈل، سب کو اس تبدیلی سے نمٹنا پڑتا ہے۔
یہ کیوں اہم ہے
- اسپیچ ٹو ٹیکسٹ۔ ٹرانسکرپشن کی درخواست عموماً ایک
languageلیتی ہے۔ عربی اسپیچ کے اندر کوئی انگریزی پروڈکٹ نام عربی رسم الخط میں، لاطینی رسم الخط میں یا غلط سنا ہوا آ سکتا ہے۔ ایک طریقہ طے کریں اور word error rate اسی کے مطابق اسکور کریں، ورنہ انداز کے فرق غلطیاں گنے جائیں گے۔ - روٹنگ اور سرچ۔ ہر پیغام پر ایک لیبل چننے والا زبان ڈیٹیکٹر ملے جلے پیغامات پر غلط لیبل لگائے گا، جس سے عربی intents انگریزی فلو میں پہنچ سکتے ہیں۔
- LLM پرامپٹس۔ ماڈل کو بتائیں کہ ان پٹ میں زبانیں مل سکتی ہیں اور کس زبان میں جواب دینا ہے۔ ورنہ وہ آخر میں آنے والی زبان کی نقل کر سکتا ہے۔
BroadNet Inference پر
BroadNet کی دستاویزات کہتی ہیں کہ ٹرانسکرپشن کے ساتھ ہمیشہ language بھیجیں، عربی کے لیے ar اور انگریزی کے لیے en، اور خبردار کرتی ہیں کہ اس کے بغیر عربی لاطینی حروف میں transliterate ہو سکتی ہے۔ وہ ملی جلی زبان کی کوئی سیٹنگ درج نہیں کرتیں۔ انگریزی الفاظ والی عربی اسپیچ کے لیے BroadNet Transcribe Arabic کو language=ar بھیجیں اور اصل ریکارڈنگز پر آزمائیں؛ لہجوں کی اسپیچ ریکگنیشن والا مضمون وہ ٹیسٹ سیٹ بنانا بیان کرتا ہے۔ چیٹ میں ملے جلے متن کے لیے Qwen3.8 27B وہ ماڈل ہے جسے BroadNet عربی لہجوں پر آزمانے کا بتاتا ہے۔