التناوب اللغوي كلام طبيعي لدى ثنائيي اللغة. لكنه بالنسبة للبرمجيات التي تتوقع لغة واحدة في كل مدخل مصدر شائع للأخطاء.
كيف يعمل
في أول مهمة مشتركة على البيانات المختلطة اللغات، يعرّف Solorio وآخرون (2014) التناوب اللغوي تعريفًا واسعًا بأنه فعل تواصل، “spoken or written, where two or more languages are being used interchangeably” (ترجمة: منطوق أو مكتوب، تُستخدم فيه لغتان أو أكثر بالتبادل). وصنّفت مهمتهم كل كلمة في منشورات Twitter بلغتها عبر أربعة أزواج: العربية الفصحى الحديثة والعربية اللهجية، والماندرين والإنجليزية، والنيبالية والإنجليزية، والإسبانية والإنجليزية. وقدّم سبعة فرق 42 تشغيلًا. وكان التحديد على مستوى الكلمة أصعب ما يكون بين الفصحى واللهجة، لأنهما متقاربتان، وأسهل ما يكون في الإسبانية والإنجليزية والنيبالية والإنجليزية.
ويتناوب المستخدمون العرب بعدة طرق في آن واحد:
- اللهجة والفصحى. تشير ورقة MADAR إلى أن المتحدثين، في المواقف غير المعدّة مسبقًا التي يُتوقع فيها استخدام الفصحى، كالبرامج الحوارية التلفزيونية، ينتقلون مرارًا بين لهجتهم والفصحى.
- العربية والإنجليزية أو الفرنسية. يلاحظ Darwish (2014) أن كثيرًا من الناطقين بالعربية ثنائيو اللغة، ويمزجون الإنجليزية أو الفرنسية بالعربية داخل الجمل.
- نظم الكتابة. قد تمزج الرسائل المكتوبة الحروف العربية واللاتينية والعربيزي في سطر واحد.
ورسالة محادثة خليجية نموذجية تمزج كل ذلك:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
الكلمات العربية لهجية، و«meeting» كلمة إنجليزية داخل عبارة عربية، والجملة تنتهي بالإنجليزية. وعلى كاشف اللغة والمجزّئ ونموذج الكلام أن يتعامل كل منها مع هذا التناوب.
لماذا يهم
- تحويل الصوت إلى نص. طلب التفريغ يأخذ عادةً قيمة واحدة لـ
language. واسم منتج إنجليزي داخل كلام عربي قد يخرج بالحروف العربية، أو بالحروف اللاتينية، أو يُسمع خطأً. اتفق على اصطلاح وقِس معدل الخطأ في الكلمات بناءً عليه، وإلا فستحسب اختلافات الأسلوب أخطاءً. - التوجيه والبحث. كاشف اللغة الذي يختار تسمية واحدة لكل رسالة سيخطئ في تسمية الرسائل المختلطة، فقد تنتهي نوايا عربية في المسار الإنجليزي.
- أوامر نماذج اللغة. أخبر النموذج أن المدخلات قد تمزج اللغات، وحدّد له لغة الرد. وإلا فقد يجاري آخر لغة وردت.
في BroadNet Inference
تقول وثائق BroadNet أن ترسل language دائمًا مع التفريغ الصوتي، ar للعربية وen للإنجليزية، وتحذّر من أن العربية قد تُكتب بحروف لاتينية بدونه. ولا توثّق إعدادًا للغات المختلطة. وللكلام العربي الذي فيه كلمات إنجليزية، أرسل language=ar إلى BroadNet Transcribe Arabic واختبر على تسجيلات حقيقية؛ ويشرح مقال التعرف على الكلام باللهجات بناء مجموعة الاختبار هذه. وللنصوص المختلطة في المحادثة، فإن Qwen3.8 27B هو النموذج الذي تُبلغ BroadNet أنها اختبرته على اللهجات العربية.