حين يقال إن نموذج ذكاء اصطناعي «يتحدث العربية»، فالمقصود عادةً أنه يتعامل مع العربية الفصحى الحديثة. أما اللهجات فاختبار مختلف.
كيف تعمل
العربية عائلة من الأنماط اللغوية. وتقولها ورقة MADAR (Bouamor وآخرون، 2018) بوضوح: الفصحى هي “the shared language of culture, media, and education from Morocco to Oman” (ترجمة: اللغة المشتركة للثقافة والإعلام والتعليم من المغرب إلى عُمان)، لكنها “is not the native language of any speaker of Arabic” (ترجمة: ليست اللغة الأم لأي متحدث بالعربية). وتُصنَّف اللهجات إقليميًا إلى مصرية وشمال إفريقية وشامية وخليجية ويمنية، وعلى مستوى أدق إلى تونسية ولبنانية وكويتية وقطرية وغيرها. وتغطي MADAR نفسها لهجات 25 مدينة إلى جانب الفصحى.
وفي الواقع يمتزج الاثنان. ففي المواقف غير المكتوبة مسبقًا التي يُتوقع فيها استخدام الفصحى، كالبرامج الحوارية التلفزيونية، ينتقل المتحدثون ذهابًا وإيابًا بين الفصحى ولهجتهم. هذا هو التناوب اللغوي (code-switching)، وقد وجدت المهمة المشتركة للتناوب اللغوي عام 2014 أن التمييز بين الفصحى واللهجة على مستوى الكلمة هو أصعب الأزواج، أصعب من الإسبانية-الإنجليزية أو النيبالية-الإنجليزية.
| الفصحى | اللهجات | |
|---|---|---|
| أين تُستخدم | الأخبار والكتب والمدرسة والعقود والخطاب الرسمي | البيت والشارع والمكالمات والملاحظات الصوتية والمحادثات |
| الإملاء | معياري | لا إملاء ثابت؛ وكثيرًا ما تُكتب بالعربيزي |
| بيانات التدريب | مدوّنات مكتوبة كبيرة | أقل بكثير، وموزّعة بتفاوت بين المناطق |
لماذا تهم
- جودة نماذج اللغة. قد يكتب النموذج فصحى جيدة ومع ذلك يفوته الكلام العامي الخليجي أو المغاربي. اختبر باللهجة التي يتحدثها مستخدموك.
- دقة تحويل الصوت إلى نص. كثير من مجموعات الاختبار كلام مقروء أو إذاعي، بينما قد تكون تسجيلاتك ملاحظات صوتية باللهجة. اطلب معدل الخطأ في الكلمات لكل نمط لغوي، لا رقمًا واحدًا للعربية، واختبر على تسجيلاتك.
- تكلفة الرموز. في مجموعة بيانات المجزّئات لدينا، احتاجت الفصحى على Qwen3.8 27B إلى 1.31× من الرموز (التوكنات) مقارنةً بالجمل نفسها بالإنجليزية (2,009 جملة من FLORES-200)، واحتاجت الخليجية 1.21× (مجموعة صغيرة من 49 جملة من Tatoeba، فالرقم تقريبي). استخدم عدّاد الرموز العربية على نصوصك.
في BroadNet Inference
تُبلغ BroadNet أنها اختبرت Qwen3.8 27B في الكتابة العربية بطلاقة، مع فهم اللهجتين الخليجية والمصرية. ونموذج BroadNet Transcribe Arabic مُدرج للعربية بما فيها اللهجات. أرسل language=ar لتسجيلات الفصحى واللهجات معًا؛ إذ تحذّر وثائق BroadNet من أن العربية قد تعود بحروف لاتينية من دونه. ويشرح مقال التعرّف على كلام اللهجات كيف تختبر على تسجيلاتك.