BroadRouter

تحديد اللهجة العربية (Arabic dialect identification)

آخر تحديث

تحديد اللهجة العربية هو مهمة معرفة الصيغة العربية التي كُتب بها نص أو قيل بها تسجيل، مثل المصرية أو الخليجية أو الشامية أو المغاربية أو الفصحى الحديثة، على مستوى المنطقة أو البلد أو المدينة. ويُستخدم لتوجيه الرسائل واختيار الأوامر وتقسيم مجموعات التقييم.

يُسمّى أيضًا: تحديد اللهجة العربية، تحديد اللهجة، التعرف على اللهجة، كشف اللهجة، تصنيف اللهجات العربية، dialect identification، dialect detection، Arabic dialect identification، ADI، NADI

قبل أن تردّ على المستخدم بلهجته، عليك أن تعرف اللهجة التي كتب بها. هذا هو تحديد اللهجة.

كيف يعمل

يقيس مجتمع البحث هذه المهمة عبر المهام المشتركة NADI (Nuanced Arabic Dialect Identification). استخدمت NADI 2020 تغريدات تغطي 100 محافظة في 21 دولة عربية، مع مهمة فرعية على مستوى البلد وأخرى على مستوى المحافظة. وصاغت NADI 2024 تحديد اللهجة مهمةً متعددة التسميات، لأن الجملة الواحدة قد تصحّ في عدة لهجات، وأضافت مهمة فرعية عن درجة اللهجية. وحقق أفضل نظام في المهمة الفرعية الأولى 50.57 في F1، ويكتب المنظمون أن تحديد اللهجة ما زال صعبًا.

ومدوّنة MADAR (Bouamor وآخرون، 2018) مورد شائع: الجمل نفسها من مجال السفر مترجمة إلى لهجات 25 مدينة. هناك 2,000 جملة متاحة بالمدن الخمس والعشرين كلها، و10,000 جملة أخرى للدوحة وبيروت والقاهرة وتونس والرباط. وبيانات متوازية كهذه تتيح لك أن ترى كيف يُكتب المعنى نفسه في كل مكان.

أما عمليًا، فمعظم المنتجات تحتاج إلى تسمية أعمّ. وهذه مجموعة تسميات قابلة للتطبيق:

التسمية تشمل
msa العربية الفصحى الحديثة
gulf السعودية والإماراتية والكويتية والقطرية والبحرينية والعُمانية
egyptian المصرية
levantine السورية واللبنانية والأردنية والفلسطينية
maghrebi المغربية والجزائرية والتونسية والليبية
other_or_unclear العراقية واليمنية والسودانية، والمختلطة أو القصيرة جدًا

ويطلب الأمر الموجّه إلى نموذج اللغة لهذه المهمة كائن JSON واحدًا: التسمية، ودرجة الثقة، والكلمات التي كشفت اللهجة. فمثلًا، الرسالة عايز أغير الباقة ستعود هكذا:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

وطلب الكلمات الدالّة يسهّل مراجعة الأخطاء: إذا كانت الكلمة الدالّة من الفصحى، فالتسمية مشكوك فيها.

لماذا يهم

  • التوجيه. أرسل عملاء الخليج إلى موظفين خليجيين، أو بدّل أمر الرد إلى لهجة المستخدم.
  • التقييم. قسّم مجموعات اختبار الكلام والمحادثة حسب اللهجة. فالمتوسط الواحد يخفي الفئة الأضعف، كما يبيّن مقال التعرف على الكلام باللهجات.
  • التحليلات. اعرف اللهجات التي يكتب بها مستخدموك فعلًا قبل أن تستثمر في واحدة منها.

والرسائل المختلطة شائعة. ينتقل المستخدمون بين اللهجة والفصحى والإنجليزية في سطر واحد، وهذا هو التناوب اللغوي (code-switching)؛ أبقِ تسمية «غير واضح» بدل فرض تخمين.

في BroadNet Inference

لا توفّر BroadNet نقطة نهاية لتحديد اللهجة. يمكنك بناء واحدة على POST /v1/chat/completions. يوثّق المرجع التقني لـ BroadNet المخرجات المنظَّمة لنموذجي GLM 5.3 وQwen3.8 27B، وهذا يناسب قائمة تسميات ثابتة؛ راجع المخرجات المنظَّمة. وتُبلغ BroadNet أنها اختبرت Qwen3.8 27B مع فهم اللهجتين الخليجية والمصرية. ولا تنشر BroadNet دقة تحديد اللهجة لأي نموذج، لذا صنّف يدويًا نحو 100 رسالة من رسائلك وقِس النموذج عليها قبل الاعتماد عليه.

يغطّي مقال تصنيف النصوص العربية الأوامر وقوائم التسميات وطريقة التقييم لهذا النوع من المهام، ويشرح اللهجات العربية معنى هذه التسميات.

أسئلة شائعة

ما مدى دقة تحديد اللهجة العربية؟

تعتمد على درجة التفصيل وطول النص. في NADI 2024 حقق أفضل نظام 50.57 في مقياس F1 لتحديد اللهجة متعدد التسميات، ويخلص المنظمون إلى أن المهمة ما زالت صعبة. وتسميات المنطقة على الرسائل الأطول أسهل من تسميات البلد أو المدينة على الرسائل القصيرة.

هل يمكن أن تحمل الرسالة الواحدة أكثر من لهجة؟

نعم. الجمل القصيرة أو المحايدة قد تصحّ في عدة لهجات، ولهذا صاغت NADI 2024 تحديد اللهجة مهمةً متعددة التسميات. اسمح بإجابة «غير واضح» أو بأكثر من تسمية.

هل أحتاج إلى مصنّف مخصّص لتحديد اللهجة؟

ليس في البداية. نموذج لغة مع قائمة تسميات ثابتة سريع الإعداد. قِس أداءه على عيّنة صنّفتها يدويًا، وانتقل إلى مصنّف مدرَّب إن تطلّب الحجم أو الدقة ذلك.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity