يكتب المستخدمون العرب الكلمة نفسها بعدة طرق. والتوحيد يجعل هذه الصيغ تتطابق.
كيف يعمل
التوحيد مجموعة من عمليات استبدال الحروف تُطبَّق على النص المخزّن وعلى الاستعلامات معًا. ويسرد ArabicNormalizer في Apache Lucene، المستخدم في كثير من محركات البحث، خمس قواعد:
- الهمزة على الألف تصبح ألفًا مجرّدة؛
- التاء المربوطة (ة) تصبح هاء (ه)؛
- الياء غير المنقوطة، أي الألف المقصورة (ى)، تصبح ياء (ي)؛
- حذف الحركات (التشكيل)؛
- حذف التطويل، وهو «حرف المدّ».
وتقدّم CAMeL Tools الأفكار نفسها في دوال منفصلة. فالدالة normalize_alef_ar تحوّل إ أ ٱ آ (U+0625 وU+0623 وU+0671 وU+0622) إلى ا، وnormalize_alef_maksura_ar تحوّل ى إلى ي، وnormalize_teh_marbuta_ar تحوّل ة إلى ه. أما normalize_unicode فتشغّل NFKC افتراضيًا، وهذا هو توحيد Unicode الذي يجب أن يأتي أولًا.
والتطويل (U+0640، ويسمّى أيضًا الكشيدة) حرف وصل يصفه معيار Unicode لأغراض ضبط المحاذاة: إدخاله بين الحروف يمدّ السطر. ولا يحمل أي معنى، لذا يجب أن تتطابق كتـــاب وكتاب.
مثال تطبيقي:
| المدخل | بعد التوحيد | القواعد المستخدمة |
|---|---|---|
| إِسْلامٌ | اسلام | التشكيل، الألف |
| مدرسة | مدرسه | التاء المربوطة |
| مستشفى | مستشفي | الألف المقصورة |
| كتـــاب | كتاب | التطويل |
لماذا يهم
وحّد Larkey وBallesteros وConnell (2002) مجموعة الأخبار العربية في TREC-2001 بحذف علامات الترقيم والتشكيل وما ليس حروفًا، واستبدال عدة صيغ لبعض الحروف بصيغة واحدة. ورفع التوحيد وحده متوسط الدقة في الاسترجاع أحادي اللغة من 0.194 إلى 0.238. ثم بلغ مجذّعهم light8 فوق ذلك 0.376.
وينطبق الشيء نفسه على:
- RAG والبحث بالكلمات المفتاحية. الاستعلام المكتوب بلا همزة يجب أن يجد المستند المكتوب بها. راجع البحث في RAG العربي.
- معدل الخطأ في الكلمات. تعتمد نتائج التعرف على الكلام العربي على ما إذا كانت النصوص المرجعية والنصوص المفرّغة قد وُحّدت بالطريقة نفسها. ويبيّن شرح WER للعربية هذا الأثر.
- إزالة التكرار والتحليلات. عدّ الكلمات أو مصطلحات المستخدمين بلا توحيد يقسم الكلمة الواحدة إلى عدة كلمات.
والثمن هو دمج كلمات مختلفة. فتوحيد الألف يجعل الأداتين المختلفتين إن وأن سلسلة واحدة، وقاعدة ة إلى ه تدمج كرة (الكرة) مع كره (البغض). تعامل مع قواعد الهمزة والتاء المربوطة على أنها قابلة للضبط.
في BroadNet Inference
يجري التوحيد في شيفرتك، لا في الواجهة. فنقاط نهاية المحادثة والتفريغ الصوتي في BroadNet تأخذ نصك أو صوتك كما هو. احتفظ بنسختين: الأصل للنموذج وللمستخدم، ومفتاح موحّد للمطابقة.
وتطبّق أداة توحيد النص العربي المجانية هذه القواعد في المتصفح لترى ما تغيّره كل قاعدة. ويحتوي دليل التوحيد على شيفرة Python مختبرة ونقاش لكل قاعدة على حدة.
أخطاء شائعة
- توحيد المستندات دون الاستعلامات، أو العكس.
- عرض النص الموحّد على المستخدمين أو الاقتباس منه.
- خلط مكتبات تختلف قواعدها، كأن يكون لـ ى تحويلان مختلفان.