BroadRouter
ابدأ الآن

توحيد النص العربي (Arabic text normalization)

آخر تحديث

توحيد النص العربي هو الخطوة التي تحوّل الصيغ الإملائية المختلفة للكلمة نفسها إلى صيغة واحدة قبل المطابقة: حذف التشكيل والتطويل، وتوحيد أشكال الألف، وغالبًا تحويل ى إلى ي وة إلى ه. ويُطبَّق على مفاتيح البحث والتقييم، لا على النص الذي تعرضه.

يُسمّى أيضًا: توحيد النص العربي، تطبيع النص العربي، توحيد الألف، توحيد الهمزات، التطويل، الكشيدة، Arabic normalization، Arabic text normalization، alef normalization، orthographic normalization، tatweel، kashida، alef variants

يكتب المستخدمون العرب الكلمة نفسها بعدة طرق. والتوحيد يجعل هذه الصيغ تتطابق.

كيف يعمل

التوحيد مجموعة من عمليات استبدال الحروف تُطبَّق على النص المخزّن وعلى الاستعلامات معًا. ويسرد ArabicNormalizer في Apache Lucene، المستخدم في كثير من محركات البحث، خمس قواعد:

  1. الهمزة على الألف تصبح ألفًا مجرّدة؛
  2. التاء المربوطة (ة) تصبح هاء (ه)؛
  3. الياء غير المنقوطة، أي الألف المقصورة (ى)، تصبح ياء (ي)؛
  4. حذف الحركات (التشكيل)؛
  5. حذف التطويل، وهو «حرف المدّ».

وتقدّم CAMeL Tools الأفكار نفسها في دوال منفصلة. فالدالة normalize_alef_ar تحوّل إ أ ٱ آ (U+0625 وU+0623 وU+0671 وU+0622) إلى ا، وnormalize_alef_maksura_ar تحوّل ى إلى ي، وnormalize_teh_marbuta_ar تحوّل ة إلى ه. أما normalize_unicode فتشغّل NFKC افتراضيًا، وهذا هو توحيد Unicode الذي يجب أن يأتي أولًا.

والتطويل (U+0640، ويسمّى أيضًا الكشيدة) حرف وصل يصفه معيار Unicode لأغراض ضبط المحاذاة: إدخاله بين الحروف يمدّ السطر. ولا يحمل أي معنى، لذا يجب أن تتطابق كتـــاب وكتاب.

مثال تطبيقي:

المدخل بعد التوحيد القواعد المستخدمة
إِسْلامٌ اسلام التشكيل، الألف
مدرسة مدرسه التاء المربوطة
مستشفى مستشفي الألف المقصورة
كتـــاب كتاب التطويل

لماذا يهم

وحّد Larkey وBallesteros وConnell (2002) مجموعة الأخبار العربية في TREC-2001 بحذف علامات الترقيم والتشكيل وما ليس حروفًا، واستبدال عدة صيغ لبعض الحروف بصيغة واحدة. ورفع التوحيد وحده متوسط الدقة في الاسترجاع أحادي اللغة من 0.194 إلى 0.238. ثم بلغ مجذّعهم light8 فوق ذلك 0.376.

وينطبق الشيء نفسه على:

  • RAG والبحث بالكلمات المفتاحية. الاستعلام المكتوب بلا همزة يجب أن يجد المستند المكتوب بها. راجع البحث في RAG العربي.
  • معدل الخطأ في الكلمات. تعتمد نتائج التعرف على الكلام العربي على ما إذا كانت النصوص المرجعية والنصوص المفرّغة قد وُحّدت بالطريقة نفسها. ويبيّن شرح WER للعربية هذا الأثر.
  • إزالة التكرار والتحليلات. عدّ الكلمات أو مصطلحات المستخدمين بلا توحيد يقسم الكلمة الواحدة إلى عدة كلمات.

والثمن هو دمج كلمات مختلفة. فتوحيد الألف يجعل الأداتين المختلفتين إن وأن سلسلة واحدة، وقاعدة ة إلى ه تدمج كرة (الكرة) مع كره (البغض). تعامل مع قواعد الهمزة والتاء المربوطة على أنها قابلة للضبط.

في BroadNet Inference

يجري التوحيد في شيفرتك، لا في الواجهة. فنقاط نهاية المحادثة والتفريغ الصوتي في BroadNet تأخذ نصك أو صوتك كما هو. احتفظ بنسختين: الأصل للنموذج وللمستخدم، ومفتاح موحّد للمطابقة.

وتطبّق أداة توحيد النص العربي المجانية هذه القواعد في المتصفح لترى ما تغيّره كل قاعدة. ويحتوي دليل التوحيد على شيفرة Python مختبرة ونقاش لكل قاعدة على حدة.

أخطاء شائعة

  • توحيد المستندات دون الاستعلامات، أو العكس.
  • عرض النص الموحّد على المستخدمين أو الاقتباس منه.
  • خلط مكتبات تختلف قواعدها، كأن يكون لـ ى تحويلان مختلفان.

أسئلة شائعة

هل يفيد التوحيد في البحث بالتضمينات أيضًا؟

النتائج الكلاسيكية قيست على البحث بالكلمات المفتاحية. أما مع التضمينات، فاختبر المدخلات الموحّدة والأصلية على استعلاماتك أنت قبل أن تقرر.

هل أوحّد النص قبل إرساله إلى نموذج اللغة؟

غالبًا لا. أرسل النص الأصلي كي يرى النموذج الإملاء الحقيقي والهمزات والتشكيل. وحّد فقط النسخ التي تطابقها أو تفهرسها أو تقيّمها.

هل تطبّق كل المكتبات القواعد نفسها؟

لا. تحوّل CAMeL Tools وLucene كلتاهما الألف المقصورة إلى ياء والتاء المربوطة إلى هاء، لكن مكتبات أخرى تختلف. اختر مجموعة قواعد واحدة وطبّقها على المستندات والاستعلامات معًا.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity