مدرسة ومدرسه الكلمة نفسها عند معظم القرّاء العرب. لكنهما مختلفتان في مقارنة السلاسل النصية. والتاء المربوطة هي السبب.
كيف يعمل
يُدرج معيار Unicode الحرف TEH MARBUTA (U+0629) ضمن الحروف الختامية، أي التي لا تقع إلا في آخر الكلمة أو المورفيم. وهو يتصل من اليمين فقط، فلا يتصل إلا بالحرف الذي قبله. وشكله هو شكل HEH (U+0647) في آخر الكلمة، مع نقطتين:
| الحرف | نقطة الترميز | اسمه في Unicode | الشكل الأخير بعد ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
ولأن الحرفين لا يختلفان إلا بنقطتين في آخر الكلمة، يظهر الإملاءان كلاهما في النص المكتوب. ويلاحظ Bouamor وزملاؤه (2018) أن للعربية الفصحى المعاصرة إملاءً معياريًا، بخلاف اللهجات، وأن الناس كثيرًا ما يكتبون الكلمات كما ينطقونها. ولذلك توقّع في النص غير الرسمي وفي العربية العامية هاءً في آخر الكلمة حيث يكتب المعجم تاءً مربوطة.
وتدمج أدوات توحيد النص للبحث الحرفين. فالدالة normalize_teh_marbuta_ar في CAMeL Tools مجرد s.replace('ة', 'ه')، ويُدرج ArabicNormalizer في Lucene القاعدة “normalization of teh marbuta to heh” (ترجمة: توحيد التاء المربوطة إلى هاء).
لماذا يهم
الاستدعاء (Recall). دمج ة في ه يجعل استعلامًا عن مدرسه يعثر على مستندات تكتب مدرسة، والعكس. وهي من القواعد المعيارية في توحيد النص العربي، إلى جانب توحيد الألف والهمزة.
كلمات مدموجة. تدمج القاعدة أيضًا كلمات لا تختلف إلا بهذا الحرف:
| الأصل | المعنى | بعد تحويل ة إلى ه |
|---|---|---|
| كرة | الكرة (ball) | كره |
| كره | الكراهية (hatred) | كره |
في البحث، تكون المطابقة الخاطئة العرضية ثمنًا مقبولًا عادةً. أما في مطابقة الكيانات أو التصحيح الإملائي أو النصوص القانونية، فاحتفظ بالتمييز وقارن النصوص الأصلية.
التقييم. في تقييم تحويل الصوت إلى نص، يُحتسب النص المفرّغ الذي يكتب ه حيث يكتب المرجع ة خطأً في كلمة، ما لم يُوحَّد الاثنان بالطريقة نفسها. قرّر ذلك قبل التقييم، وصرّح به.
في BroadNet Inference
لا توحّد واجهة BroadNet النص. فنماذج المحادثة تستقبل ة وه وتُرجعهما كما كُتبتا تمامًا، ويُرجع BroadNet Transcribe Arabic نصًا عربيًا عاديًا. طبّق قاعدة ة في فهرسك أو شيفرة التقييم لديك، على الجانبين.
وإذا طلبت من نموذج محادثة تصحيح الإملاء، فتحقق من تعديلاته في الشيفرة: يعرض مقال التصحيح الإملائي للعربية فحصًا قائمًا على الفروق (diff). وللفهارس، يوضح مقال البحث العربي بتقنية RAG ودليل التوحيد موضع القاعدة. ويمكنك تجربة القاعدة على نصوصك بأداة توحيد النص العربي.