زیادہ تر عربی قارئین کے لیے مدرسة اور مدرسه ایک ہی لفظ ہیں، “اسکول”۔ اسٹرنگ کے موازنے کے لیے یہ مختلف ہیں۔ وجہ تائے مربوطہ ہے۔
یہ کیسے کام کرتی ہے
Unicode Standard میں TEH MARBUTA (U+0629) ایک trailing حرف کے طور پر درج ہے، یعنی ایسا حرف جو صرف لفظ یا morpheme کے آخر میں آتا ہے۔ یہ right-joining ہے، اس لیے صرف اپنے سے پہلے والے حرف سے جڑتا ہے۔ اس کی شکل لفظ کے آخر میں HEH (U+0647) کی شکل ہے، اوپر دو نقطوں کے ساتھ:
| حرف | کوڈ پوائنٹ | Unicode نام | ب کے بعد آخری شکل |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
چونکہ لفظ کے آخر میں دونوں میں صرف دو نقطوں کا فرق ہے، ٹائپ کیے گئے متن میں دونوں املا ملتے ہیں۔ Bouamor et al. (2018) بتاتے ہیں کہ جدید معیاری عربی کا ایک معیاری املا ہے، لیکن بولیوں کا نہیں، اور لوگ اکثر الفاظ کو تلفظ کے مطابق لکھتے ہیں۔ اس لیے غیر رسمی اور بول چال کی عربی میں وہاں آخری ه کی توقع رکھیں جہاں لغت ة لکھے گی۔
سرچ نارملائزرز دونوں کو ایک کر دیتے ہیں۔ CAMeL Tools کا normalize_teh_marbuta_ar سیدھا سادہ s.replace('ة', 'ه') ہے، اور Lucene کا ArabicNormalizer “normalization of teh marbuta to heh” (ترجمہ: teh marbuta کی heh میں نارملائزیشن) کو ایک اصول کے طور پر درج کرتا ہے۔
یہ کیوں اہم ہے
ریکال۔ ة کو ه میں ملانے سے مدرسه کی کوئری ان دستاویزات کو بھی ڈھونڈ لیتی ہے جن میں مدرسة لکھا ہے، اور الٹا بھی۔ یہ عربی متن کی نارملائزیشن کے معیاری اصولوں میں سے ایک ہے، الف اور ہمزہ فولڈنگ کے ساتھ۔
ضم شدہ الفاظ۔ یہ اصول ان الفاظ کو بھی ایک کر دیتا ہے جن میں صرف یہی حرف مختلف ہے:
| اصل | معنی | ة سے ه کے بعد |
|---|---|---|
| كرة | گیند | كره |
| كره | نفرت | كره |
سرچ کے لیے کبھی کبھار کا غلط میل عموماً مناسب قیمت ہے۔ اینٹیٹی میچنگ، املا کی درستی یا قانونی متن کے لیے فرق برقرار رکھیں اور اصل شکلوں کا موازنہ کریں۔
اسکورنگ۔ اسپیچ ٹو ٹیکسٹ کی جانچ میں، جہاں ریفرنس میں ة ہے وہاں ه لکھنے والی ٹرانسکرپٹ ایک لفظی غلطی شمار ہوتی ہے، جب تک دونوں کو ایک ہی طرح نارملائز نہ کیا جائے۔ اسکور کرنے سے پہلے طے کریں، اور اسے لکھیں۔
BroadNet Inference پر
BroadNet کا API متن نارملائز نہیں کرتا۔ چیٹ ماڈلز ة اور ه کو بالکل ویسے ہی لیتے اور لوٹاتے ہیں جیسے لکھے گئے ہوں، اور BroadNet Transcribe Arabic عام عربی متن لوٹاتا ہے۔ ة والا اصول اپنے انڈیکس یا اسکورنگ کوڈ میں، دونوں طرف، لاگو کریں۔
اگر آپ چیٹ ماڈل سے املا درست کرواتے ہیں تو اس کی تبدیلیاں کوڈ میں جانچیں: عربی املا کی درستی والی پوسٹ diff پر مبنی جانچ دکھاتی ہے۔ انڈیکسز کے لیے عربی RAG سرچ پوسٹ اور نارملائزیشن گائیڈ بتاتے ہیں کہ یہ اصول کہاں فٹ ہوتا ہے۔ اپنی اسٹرنگز پر یہ اصول عربی ٹیکسٹ نارملائزر سے آزما سکتے ہیں۔