BroadRouter
شروع کریں

عربی متن کی نارملائزیشن (Arabic text normalization)

اپ ڈیٹ

عربی متن کی نارملائزیشن وہ مرحلہ ہے جو میچنگ سے پہلے ایک ہی لفظ کی مختلف املاؤں کو ایک شکل میں بدلتا ہے: اعراب اور tatweel ہٹانا، الف کی شکلیں ایک کرنا، اور اکثر ى کو ي اور ة کو ه کرنا۔ یہ سرچ کی اور جانچ پر لگتی ہے، دکھائے جانے والے متن پر نہیں۔

دوسرے نام: عربی نارملائزیشن، عربی متن کی نارملائزیشن، الف نارملائزیشن، arabic normalization kya hai، Arabic normalization، alef normalization، orthographic normalization، tatweel، kashida، alef variants

عربی صارفین ایک ہی لفظ کئی طریقوں سے ٹائپ کرتے ہیں۔ نارملائزیشن ان املاؤں کو آپس میں ملاتی ہے۔

یہ کیسے کام کرتی ہے

نارملائزیشن کیریکٹر بدلنے کے اصولوں کا ایک سیٹ ہے، جو محفوظ متن اور کوئریز دونوں پر لگتا ہے۔ Apache Lucene کا ArabicNormalizer، جو کئی سرچ انجنوں میں استعمال ہوتا ہے، پانچ اصول گنواتا ہے:

  1. الف کی کرسی والے ہمزہ کو سادہ الف کرنا؛
  2. teh marbuta (ة) کو heh (ه) کرنا؛
  3. بے نقطہ yeh، یعنی alef maksura (ى)، کو yeh (ي) کرنا؛
  4. حرکات (اعراب) ہٹانا؛
  5. tatweel، یعنی “stretching character”، ہٹانا۔

CAMeL Tools یہی خیالات الگ الگ فنکشنز کی صورت میں دیتا ہے۔ اس کا normalize_alef_ar إ أ ٱ آ (U+0625، U+0623، U+0671، U+0622) کو ا میں بدلتا ہے، normalize_alef_maksura_ar ى کو ي میں، اور normalize_teh_marbuta_ar ة کو ه میں۔ normalize_unicode بطور ڈیفالٹ NFKC چلاتا ہے، جو Unicode نارملائزیشن ہے اور سب سے پہلے آنی چاہیے۔

Tatweel (U+0640، جسے kashida بھی کہتے ہیں) ایک جوڑنے والا کیریکٹر ہے جسے Unicode Standard سطر برابر کرنے (justification) کے لیے بیان کرتا ہے: کیریکٹرز کے درمیان اسے ڈالنے سے سطر کھنچتی ہے۔ اس کا کوئی معنی نہیں، اس لیے كتـــاب اور كتاب میچ ہونے چاہئیں۔

ایک مثال:

ان پٹ نارملائزیشن کے بعد لگے اصول
إِسْلامٌ اسلام اعراب، الف
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

یہ کیوں اہم ہے

Larkey، Ballesteros اور Connell (2002) نے TREC-2001 کے عربی نیوز وائر مجموعے کو نارملائز کیا: رموزِ اوقاف، اعراب اور غیر حروف ہٹائے اور کئی حرفی شکلوں کو ایک شکل میں بدلا۔ صرف نارملائزیشن سے monolingual average precision .194 سے بڑھ کر .238 ہو گئی۔ اس کے اوپر ان کے light8 stemmer سے یہ .376 تک پہنچی۔

یہی بات ان پر بھی لاگو ہوتی ہے:

  • RAG اور کی ورڈ سرچ۔ ہمزہ کے بغیر ٹائپ کی گئی کوئری کو ہمزہ کے ساتھ لکھی دستاویز ملنی چاہیے۔ عربی RAG سرچ دیکھیں۔
  • Word error rate۔ عربی ASR اسکور اس پر منحصر ہیں کہ ریفرنس اور ٹرانسکرپٹ ایک ہی طرح نارملائز ہوئے یا نہیں۔ عربی WER کی وضاحت اس کا اثر دکھاتی ہے۔
  • ڈپلیکیٹ ہٹانا اور اینالیٹکس۔ نارملائزیشن کے بغیر الفاظ یا صارفین کی اصطلاحات گننے پر ایک لفظ کئی میں بٹ جاتا ہے۔

قیمت یہ ہے کہ الفاظ آپس میں مل جاتے ہیں۔ الف ایک کرنے سے الگ الگ حروف إن اور أن ایک ہی اسٹرنگ بن جاتے ہیں، اور ة سے ه والا اصول كرة (گیند) کو كره (نفرت) سے ملا دیتا ہے۔ ہمزہ اور تائے مربوطہ کے اصولوں کو قابل ترتیب سمجھیں۔

BroadNet Inference پر

نارملائزیشن آپ کے کوڈ میں چلتی ہے، API پر نہیں۔ BroadNet کے چیٹ اور ٹرانسکرپشن اینڈپوائنٹس آپ کا متن یا آڈیو جیسا ہے ویسا لیتے ہیں۔ دو نقول رکھیں: ماڈل اور صارف کے لیے اصل، اور میچنگ کے لیے نارملائزڈ کی۔

مفت عربی ٹیکسٹ نارملائزر یہ اصول براؤزر میں لگاتا ہے تاکہ آپ دیکھ سکیں کہ ہر اصول کیا بدلتا ہے۔ نارملائزیشن گائیڈ میں آزمایا ہوا Python کوڈ اور ہر اصول پر بحث ہے۔

عام غلطیاں

  • دستاویزات کو نارملائز کرنا مگر کوئریز کو نہیں، یا اس کا الٹ۔
  • صارفین کو نارملائزڈ متن دکھانا یا اس کا حوالہ دینا۔
  • مختلف اصولوں والی لائبریریاں ملانا، جیسے ى کے لیے دو الگ میپنگز۔

عام سوالات

کیا نارملائزیشن embedding سرچ میں بھی مدد کرتی ہے؟

کلاسیکی نتائج کی ورڈ سرچ پر ناپے گئے تھے۔ embeddings کے لیے فیصلہ کرنے سے پہلے اپنی کوئریز پر نارملائزڈ اور خام ان پٹ دونوں کو آزمائیں۔

کیا LLM کو بھیجنے سے پہلے متن نارملائز کرنا چاہیے؟

عموماً نہیں۔ اصل متن بھیجیں تاکہ ماڈل اصل املا، ہمزہ اور اعراب دیکھے۔ صرف ان نقول کو نارملائز کریں جن سے آپ میچ، انڈیکس یا اسکور کرتے ہیں۔

کیا تمام لائبریریاں ایک جیسے اصول لگاتی ہیں؟

نہیں۔ CAMeL Tools اور Lucene دونوں alef maksura کو yeh اور teh marbuta کو heh میں بدلتی ہیں، لیکن دوسری لائبریریاں مختلف ہیں۔ ایک اصولی سیٹ چنیں اور دستاویزات اور کوئریز دونوں پر وہی لگائیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں