BroadRouter

سرچ اور RAG کے لیے عربی متن کی normalization: کیا بدلیں، کیا نہیں

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

سرچ اور RAG index کے لیے محفوظ کاپی اور ہر query، دونوں کو ایک ہی طرح normalize کریں: Unicode NFKC، تشکیل اور tatweel ہٹائیں، الف کی شکلیں یکساں کریں، ى کو ي اور ة کو ه میں بدلیں، اور ہندسے تبدیل کریں۔ دکھانے اور LLM کے لیے اصل متن رکھیں۔ ہمزہ کی کرسیوں اور ta marbuta کو قابلِ ترتیب سمجھیں: یہ recall بڑھاتے ہیں مگر کچھ الگ الفاظ کو ملا دیتے ہیں۔

عربی میں ایک ہی لفظ کئی طرح لکھا جا سکتا ہے۔ صارف احمد ٹائپ کرتا ہے؛ دستاویز میں أَحْمَد لکھا ہے۔ جو سرچ index حروف کو ہوبہو ملاتا ہے، وہ یہ میچ چوک جاتا ہے، اور RAG پائپ لائن کا keyword والا آدھا حصہ بھی۔ Normalization موازنے سے پہلے شکلوں کو ایک شکل میں بدل کر اسے ٹھیک کرتی ہے۔ لاپروائی سے کی جائے تو یہ مختلف معنی والے الفاظ کو بھی ملا دیتی ہے۔ یہ پوسٹ اصول بہ اصول چلتی ہے: ہر اصول کیا کرتا ہے، کب لاگو کریں، کیا توڑتا ہے، اور اہم لائبریریاں کیسے مختلف ہیں۔ آخر میں ٹیسٹ شدہ Python ہے۔

پوری عربی RAG پائپ لائن (chunking، hybrid سرچ، حوالوں والے جوابات) کے لیے دیکھیں کام کرنے والا عربی RAG۔ یہ پوسٹ normalization والے مرحلے میں زیادہ گہرائی تک جاتی ہے۔

کیا normalization واقعی retrieval میں مدد دیتی ہے؟

ہاں، keyword سرچ کے لیے، اور ثبوت پرانا مگر واضح ہے۔ Larkey، Ballesteros اور Connell (SIGIR 2002) نے TREC-2001 کے خبری ذخیرے پر عربی retrieval ٹیسٹ کیا۔ Stemming سے پہلے انہوں نے corpus اور queries کو normalize کیا: اعراب اور رموزِ اوقاف ہٹائے، الف کی شکلیں یکساں کیں، اور لفظ کے آخر کے ى اور ة بدلے۔ ان کے monolingual نتائج، بغیر توسیع والی queries کے ساتھ:

Processing Average precision خام کے مقابلے میں تبدیلی (گول کیے گئے اعداد سے)
خام متن .194 —
Normalized .238 +22.7%
Normalized + light stemming (light8) .376 +93.8%

دو احتیاطیں۔ یہ خبروں پر 2002 کا keyword retrieval ہے، embedding سرچ نہیں۔ اور سب سے بڑا فائدہ light stemming (و اور ال جیسے prefixes اور عام suffixes ہٹانا) سے آیا، جو normalization سے الگ مرحلہ ہے۔ Lucene کا ArabicAnalyzer اور Elasticsearch کا arabic analyzer دونوں لاگو کرتے ہیں: پہلے normalizer، پھر light stemmer۔

کیا normalize کریں، اور ہر اصول کی کیا قیمت ہے؟

اصول مثال سرچ index خطرہ
Unicode NFKC ﻻ → لا, ا + ٔ → أ ہاں، ہمیشہ پہلے دوسرے رسم الخط کے compatibility حروف بھی بدلتا ہے
غیر مرئی نشانات ہٹائیں zero-width joiners، RLM/LRM، BOM ہاں عربی کے لیے کوئی نہیں؛ فارسی میں ZWNJ اہم ہے
تشکیل ہٹائیں أَحْمَدُ → أحمد ہاں صرف حرکات سے پہچانے جانے والے الفاظ مل جاتے ہیں
Tatweel (ـ) ہٹائیں الـــمدينة → المدينة ہاں کوئی نہیں
الف یکساں کریں أ إ آ ٱ → ا ہاں کچھ جوڑے مل جاتے ہیں: سأل (پوچھا) اور سال (بہا)
Alef maksura ى → ي عموماً على (پر) اور علي (علی) مل جاتے ہیں
Ta marbuta ة → ه عموماً كتابة (تحریر) اور كتابه (اس کی کتاب) مل جاتے ہیں
ہمزہ کی کرسیاں ؤ ئ → ء اختیاری مسؤول اور مسئول ملتے ہیں (اچھا) مگر کچھ الگ الفاظ بھی
فارسی حروف ی → ي, ک → ك ہاں، اگر صارفین کے پاس فارسی کی بورڈ ہیں عربی متن کے لیے کوئی نہیں
ہندسے ٢٠٢٦ اور ۲۰۲۶ → 2026 ہاں کوئی نہیں؛ دکھانے کے لیے اصل رکھیں

پہلا کالم index key اور query کے لیے ہے۔ جو متن آپ محفوظ کرتے، دکھاتے اور ماڈل کو دیتے ہیں، وہ جیسا لکھا ہے ویسا ہی رہتا ہے۔

Unicode normalization پہلے کیوں آنی چاہیے؟

ایک ہی نظر آنے والا حرف مختلف طریقوں سے محفوظ ہو سکتا ہے۔ أ ایک code point (U+0623) ہو سکتا ہے یا سادہ الف اور اس کے بعد combining ہمزہ (U+0627 U+0654)۔ پرانی PDFs اور کچھ کی بورڈز عربی presentation forms (U+FB50 سے U+FEFF) بناتے ہیں، جیسے ایک حرف والا لام الف ﻻ۔ Unicode normalization میں NFC، ہمزہ کو الف پر جوڑتا ہے، اور NFKC، presentation forms اور ligatures کو بھی کھولتا ہے۔ Python میں unicodedata.normalize("NFKC", "ﻻ") لا لوٹاتا ہے، اور ﷲ الله بن جاتا ہے۔

اسے سب سے پہلے چلائیں۔ ورنہ أ بدلنے والا regex ٹوٹی ہوئی شکل کو چوک جاتا ہے۔ ایک دوسرا جال بھی ہے: CAMeL Tools کا dediac_ar اپنے AR_DIAC_CHARSET (U+064B سے U+0652 اور U+0670) کے حروف ہٹاتا ہے۔ اس set میں combining ہمزہ اور مدہ کے نشانات (U+0653 سے U+0655) شامل نہیں، اس لیے ٹوٹے ہوئے متن پر وہ اعراب ہٹانے کے بعد بھی بچ جاتے ہیں۔ NFKC انہیں پہلے جوڑ دیتا ہے۔

NFKC ایک compatibility mapping ہے۔ یہ عربی کے باہر کے حروف بھی بدلتا ہے، جیسے full-width لاطینی حروف۔ سرچ key میں عموماً یہی چاہیے، اور یہ اصل کو اس کے ساتھ رکھنے کی ایک اور وجہ ہے۔

کیا normalize نہیں کرنا چاہیے؟

  • وہ متن جو آپ دکھاتے، حوالہ دیتے یا نقل کرتے ہیں۔ Normalized عربی غلط املا والی لگتی ہے (المدينه)۔ اصل کو key کے ساتھ محفوظ کریں۔
  • جو آپ LLM کو بھیجتے ہیں۔ ماڈلز ہمزہ اور تشکیل ٹھیک پڑھ لیتے ہیں، اور ہوبہو متن نام اور اقتباسات درست رکھتا ہے۔ تشکیل ہٹانے سے کچھ ٹوکن بچتے ہیں؛ درستگی کے بدلے یہ سودا کرنے سے پہلے عربی ٹوکن کاؤنٹر سے دیکھیں کہ کتنے۔
  • ایسا متن جہاں نشانات معنی رکھتے ہیں: قرآن، حدیث، شاعری، بچوں کی کتابیں، تلفظ اور اعراب لگانے والے کام (دیکھیں LLM سے اعراب لگانا)۔
  • املا یا گرامر کی تصحیح: پہلے normalize کرنے سے وہی ہمزہ اور taa marbuta کی غلطیاں مٹ جاتی ہیں جنہیں آپ درست کرنا چاہتے ہیں؛ دیکھیں LLM سے عربی گرامر اور املا کی تصحیح۔
  • Identifiers۔ پروڈکٹ کوڈ، ای میلز، URLs اور لاطینی متن عربی اصولوں سے نہیں گزرنے چاہییں۔ Normalization صرف عربی رسم الخط والے فیلڈز پر، یا صرف عربی ٹوکنز پر لاگو کریں۔
  • ایسے فیلڈز جنہیں لوگ ہوبہو تلاش کرتے ہیں۔ قانونی ناموں یا ID جیسے فیلڈز کے لیے ایک خام کاپی بھی index کریں، تاکہ عین میچ پھر بھی سب سے اوپر آ سکے۔

CAMeL Tools، PyArabic اور Lucene میں کیا فرق ہے؟

یہ ایک جیسے اصول نافذ نہیں کرتے، اور انہیں ملانے سے ایسا index اور queries بنتی ہیں جو کبھی میچ نہیں ہوتیں۔ ہم نے ہر لائبریری کی دستاویزات اور source پڑھا، اور PyArabic 0.6.15 چلایا:

Function اصل میں کیا کرتا ہے
CAMeL normalize_unicode NFKC (یا compatibility=False کے ساتھ NFC)؛ ﷼ کو ريال اور ﷽ کو اس کے پورے جملے میں بھی پھیلاتا ہے
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar U+064B سے U+0652 اور U+0670 ہٹاتا ہے؛ tatweel چھوڑ دیتا ہے
PyArabic strip_tashkeel شدہ سمیت تمام harakat ہٹاتا ہے
PyArabic strip_tatweel ـ ہٹاتا ہے
PyArabic normalize_alef الف کی ہر شکل اور ى → ا، اس لیے إلى بن جاتا ہے الا
PyArabic normalize_hamza ڈیفالٹ طریقہ ہمزہ کی ہر شکل کو ء میں بدلتا ہے، أ سمیت، اس لیے أحمد بن جاتا ہے ءحمد
Lucene ArabicNormalizer الف پر ہمزہ والی شکلیں → ا، ة → ه، ى → ي، harakat اور tatweel ہٹاتا ہے

PyArabic والی سطریں لوگوں کو حیران کرتی ہیں۔ اس کے normalize_alef کا docstring کہتا ہے کہ alef maksura استثنا ہے، مگر 0.6.15 میں ALEFAT set میں ى شامل ہے، اور function اسے ا میں بدل دیتا ہے۔ اس کا normalize_hamza ہمزہ سے بے پروا میچنگ کے لیے بنا ہے، عام سرچ کے لیے نہیں۔ ترتیب بھی اہم ہے: پہلے الف کی normalization چلائیں، تو normalize_hamza صرف ؤ، ئ اور ء کو چھوتا ہے، اس لیے مسؤول اور مسئول دونوں مسءول بن جاتے ہیں۔ اس کا tasheel طریقہ اس کی بجائے مسوول اور مسيول دیتا ہے، جو آپس میں میچ نہیں ہوتے۔

Elasticsearch کا arabic_normalization filter، Lucene normalizer استعمال کرتا ہے، اس لیے جو Python پائپ لائن کسی Elasticsearch index سے میچ ہونا چاہتی ہے، اسے Lucene کے اصول ہوبہو اپنانے چاہییں۔ یعنی ى → ي، ى → ا نہیں۔

ٹیسٹ شدہ normalizer کیسا دکھتا ہے؟

یہ function، Lucene کے فیصلوں کی پیروی کرتا ہے، Unicode، ہندسوں اور فارسی حروف کو سنبھالنا شامل کرتا ہے، اور خطرے والے اصولوں کو آن آف کرنے کے قابل بناتا ہے۔ یہ صرف standard library استعمال کرتا ہے۔

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

ہماری ٹیسٹ strings پر اس نے یہ لوٹایا:

ان پٹ آؤٹ پٹ نوٹ
أَحْمَدُ احمد تشکیل اور ہمزہ ہٹ گئے
الـــمدينة المدينه Tatweel اور ta marbuta
إلى الي الف اور alef maksura
ا + U+0654 + مل امل ٹوٹا ہمزہ جڑا، پھر یکساں کیا گیا
ﻻبد لابد Presentation form کھولا گیا
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 عربی-ہندی اور فارسی ہندسے
مسؤول / مسئول hamza_seats=True کے ساتھ دونوں مسءول ڈیفالٹ میں بغیر تبدیلی
فارسی فارسي فارسی ی

اسے دو جگہ استعمال کریں: جب آپ index key بناتے ہیں اور جب آپ query پڑھتے ہیں۔ original اور normalize(original) ساتھ ساتھ محفوظ کریں، دوسرے پر سرچ کریں اور پہلا لوٹائیں۔ مفت عربی متن normalizer میں آپ متن پیسٹ کر کے اپنی سیٹنگز منتخب کرنے سے پہلے ہر اصول کا اثر دیکھ سکتے ہیں۔

Normalization، embeddings اور RAG میں کیسے فِٹ ہوتی ہے؟

RAG پائپ لائن میں عموماً دو retrievers ہوتے ہیں: keyword سرچ (BM25) اور embeddings۔ Normalization واضح طور پر keyword والے حصے کی مدد کرتی ہے۔ Embedding والے حصے پر اوپر والا ثبوت لاگو نہیں ہوتا: embedding ماڈلز خام متن پر trained ہوتے ہیں، اور بہت سے پہلے ہی احمد اور أحمد کو قریب قریب رکھتے ہیں۔ Embedding سے پہلے normalize کرنا مدد دے سکتا ہے، کچھ نہ کرے، یا نقصان دے۔ معلوم جوابات والی 50 سے 100 اصل queries بنائیں، انہیں خام اور normalized ان پٹ کے ساتھ چلائیں، اور جو زیادہ recall دے وہ رکھیں۔ جو بھی منتخب کریں، اسے دستاویزات اور queries پر یکساں لاگو کریں۔

Normalization ٹوکنز کی تعداد بھی تھوڑی کم کرتی ہے، کیونکہ اعراب اور tatweel، tokenizer کے لیے اضافی حروف ہیں۔ ناپے گئے تناسب tokenizer efficiency dataset اور عربی میں فی لفظ ٹوکن میں ہیں۔ Speech recognition کو منصفانہ اسکور کرنے کے لیے بھی یہی normalization استعمال ہوتی ہے؛ دیکھیں عربی WER کی وضاحت۔

Arabizi (لاطینی حروف میں عربی) کو بالکل مختلف طریقہ چاہیے: LLMs، Arabizi کو کیسے سنبھالتے ہیں۔

BroadNet Inference کہاں فِٹ ہوتا ہے

Normalization آپ کے اپنے کوڈ میں چلتی ہے، اس لیے اس کے لیے کوئی API نہیں چاہیے۔ BroadNet Inference، retrieval کے بعد آتا ہے۔ یہ embeddings نہیں بیچتا، اس لیے اپنی پسند کا retriever اور embeddings فراہم کنندہ جواب والے مرحلے کے لیے BroadNet چیٹ ماڈل کے ساتھ جوڑیں۔ GLM 5.3 اور DeepSeek V4.1 Flash، 1,048,576 ٹوکن کا کانٹیکسٹ لیتے ہیں، اس لیے آپ بہت سے نکالے گئے اقتباسات ان کی اصل، بغیر normalize کی عربی میں بھیج سکتے ہیں۔ عربی معیار پر ماڈل منتخب کرنے کے لیے دیکھیں عربی کے لیے LLM کا انتخاب۔ اگر آپ کو صرف keyword سرچ چاہیے تو شاید Elasticsearch کا بلٹ اِن arabic analyzer ہی کافی ہو۔

عام سوالات

کیا عربی متن index کرنے سے پہلے تشکیل (اعراب) ہٹا دوں؟

سرچ کے لیے، ہاں: زیادہ تر queries اور زیادہ تر جدید متن میں اعراب نہیں ہوتے، اس لیے ورنہ اعراب والی دستاویزات میچ نہیں ہوں گی۔ انہیں index key اور query سے ہٹائیں، دکھانے کے لیے اصل متن رکھیں، اور قرآن، شاعری یا تلفظ والے کاموں میں انہیں رکھیں جہاں وہ معنی رکھتے ہیں۔

کیا ta marbuta (ة) کو ha (ه) میں normalize کرنا چاہیے؟

سرچ کے لیے عموماً ہاں، کیونکہ بہت سے لوگ لفظ کے آخر میں ه ٹائپ کرتے ہیں۔ یہ کچھ جوڑوں کو ملا دیتا ہے، جیسے كتابة (تحریر) اور كتابه (اس کی کتاب)۔ اگر آپ کے شعبے میں یہ ٹکراؤ اہم ہیں تو ة رکھیں اور دونوں سیٹنگز ٹیسٹ کریں۔

Elasticsearch میں عربی normalization کیا کرتی ہے؟

arabic_normalization token filter، Lucene کا ArabicNormalizer استعمال کرتا ہے: الف پر ہمزہ والی شکلیں سادہ الف میں، ta marbuta کو ha میں، alef maksura کو ya میں، اور harakat اور tatweel ہٹانا۔ بلٹ اِن arabic analyzer اس میں stop words اور ایک stemmer شامل کرتا ہے جو جڑے ہوئے articles، حروفِ عطف، حروفِ جر اور عام suffixes ہٹاتا ہے۔

کیا عربی normalize کرنے سے embedding سرچ میں مدد ملتی ہے؟

یہ ثابت نہیں ہے۔ ناپے گئے فوائد keyword retrieval سے آتے ہیں۔ Embedding ماڈلز خام متن سے سیکھتے ہیں اور اکثر املا کی شکلیں سنبھال لیتے ہیں، اس لیے فیصلہ کرنے سے پہلے اصل queries کا ایک چھوٹا set بنائیں اور normalization کے ساتھ اور بغیر recall ملائیں۔

کیا LLM کو بھیجنے سے پہلے عربی متن normalize کروں؟

عموماً نہیں۔ اصل متن بھیجیں تاکہ اقتباسات، نام اور حوالے بالکل درست رہیں۔ تشکیل ہٹانے سے کچھ ٹوکن بچتے ہیں، مگر ایسا تبھی کریں جب کام کو ان نشانات کی ضرورت نہ ہو۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں