دو اسٹرنگز اسکرین پر بالکل ایک جیسی دکھ سکتی ہیں اور پھر بھی برابری کی جانچ میں ناکام ہو سکتی ہیں۔ Unicode نارملائزیشن اس کا حل ہے۔
یہ کیسے کام کرتی ہے
UAX #15 چار شکلیں متعین کرتا ہے:
| شکل | تعریف |
|---|---|
| NFD | Canonical decomposition |
| NFC | Canonical decomposition، پھر canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition، پھر canonical composition |
MDN کے الفاظ میں، canonical مساوی شکلیں ایک جیسی دکھنی اور برتاؤ کرنی چاہئیں۔ Compatibility مساوی شکلیں “should be treated alike in some — but not necessarily all — applications” (ترجمہ: کچھ، لیکن ضروری نہیں کہ سب، ایپلیکیشنز میں ایک جیسی سمجھی جانی چاہئیں)، اس لیے NFKC اور NFKD متن کی ظاہری شکل بدل سکتی ہیں۔ JavaScript کا normalize() ڈیفالٹ طور پر NFC ہے۔ Python یہی چاروں شکلیں unicodedata.normalize(form, s) میں دیتا ہے، اور اسٹرنگ جانچنے کے لیے unicodedata.is_normalized۔
عربی میں دونوں قسم کی مثالیں ملتی ہیں۔
Canonical۔ Unicode Standard کہتا ہے کہ أ (U+0623) ٹوٹ کر ا (U+0627) اور U+0654 HAMZA ABOVE بنتا ہے۔ کچھ کی بورڈز یا کنورٹرز سے آیا متن دو حروف والی شکل میں آتا ہے۔ NFC اسے دوبارہ U+0623 بنا دیتی ہے، اس لیے میل ہو جاتا ہے۔
Compatibility۔ Unicode عربی presentation forms، یعنی حروف کی سیاق پر مبنی شکلیں اور ligatures، کو U+FB50 سے U+FDFF اور U+FE70 سے U+FEFE میں انکوڈ کرتا ہے، اور کہتا ہے کہ یہ compatibility کے لیے ہیں اور “should not be used in general interchange” (ترجمہ: عام تبادلے میں استعمال نہیں ہونی چاہئیں)۔ پھر بھی یہ پرانی PDFs سے کاپی کیے گئے متن اور کچھ OCR آؤٹ پٹ میں آ جاتی ہیں۔ NFKC انہیں بدل دیتی ہے:
| ان پٹ | کوڈ پوائنٹ | NFKC کے بعد |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (دو حروف) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (چار حروف) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
CAMeL Tools کا normalize_unicode ڈیفالٹ طور پر NFKC لگاتا ہے، پہلے دو خاص حروف، ریال کا نشان U+FDFC اور بسملہ ligature U+FDFD، کو عام عربی حروف میں بدلنے کے بعد۔
یہ کیوں اہم ہے
- سرچ اور RAG۔ presentation forms والی PDF سے نکالی گئی دستاویز عام کی بورڈ پر ٹائپ کی گئی کوئری سے میل نہیں کھائے گی۔ عربی متن کی نارملائزیشن کے اصولوں سے پہلے، جو معیاری حروف فرض کرتے ہیں، دونوں پر NFKC چلائیں۔
- ٹوکن گنتی۔ presentation forms عام حروف سے مختلف کوڈ پوائنٹس ہیں، اس لیے ٹوکنائزر ایک ہی دکھنے والے لفظ کو مختلف تعداد کے ٹوکنز میں بانٹ سکتا ہے۔ UTF-8 میں ﻻ 3 بائٹ ہے اور لا 4 بائٹ۔ اگر آپ کا ان پٹ PDFs سے آتا ہے تو دونوں شکلیں عربی ٹوکن کاؤنٹر میں گنیں۔
- ویلیڈیشن۔ ماڈل آؤٹ پٹ کا ماخذ متن سے موازنہ کرنے سے پہلے نارملائز کریں، مثلاً یہ جانچتے وقت کہ نکالی گئی اینٹیٹی واقعی دستاویز میں موجود ہے۔
BroadNet Inference پر
BroadNet کا API ریفرنس نہیں بتاتا کہ سرور پر ان پٹ نارملائز ہوتا ہے یا نہیں، اس لیے متن بھیجنے، انڈیکس کرنے یا موازنہ کرنے سے پہلے اپنے کوڈ میں نارملائز کریں۔ عربی دستاویزات کے لیے وژن LLM OCR پوسٹ اور عربی انوائسز گائیڈ صفحات کو Gemma 4 VL 26B جیسے ماڈلز سے تصویر کے طور پر پڑھنا بتاتے ہیں، جس سے ٹوٹی ہوئی PDF ٹیکسٹ لیئرز سے بچا جا سکتا ہے۔ جو بھی متن واپس آئے، میچنگ سے پہلے اس پر NFKC چلائیں۔
عام غلطیاں
- دکھانے کے لیے NFKC متن محفوظ کرنا؛ NFC اصل رکھیں۔
- دستاویزات نارملائز کرنا لیکن کوئریز نہیں۔
- یہ فرض کرنا کہ نارملائزیشن اعراب، تطویل یا bidi marks ہٹا دیتی ہے۔ ایسا نہیں ہوتا۔