दो स्ट्रिंग स्क्रीन पर बिल्कुल एक जैसी दिख सकती हैं और फिर भी बराबरी की जाँच में फ़ेल हो सकती हैं। Unicode नॉर्मलाइज़ेशन इसका इलाज है।
यह कैसे काम करता है
UAX #15 चार रूप परिभाषित करता है:
| रूप | परिभाषा |
|---|---|
| NFD | Canonical decomposition |
| NFC | Canonical decomposition, फिर canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition, फिर canonical composition |
MDN के शब्दों में, canonical बराबर रूप एक जैसे दिखने और बर्ताव करने चाहिए। Compatibility बराबर रूप “should be treated alike in some — but not necessarily all — applications” (अनुवाद: कुछ, लेकिन ज़रूरी नहीं कि सभी, ऐप्लिकेशन में एक जैसे माने जाने चाहिए), इसलिए NFKC और NFKD टेक्स्ट की दिखावट बदल सकते हैं। JavaScript का normalize() डिफ़ॉल्ट रूप से NFC है। Python वही चारों रूप unicodedata.normalize(form, s) में देता है, और स्ट्रिंग जाँचने के लिए unicodedata.is_normalized।
अरबी में दोनों तरह के उदाहरण मिलते हैं।
Canonical. Unicode Standard कहता है कि أ (U+0623) टूटकर ا (U+0627) और U+0654 HAMZA ABOVE बनता है। कुछ कीबोर्ड या कन्वर्टर से आया टेक्स्ट दो-कैरेक्टर वाले रूप में आता है। NFC उसे फिर से U+0623 बना देता है, इसलिए मिलान हो जाता है।
Compatibility. Unicode अरबी presentation forms, यानी अक्षरों के संदर्भ-आधारित आकार और ligatures, को U+FB50 से U+FDFF और U+FE70 से U+FEFE में एन्कोड करता है, और कहता है कि ये compatibility के लिए हैं और “should not be used in general interchange” (अनुवाद: सामान्य आदान-प्रदान में इस्तेमाल नहीं होने चाहिए)। फिर भी ये पुराने PDF से कॉपी किए टेक्स्ट और कुछ OCR आउटपुट में आ जाते हैं। NFKC इन्हें बदल देता है:
| इनपुट | कोड पॉइंट | NFKC के बाद |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (दो अक्षर) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (चार अक्षर) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
CAMeL Tools का normalize_unicode डिफ़ॉल्ट रूप से NFKC लगाता है, पहले दो ख़ास कैरेक्टर, Rial चिह्न U+FDFC और Basmala ligature U+FDFD, को सामान्य अरबी अक्षरों में बदलने के बाद।
यह क्यों मायने रखता है
- सर्च और RAG. presentation forms वाले PDF से निकाला गया दस्तावेज़ सामान्य कीबोर्ड पर टाइप की गई क्वेरी से मेल नहीं खाएगा। अरबी टेक्स्ट नॉर्मलाइज़ेशन के नियमों से पहले, जो मानक अक्षर मानकर चलते हैं, दोनों पर NFKC चलाएँ।
- टोकन गिनती. presentation forms सामान्य अक्षरों से अलग कोड पॉइंट हैं, इसलिए टोकनाइज़र एक ही दिखने वाले शब्द को अलग संख्या के टोकन में बाँट सकता है। UTF-8 में ﻻ 3 बाइट है और لا 4 बाइट। अगर आपका इनपुट PDF से आता है, तो दोनों रूपों को अरबी टोकन काउंटर में गिनें।
- वैलिडेशन. मॉडल आउटपुट की सोर्स टेक्स्ट से तुलना से पहले नॉर्मलाइज़ करें, जैसे यह जाँचते समय कि निकाली गई एंटिटी सच में दस्तावेज़ में है।
BroadNet Inference पर
BroadNet का API रेफ़रेंस नहीं बताता कि सर्वर पर इनपुट नॉर्मलाइज़ होता है या नहीं, इसलिए टेक्स्ट भेजने, इंडेक्स करने या तुलना करने से पहले अपने कोड में नॉर्मलाइज़ करें। अरबी दस्तावेज़ों के लिए विज़न LLM OCR पोस्ट और अरबी इनवॉइस गाइड पेजों को Gemma 4 VL 26B जैसे मॉडलों से इमेज के रूप में पढ़ना बताते हैं, जिससे टूटी हुई PDF टेक्स्ट लेयर से बचा जा सकता है। जो भी टेक्स्ट वापस आए, मिलान से पहले उस पर NFKC चलाएँ।
आम ग़लतियाँ
- दिखाने के लिए NFKC टेक्स्ट सेव करना; NFC मूल रखें।
- दस्तावेज़ नॉर्मलाइज़ करना लेकिन क्वेरी नहीं।
- यह मान लेना कि नॉर्मलाइज़ेशन हरकात, tatweel या bidi marks हटा देता है। ऐसा नहीं होता।