BroadRouter
शुरू करें

Unicode नॉर्मलाइज़ेशन (Unicode normalization)

अपडेट किया गया

Unicode नॉर्मलाइज़ेशन टेक्स्ट को एक मानक रूप में बदलता है, ताकि एक जैसी दिखने वाली स्ट्रिंग एक जैसे कोड पॉइंट इस्तेमाल करें। चार रूप हैं NFD, NFC, NFKD और NFKC; K वाले रूप compatibility कैरेक्टर, जैसे अरबी presentation forms और ligatures, को भी सामान्य अक्षरों में बदल देते हैं।

अन्य नाम: यूनिकोड नॉर्मलाइज़ेशन, यूनिकोड सामान्यीकरण, unicode normalization kya hai, nfc vs nfkc, NFC, NFKC, NFD, NFKD

दो स्ट्रिंग स्क्रीन पर बिल्कुल एक जैसी दिख सकती हैं और फिर भी बराबरी की जाँच में फ़ेल हो सकती हैं। Unicode नॉर्मलाइज़ेशन इसका इलाज है।

यह कैसे काम करता है

UAX #15 चार रूप परिभाषित करता है:

रूप परिभाषा
NFD Canonical decomposition
NFC Canonical decomposition, फिर canonical composition
NFKD Compatibility decomposition
NFKC Compatibility decomposition, फिर canonical composition

MDN के शब्दों में, canonical बराबर रूप एक जैसे दिखने और बर्ताव करने चाहिए। Compatibility बराबर रूप “should be treated alike in some — but not necessarily all — applications” (अनुवाद: कुछ, लेकिन ज़रूरी नहीं कि सभी, ऐप्लिकेशन में एक जैसे माने जाने चाहिए), इसलिए NFKC और NFKD टेक्स्ट की दिखावट बदल सकते हैं। JavaScript का normalize() डिफ़ॉल्ट रूप से NFC है। Python वही चारों रूप unicodedata.normalize(form, s) में देता है, और स्ट्रिंग जाँचने के लिए unicodedata.is_normalized।

अरबी में दोनों तरह के उदाहरण मिलते हैं।

Canonical. Unicode Standard कहता है कि أ (U+0623) टूटकर ا (U+0627) और U+0654 HAMZA ABOVE बनता है। कुछ कीबोर्ड या कन्वर्टर से आया टेक्स्ट दो-कैरेक्टर वाले रूप में आता है। NFC उसे फिर से U+0623 बना देता है, इसलिए मिलान हो जाता है।

Compatibility. Unicode अरबी presentation forms, यानी अक्षरों के संदर्भ-आधारित आकार और ligatures, को U+FB50 से U+FDFF और U+FE70 से U+FEFE में एन्कोड करता है, और कहता है कि ये compatibility के लिए हैं और “should not be used in general interchange” (अनुवाद: सामान्य आदान-प्रदान में इस्तेमाल नहीं होने चाहिए)। फिर भी ये पुराने PDF से कॉपी किए टेक्स्ट और कुछ OCR आउटपुट में आ जाते हैं। NFKC इन्हें बदल देता है:

इनपुट कोड पॉइंट NFKC के बाद
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (दो अक्षर)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (चार अक्षर)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

CAMeL Tools का normalize_unicode डिफ़ॉल्ट रूप से NFKC लगाता है, पहले दो ख़ास कैरेक्टर, Rial चिह्न U+FDFC और Basmala ligature U+FDFD, को सामान्य अरबी अक्षरों में बदलने के बाद।

यह क्यों मायने रखता है

  • सर्च और RAG. presentation forms वाले PDF से निकाला गया दस्तावेज़ सामान्य कीबोर्ड पर टाइप की गई क्वेरी से मेल नहीं खाएगा। अरबी टेक्स्ट नॉर्मलाइज़ेशन के नियमों से पहले, जो मानक अक्षर मानकर चलते हैं, दोनों पर NFKC चलाएँ।
  • टोकन गिनती. presentation forms सामान्य अक्षरों से अलग कोड पॉइंट हैं, इसलिए टोकनाइज़र एक ही दिखने वाले शब्द को अलग संख्या के टोकन में बाँट सकता है। UTF-8 में ﻻ 3 बाइट है और لا 4 बाइट। अगर आपका इनपुट PDF से आता है, तो दोनों रूपों को अरबी टोकन काउंटर में गिनें।
  • वैलिडेशन. मॉडल आउटपुट की सोर्स टेक्स्ट से तुलना से पहले नॉर्मलाइज़ करें, जैसे यह जाँचते समय कि निकाली गई एंटिटी सच में दस्तावेज़ में है।

BroadNet Inference पर

BroadNet का API रेफ़रेंस नहीं बताता कि सर्वर पर इनपुट नॉर्मलाइज़ होता है या नहीं, इसलिए टेक्स्ट भेजने, इंडेक्स करने या तुलना करने से पहले अपने कोड में नॉर्मलाइज़ करें। अरबी दस्तावेज़ों के लिए विज़न LLM OCR पोस्ट और अरबी इनवॉइस गाइड पेजों को Gemma 4 VL 26B जैसे मॉडलों से इमेज के रूप में पढ़ना बताते हैं, जिससे टूटी हुई PDF टेक्स्ट लेयर से बचा जा सकता है। जो भी टेक्स्ट वापस आए, मिलान से पहले उस पर NFKC चलाएँ।

आम ग़लतियाँ

  • दिखाने के लिए NFKC टेक्स्ट सेव करना; NFC मूल रखें।
  • दस्तावेज़ नॉर्मलाइज़ करना लेकिन क्वेरी नहीं।
  • यह मान लेना कि नॉर्मलाइज़ेशन हरकात, tatweel या bidi marks हटा देता है। ऐसा नहीं होता।

अक्सर पूछे जाने वाले सवाल

NFC इस्तेमाल करूँ या NFKC?

टेक्स्ट सेव करने और दिखाने के लिए NFC, क्योंकि यह दिखावट नहीं बदलता। सर्च keys और मिलान के लिए NFKC, जहाँ ligatures और presentation forms को मिलाना ही चाहिए। MDN बताता है कि compatibility रूप दिखावट बदल देते हैं।

क्या Unicode नॉर्मलाइज़ेशन अरबी हरकात (diacritics) हटा देता है?

नहीं। हरकात अलग कैरेक्टर हैं और बने रहते हैं। उन्हें हटाना अरबी टेक्स्ट नॉर्मलाइज़ेशन का एक अलग चरण है।

क्या नॉर्मलाइज़ेशन अदृश्य bidi marks या zero-width कैरेक्टर हटाता है?

U+200F या U+2067 जैसे bidi कंट्रोल नहीं; वे NFC और NFKC से बिना बदले निकल जाते हैं। अगर वे मिलान बिगाड़ते हैं तो उन्हें अलग से हटाएँ।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें