---
title: "Unicode नॉर्मलाइज़ेशन क्या है? LLM टेक्स्ट में NFC बनाम NFKC"
description: "Unicode नॉर्मलाइज़ेशन (NFC, NFD, NFKC, NFKD) एक जैसी स्ट्रिंग को एक जैसे कोड पॉइंट देता है। कौन सा रूप चुनें, और अरबी PDF व OCR टेक्स्ट के लिए NFKC क्यों ज़रूरी है।"
url: https://broadrouter.com/hi/glossary/unicode-normalization/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/unicode-normalization/) (2026-11-15 को अपडेट किया गया).

# Unicode नॉर्मलाइज़ेशन (Unicode normalization)

अपडेट किया गया 2026-11-15

Unicode नॉर्मलाइज़ेशन टेक्स्ट को एक मानक रूप में बदलता है, ताकि एक जैसी दिखने वाली स्ट्रिंग एक जैसे कोड पॉइंट इस्तेमाल करें। चार रूप हैं NFD, NFC, NFKD और NFKC; K वाले रूप compatibility कैरेक्टर, जैसे अरबी presentation forms और ligatures, को भी सामान्य अक्षरों में बदल देते हैं।

अन्य नाम: यूनिकोड नॉर्मलाइज़ेशन, यूनिकोड सामान्यीकरण, unicode normalization kya hai, nfc vs nfkc, NFC, NFKC, NFD, NFKD

दो स्ट्रिंग स्क्रीन पर बिल्कुल एक जैसी दिख सकती हैं और फिर भी बराबरी की जाँच में फ़ेल हो सकती हैं। Unicode नॉर्मलाइज़ेशन इसका इलाज है।

## यह कैसे काम करता है

UAX #15 चार रूप परिभाषित करता है:

| रूप | परिभाषा |
| --- | --- |
| NFD | Canonical decomposition |
| NFC | Canonical decomposition, फिर canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition, फिर canonical composition |

MDN के शब्दों में, canonical बराबर रूप एक जैसे दिखने और बर्ताव करने चाहिए। Compatibility बराबर रूप “should be treated alike in some — but not necessarily all — applications” (अनुवाद: कुछ, लेकिन ज़रूरी नहीं कि सभी, ऐप्लिकेशन में एक जैसे माने जाने चाहिए), इसलिए NFKC और NFKD टेक्स्ट की दिखावट बदल सकते हैं। JavaScript का `normalize()` डिफ़ॉल्ट रूप से NFC है। Python वही चारों रूप `unicodedata.normalize(form, s)` में देता है, और स्ट्रिंग जाँचने के लिए `unicodedata.is_normalized`।

अरबी में दोनों तरह के उदाहरण मिलते हैं।

**Canonical.** Unicode Standard कहता है कि أ (U+0623) टूटकर ا (U+0627) और U+0654 HAMZA ABOVE बनता है। कुछ कीबोर्ड या कन्वर्टर से आया टेक्स्ट दो-कैरेक्टर वाले रूप में आता है। NFC उसे फिर से U+0623 बना देता है, इसलिए मिलान हो जाता है।

**Compatibility.** Unicode अरबी presentation forms, यानी अक्षरों के संदर्भ-आधारित आकार और ligatures, को U+FB50 से U+FDFF और U+FE70 से U+FEFE में एन्कोड करता है, और कहता है कि ये compatibility के लिए हैं और “should not be used in general interchange” (अनुवाद: सामान्य आदान-प्रदान में इस्तेमाल नहीं होने चाहिए)। फिर भी ये पुराने PDF से कॉपी किए टेक्स्ट और कुछ OCR आउटपुट में आ जाते हैं। NFKC इन्हें बदल देता है:

| इनपुट | कोड पॉइंट | NFKC के बाद |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (दो अक्षर) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (चार अक्षर) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

CAMeL Tools का `normalize_unicode` डिफ़ॉल्ट रूप से NFKC लगाता है, पहले दो ख़ास कैरेक्टर, Rial चिह्न U+FDFC और Basmala ligature U+FDFD, को सामान्य अरबी अक्षरों में बदलने के बाद।

## यह क्यों मायने रखता है

-   **सर्च और RAG.** presentation forms वाले PDF से निकाला गया दस्तावेज़ सामान्य कीबोर्ड पर टाइप की गई क्वेरी से मेल नहीं खाएगा। [अरबी टेक्स्ट नॉर्मलाइज़ेशन](https://broadrouter.com/hi/glossary/arabic-text-normalization/) के नियमों से पहले, जो मानक अक्षर मानकर चलते हैं, दोनों पर NFKC चलाएँ।
-   **टोकन गिनती.** presentation forms सामान्य अक्षरों से अलग कोड पॉइंट हैं, इसलिए [टोकनाइज़र](https://broadrouter.com/hi/glossary/tokenizer/) एक ही दिखने वाले शब्द को अलग संख्या के टोकन में बाँट सकता है। UTF-8 में ﻻ 3 बाइट है और لا 4 बाइट। अगर आपका इनपुट PDF से आता है, तो दोनों रूपों को [अरबी टोकन काउंटर](https://broadrouter.com/tools/arabic-token-counter/) में गिनें।
-   **वैलिडेशन.** मॉडल आउटपुट की सोर्स टेक्स्ट से तुलना से पहले नॉर्मलाइज़ करें, जैसे यह जाँचते समय कि निकाली गई एंटिटी सच में दस्तावेज़ में है।

## BroadNet Inference पर

BroadNet का API रेफ़रेंस नहीं बताता कि सर्वर पर इनपुट नॉर्मलाइज़ होता है या नहीं, इसलिए टेक्स्ट भेजने, इंडेक्स करने या तुलना करने से पहले अपने कोड में नॉर्मलाइज़ करें। अरबी दस्तावेज़ों के लिए [विज़न LLM OCR पोस्ट](https://broadrouter.com/hi/blog/arabic-ocr-vision-llm/) और [अरबी इनवॉइस गाइड](https://broadrouter.com/hi/guides/read-arabic-invoices-with-vision/) पेजों को [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) जैसे मॉडलों से इमेज के रूप में पढ़ना बताते हैं, जिससे टूटी हुई PDF टेक्स्ट लेयर से बचा जा सकता है। जो भी टेक्स्ट वापस आए, मिलान से पहले उस पर NFKC चलाएँ।

## आम ग़लतियाँ

-   दिखाने के लिए NFKC टेक्स्ट सेव करना; NFC मूल रखें।
-   दस्तावेज़ नॉर्मलाइज़ करना लेकिन क्वेरी नहीं।
-   यह मान लेना कि नॉर्मलाइज़ेशन हरकात, tatweel या bidi marks हटा देता है। ऐसा नहीं होता।

## अक्सर पूछे जाने वाले सवाल

### NFC इस्तेमाल करूँ या NFKC?

टेक्स्ट सेव करने और दिखाने के लिए NFC, क्योंकि यह दिखावट नहीं बदलता। सर्च keys और मिलान के लिए NFKC, जहाँ ligatures और presentation forms को मिलाना ही चाहिए। MDN बताता है कि compatibility रूप दिखावट बदल देते हैं।

### क्या Unicode नॉर्मलाइज़ेशन अरबी हरकात (diacritics) हटा देता है?

नहीं। हरकात अलग कैरेक्टर हैं और बने रहते हैं। उन्हें हटाना अरबी टेक्स्ट नॉर्मलाइज़ेशन का एक अलग चरण है।

### क्या नॉर्मलाइज़ेशन अदृश्य bidi marks या zero-width कैरेक्टर हटाता है?

U+200F या U+2067 जैसे bidi कंट्रोल नहीं; वे NFC और NFKC से बिना बदले निकल जाते हैं। अगर वे मिलान बिगाड़ते हैं तो उन्हें अलग से हटाएँ।

## यह भी देखें

-   [अरबी टेक्स्ट नॉर्मलाइज़ेशन (Arabic text normalization)](https://broadrouter.com/hi/glossary/arabic-text-normalization/) (शब्द)
-   [हम्ज़ा (hamza)](https://broadrouter.com/hi/glossary/hamza/) (शब्द)
-   [टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/) (शब्द)
-   [OCR (optical character recognition)](https://broadrouter.com/hi/glossary/ocr/) (शब्द)
-   [राइट-टू-लेफ़्ट टेक्स्ट (right-to-left, RTL text)](https://broadrouter.com/hi/glossary/rtl-text/) (शब्द)
-   [टोकन (token)](https://broadrouter.com/hi/glossary/token/) (शब्द)
-   [विज़न मॉडल से अरबी इनवॉइस और रसीदें पढ़ें](https://broadrouter.com/hi/guides/read-arabic-invoices-with-vision/) (गाइड)
-   [सर्च और RAG के लिए अरबी टेक्स्ट normalization: क्या बदलें, क्या नहीं](https://broadrouter.com/hi/blog/arabic-text-normalization-search/) (लेख)
-   [अरबी OCR बनाम vision LLM: अरबी दस्तावेज़ और इनवॉइस पढ़ना](https://broadrouter.com/hi/blog/arabic-ocr-vision-llm/) (लेख)
-   [अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-unicode-normalization&utm_content=page-cta) ·

**स्रोत**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (जाँचा गया 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (जाँचा गया 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python डॉक्यूमेंटेशन, unicodedata (normalize, is\_normalized) (जाँचा गया 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, अध्याय 9 Middle East-I, अरबी (presentation forms) (जाँचा गया 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [CAMeL Tools सोर्स, normalize.py (normalize\_unicode) (जाँचा गया 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
