---
title: "Unicode نارملائزیشن کیا ہے؟ LLM متن میں NFC بمقابلہ NFKC"
description: "Unicode نارملائزیشن (NFC، NFD، NFKC، NFKD) ایک جیسی اسٹرنگز کو ایک جیسے کوڈ پوائنٹس دیتی ہے۔ کون سی شکل چنیں، اور عربی PDF اور OCR متن کے لیے NFKC کیوں اہم ہے۔"
url: https://broadrouter.com/ur/glossary/unicode-normalization/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/unicode-normalization/) (اپ ڈیٹ: 2026-11-15).

# Unicode نارملائزیشن (Unicode normalization)

اپ ڈیٹ 2026-11-15

Unicode نارملائزیشن متن کو ایک معیاری شکل میں بدلتی ہے تاکہ ایک جیسی دکھنے والی اسٹرنگز ایک جیسے کوڈ پوائنٹس استعمال کریں۔ چار شکلیں NFD، NFC، NFKD اور NFKC ہیں؛ K والی شکلیں compatibility حروف، جیسے عربی presentation forms اور ligatures، کو بھی عام حروف میں بدل دیتی ہیں۔

دوسرے نام: یونیکوڈ نارملائزیشن، یونیکوڈ معیاری کاری، unicode normalization kya hai، nfc vs nfkc، NFC، NFKC، NFD، NFKD

دو اسٹرنگز اسکرین پر بالکل ایک جیسی دکھ سکتی ہیں اور پھر بھی برابری کی جانچ میں ناکام ہو سکتی ہیں۔ Unicode نارملائزیشن اس کا حل ہے۔

## یہ کیسے کام کرتی ہے

UAX #15 چار شکلیں متعین کرتا ہے:

| شکل | تعریف |
| --- | --- |
| NFD | Canonical decomposition |
| NFC | Canonical decomposition، پھر canonical composition |
| NFKD | Compatibility decomposition |
| NFKC | Compatibility decomposition، پھر canonical composition |

MDN کے الفاظ میں، canonical مساوی شکلیں ایک جیسی دکھنی اور برتاؤ کرنی چاہئیں۔ Compatibility مساوی شکلیں “should be treated alike in some — but not necessarily all — applications” (ترجمہ: کچھ، لیکن ضروری نہیں کہ سب، ایپلیکیشنز میں ایک جیسی سمجھی جانی چاہئیں)، اس لیے NFKC اور NFKD متن کی ظاہری شکل بدل سکتی ہیں۔ JavaScript کا `normalize()` ڈیفالٹ طور پر NFC ہے۔ Python یہی چاروں شکلیں `unicodedata.normalize(form, s)` میں دیتا ہے، اور اسٹرنگ جانچنے کے لیے `unicodedata.is_normalized`۔

عربی میں دونوں قسم کی مثالیں ملتی ہیں۔

**Canonical۔** Unicode Standard کہتا ہے کہ أ (U+0623) ٹوٹ کر ا (U+0627) اور U+0654 HAMZA ABOVE بنتا ہے۔ کچھ کی بورڈز یا کنورٹرز سے آیا متن دو حروف والی شکل میں آتا ہے۔ NFC اسے دوبارہ U+0623 بنا دیتی ہے، اس لیے میل ہو جاتا ہے۔

**Compatibility۔** Unicode عربی presentation forms، یعنی حروف کی سیاق پر مبنی شکلیں اور ligatures، کو U+FB50 سے U+FDFF اور U+FE70 سے U+FEFE میں انکوڈ کرتا ہے، اور کہتا ہے کہ یہ compatibility کے لیے ہیں اور “should not be used in general interchange” (ترجمہ: عام تبادلے میں استعمال نہیں ہونی چاہئیں)۔ پھر بھی یہ پرانی PDFs سے کاپی کیے گئے متن اور کچھ OCR آؤٹ پٹ میں آ جاتی ہیں۔ NFKC انہیں بدل دیتی ہے:

| ان پٹ | کوڈ پوائنٹ | NFKC کے بعد |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (دو حروف) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (چار حروف) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

CAMeL Tools کا `normalize_unicode` ڈیفالٹ طور پر NFKC لگاتا ہے، پہلے دو خاص حروف، ریال کا نشان U+FDFC اور بسملہ ligature U+FDFD، کو عام عربی حروف میں بدلنے کے بعد۔

## یہ کیوں اہم ہے

-   **سرچ اور RAG۔** presentation forms والی PDF سے نکالی گئی دستاویز عام کی بورڈ پر ٹائپ کی گئی کوئری سے میل نہیں کھائے گی۔ [عربی متن کی نارملائزیشن](https://broadrouter.com/ur/glossary/arabic-text-normalization/) کے اصولوں سے پہلے، جو معیاری حروف فرض کرتے ہیں، دونوں پر NFKC چلائیں۔
-   **ٹوکن گنتی۔** presentation forms عام حروف سے مختلف کوڈ پوائنٹس ہیں، اس لیے [ٹوکنائزر](https://broadrouter.com/ur/glossary/tokenizer/) ایک ہی دکھنے والے لفظ کو مختلف تعداد کے ٹوکنز میں بانٹ سکتا ہے۔ UTF-8 میں ﻻ 3 بائٹ ہے اور لا 4 بائٹ۔ اگر آپ کا ان پٹ PDFs سے آتا ہے تو دونوں شکلیں [عربی ٹوکن کاؤنٹر](https://broadrouter.com/tools/arabic-token-counter/) میں گنیں۔
-   **ویلیڈیشن۔** ماڈل آؤٹ پٹ کا ماخذ متن سے موازنہ کرنے سے پہلے نارملائز کریں، مثلاً یہ جانچتے وقت کہ نکالی گئی اینٹیٹی واقعی دستاویز میں موجود ہے۔

## BroadNet Inference پر

BroadNet کا API ریفرنس نہیں بتاتا کہ سرور پر ان پٹ نارملائز ہوتا ہے یا نہیں، اس لیے متن بھیجنے، انڈیکس کرنے یا موازنہ کرنے سے پہلے اپنے کوڈ میں نارملائز کریں۔ عربی دستاویزات کے لیے [وژن LLM OCR پوسٹ](https://broadrouter.com/ur/blog/arabic-ocr-vision-llm/) اور [عربی انوائسز گائیڈ](https://broadrouter.com/ur/guides/read-arabic-invoices-with-vision/) صفحات کو [Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) جیسے ماڈلز سے تصویر کے طور پر پڑھنا بتاتے ہیں، جس سے ٹوٹی ہوئی PDF ٹیکسٹ لیئرز سے بچا جا سکتا ہے۔ جو بھی متن واپس آئے، میچنگ سے پہلے اس پر NFKC چلائیں۔

## عام غلطیاں

-   دکھانے کے لیے NFKC متن محفوظ کرنا؛ NFC اصل رکھیں۔
-   دستاویزات نارملائز کرنا لیکن کوئریز نہیں۔
-   یہ فرض کرنا کہ نارملائزیشن اعراب، تطویل یا bidi marks ہٹا دیتی ہے۔ ایسا نہیں ہوتا۔

## عام سوالات

### NFC استعمال کروں یا NFKC؟

متن محفوظ کرنے اور دکھانے کے لیے NFC، کیونکہ یہ ظاہری شکل نہیں بدلتی۔ سرچ keys اور میچنگ کے لیے NFKC، جہاں ligatures اور presentation forms کو ملانا ہی مقصود ہے۔ MDN بتاتا ہے کہ compatibility شکلیں ظاہری شکل بدل دیتی ہیں۔

### کیا Unicode نارملائزیشن عربی اعراب ہٹا دیتی ہے؟

نہیں۔ اعراب الگ حروف ہیں اور برقرار رہتے ہیں۔ انہیں ہٹانا عربی متن کی نارملائزیشن کا ایک الگ مرحلہ ہے۔

### کیا نارملائزیشن غیر مرئی bidi marks یا zero-width حروف ہٹاتی ہے؟

U+200F یا U+2067 جیسے bidi کنٹرول نہیں؛ وہ NFC اور NFKC سے بغیر بدلے گزر جاتے ہیں۔ اگر وہ میچنگ بگاڑتے ہیں تو انہیں الگ سے ہٹائیں۔

## یہ بھی دیکھیں

-   [عربی متن کی نارملائزیشن (Arabic text normalization)](https://broadrouter.com/ur/glossary/arabic-text-normalization/) (اصطلاح)
-   [ہمزہ (hamza)](https://broadrouter.com/ur/glossary/hamza/) (اصطلاح)
-   [ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/) (اصطلاح)
-   [OCR (optical character recognition)](https://broadrouter.com/ur/glossary/ocr/) (اصطلاح)
-   [دائیں سے بائیں متن (right-to-left، RTL text)](https://broadrouter.com/ur/glossary/rtl-text/) (اصطلاح)
-   [ٹوکن (token)](https://broadrouter.com/ur/glossary/token/) (اصطلاح)
-   [وژن ماڈل سے عربی انوائسز اور رسیدیں پڑھیں](https://broadrouter.com/ur/guides/read-arabic-invoices-with-vision/) (گائیڈ)
-   [سرچ اور RAG کے لیے عربی متن کی normalization: کیا بدلیں، کیا نہیں](https://broadrouter.com/ur/blog/arabic-text-normalization-search/) (مضمون)
-   [عربی OCR بمقابلہ vision LLMs: عربی دستاویزات اور انوائسز پڑھنا](https://broadrouter.com/ur/blog/arabic-ocr-vision-llm/) (مضمون)
-   [عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-unicode-normalization&utm_content=page-cta) ·

**ذرائع**

-   [Unicode Standard Annex #15، Unicode Normalization Forms (Unicode 18.0) (جانچا گیا 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs، String.prototype.normalize() (جانچا گیا 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python دستاویزات، unicodedata (normalize، is\_normalized) (جانچا گیا 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0، باب 9 Middle East-I، عربی (presentation forms) (جانچا گیا 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [CAMeL Tools سورس، normalize.py (normalize\_unicode) (جانچا گیا 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
