---
title: "Apakah itu penormalan Unicode? NFC lawan NFKC untuk teks LLM"
description: "Penormalan Unicode (NFC, NFD, NFKC, NFKD) menyeragamkan code point rentetan setara. Bentuk mana untuk diguna, dan mengapa NFKC penting bagi teks PDF dan OCR Arab."
url: https://broadrouter.com/ms/glossary/unicode-normalization/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/unicode-normalization/) (dikemas kini 2026-11-15).

# Penormalan Unicode (Unicode normalization)

Dikemas kini 2026-11-15

Penormalan Unicode menukar teks kepada bentuk piawai supaya rentetan yang kelihatan sama menggunakan code point yang sama. Empat bentuknya ialah NFD, NFC, NFKD dan NFKC; bentuk K juga menggabungkan aksara keserasian, seperti bentuk persembahan Arab dan ligatur, kepada huruf biasa.

Juga dikenali sebagai: penormalan Unicode, normalisasi Unicode, NFC, NFKC, NFD, NFKD

Dua rentetan boleh kelihatan serupa di skrin tetapi masih gagal semakan kesamaan. Penormalan Unicode ialah penyelesaiannya.

## Cara ia berfungsi

UAX #15 mentakrifkan empat bentuk:

| Bentuk | Takrif |
| --- | --- |
| NFD | Penguraian kanonik |
| NFC | Penguraian kanonik, kemudian penggubahan kanonik |
| NFKD | Penguraian keserasian |
| NFKC | Penguraian keserasian, kemudian penggubahan kanonik |

Menurut MDN, padanan kanonik sepatutnya kelihatan dan berkelakuan sama. Padanan keserasian pula “should be treated alike in some — but not necessarily all — applications” (Terjemahan BroadRouter: “patut dilayan sama dalam sesetengah — tetapi tidak semestinya semua — aplikasi”), jadi NFKC dan NFKD boleh mengubah rupa teks. `normalize()` dalam JavaScript menggunakan NFC secara lalai. Python menawarkan empat bentuk yang sama dalam `unicodedata.normalize(form, s)`, dan `unicodedata.is_normalized` untuk menguji rentetan.

Bahasa Arab menunjukkan kedua-dua jenis.

**Kanonik.** Unicode Standard menyatakan أ (U+0623) diuraikan kepada ا (U+0627) ditambah U+0654 HAMZA ABOVE. Teks daripada sesetengah papan kekunci atau penukar tiba dalam bentuk dua aksara. NFC menggubahnya semula kepada U+0623, jadi ia sepadan.

**Keserasian.** Unicode mengekod bentuk persembahan Arab, iaitu bentuk huruf mengikut konteks dan ligatur, dalam U+FB50 hingga U+FDFF dan U+FE70 hingga U+FEFE, dan menyatakan ia untuk keserasian dan “should not be used in general interchange” (Terjemahan BroadRouter: “tidak patut digunakan dalam pertukaran umum”). Ia masih muncul dalam teks yang disalin daripada PDF lama dan sesetengah output OCR. NFKC menggabungkannya:

| Input | Code point | Selepas NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dua huruf) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (empat huruf) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

`normalize_unicode` dalam CAMeL Tools menggunakan NFKC secara lalai, selepas terlebih dahulu memetakan dua aksara khas, simbol Rial U+FDFC dan ligatur Basmalah U+FDFD, kepada huruf Arab biasa.

## Mengapa ia penting

-   **Carian dan RAG.** Dokumen yang diekstrak daripada PDF dengan bentuk persembahan tidak akan sepadan dengan pertanyaan yang ditaip pada papan kekunci biasa. Jalankan NFKC pada kedua-duanya sebelum peraturan [penormalan teks Arab](https://broadrouter.com/ms/glossary/arabic-text-normalization/), yang menganggap huruf adalah standard.
-   **Kiraan token.** Bentuk persembahan ialah code point yang berbeza daripada huruf biasa, jadi [tokenizer](https://broadrouter.com/ms/glossary/tokenizer/) boleh memecahkan perkataan yang kelihatan sama kepada bilangan token yang berbeza. Dalam UTF-8, ﻻ ialah 3 bait dan لا ialah 4. Kira kedua-dua versi dalam [pengira token Arab](https://broadrouter.com/tools/arabic-token-counter/) jika input anda datang daripada PDF.
-   **Pengesahan.** Normalkan sebelum membandingkan output model dengan teks sumber, contohnya semasa menyemak bahawa entiti yang diekstrak benar-benar wujud dalam dokumen.

## Di BroadNet Inference

Rujukan API BroadNet tidak menyatakan sama ada input dinormalkan di pelayan, jadi normalkan dalam kod anda sendiri sebelum menghantar, mengindeks atau membandingkan teks. Bagi dokumen Arab, [hantaran OCR dengan LLM penglihatan](https://broadrouter.com/ms/blog/arabic-ocr-vision-llm/) dan [panduan invois Arab](https://broadrouter.com/ms/guides/read-arabic-invoices-with-vision/) merangkumi pembacaan halaman sebagai imej dengan model seperti [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/), yang mengelakkan lapisan teks PDF yang rosak. Jalankan NFKC pada apa jua teks yang dipulangkan sebelum anda memadankannya.

## Kesilapan biasa

-   Menyimpan teks NFKC untuk paparan; simpan teks asal dalam NFC.
-   Menormalkan dokumen tetapi tidak menormalkan pertanyaan.
-   Menganggap penormalan membuang baris, tatweel atau tanda bidi. Ia tidak berbuat demikian.

## Soalan lazim

### Patutkah saya menggunakan NFC atau NFKC?

NFC untuk menyimpan dan memaparkan teks, kerana ia tidak mengubah rupa. NFKC untuk kunci carian dan pemadanan, di mana penggabungan ligatur dan bentuk persembahan memang dikehendaki. MDN menyatakan bentuk keserasian mengubah rupa visual.

### Adakah penormalan Unicode membuang baris (diakritik) Arab?

Tidak. Baris ialah aksara berasingan dan kekal. Membuangnya ialah langkah berasingan dalam penormalan teks Arab.

### Adakah penormalan membuang tanda bidi yang tidak kelihatan atau aksara lebar sifar?

Tidak bagi kawalan bidi seperti U+200F atau U+2067; ia melalui NFC dan NFKC tanpa berubah. Buangnya secara berasingan jika ia merosakkan pemadanan.

## Lihat juga

-   [Penormalan teks Arab (Arabic text normalization)](https://broadrouter.com/ms/glossary/arabic-text-normalization/) (istilah)
-   [Hamzah (hamza)](https://broadrouter.com/ms/glossary/hamza/) (istilah)
-   [Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/) (istilah)
-   [Pengecaman aksara optik (OCR)](https://broadrouter.com/ms/glossary/ocr/) (istilah)
-   [Teks kanan ke kiri (right-to-left, RTL)](https://broadrouter.com/ms/glossary/rtl-text/) (istilah)
-   [Token](https://broadrouter.com/ms/glossary/token/) (istilah)
-   [Baca invois dan resit Arab dengan model vision](https://broadrouter.com/ms/guides/read-arabic-invoices-with-vision/) (panduan)
-   [Penormalan teks Arab untuk carian dan RAG: apa diubah, apa tidak](https://broadrouter.com/ms/blog/arabic-text-normalization-search/) (artikel)
-   [OCR bahasa Arab vs LLM vision: membaca dokumen dan invois Arab](https://broadrouter.com/ms/blog/arabic-ocr-vision-llm/) (artikel)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-unicode-normalization&utm_content=page-cta) ·

**Sumber**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (disemak 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (disemak 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Dokumentasi Python, unicodedata (normalize, is\_normalized) (disemak 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, Chapter 9 Middle East-I, Arabic (bentuk persembahan) (disemak 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Kod sumber CAMeL Tools, normalize.py (normalize\_unicode) (disemak 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
