---
title: "Apa itu normalisasi Unicode? NFC vs NFKC untuk teks LLM"
description: "Normalisasi Unicode (NFC, NFD, NFKC, NFKD) membuat string setara pakai code point yang sama. Bentuk mana yang tepat dan kenapa NFKC penting untuk teks PDF/OCR Arab."
url: https://broadrouter.com/id/glossary/unicode-normalization/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/unicode-normalization/) (diperbarui 2026-11-15).

# Normalisasi Unicode (Unicode normalization)

Diperbarui 2026-11-15

Normalisasi Unicode mengubah teks ke bentuk standar sehingga string yang terlihat sama memakai code point yang sama. Ada empat bentuk: NFD, NFC, NFKD, dan NFKC; bentuk K juga menyatukan karakter kompatibilitas, seperti presentation form dan ligatur Arab, menjadi huruf biasa.

Disebut juga: normalisasi Unicode, NFC, NFKC, NFD, NFKD, Unicode normalization

Dua string bisa terlihat identik di layar tetapi tetap gagal dalam pengecekan kesamaan. Solusinya adalah normalisasi Unicode.

## Cara kerjanya

UAX #15 mendefinisikan empat bentuk:

| Bentuk | Definisi |
| --- | --- |
| NFD | Dekomposisi kanonik |
| NFC | Dekomposisi kanonik, lalu komposisi kanonik |
| NFKD | Dekomposisi kompatibilitas |
| NFKC | Dekomposisi kompatibilitas, lalu komposisi kanonik |

Menurut MDN, padanan kanonik seharusnya terlihat dan berperilaku sama. Padanan kompatibilitas “should be treated alike in some — but not necessarily all — applications” (terjemahan: sebaiknya diperlakukan sama di sebagian, tetapi tidak harus semua, aplikasi), sehingga NFKC dan NFKD bisa mengubah tampilan teks. `normalize()` di JavaScript memakai NFC secara default. Python menyediakan keempat bentuk yang sama di `unicodedata.normalize(form, s)`, dan `unicodedata.is_normalized` untuk menguji sebuah string.

Bahasa Arab menunjukkan kedua jenisnya.

**Kanonik.** Unicode Standard menyatakan أ (U+0623) terdekomposisi menjadi ا (U+0627) ditambah U+0654 HAMZA ABOVE. Teks dari sebagian keyboard atau konverter datang dalam bentuk dua karakter. NFC menyusunnya kembali menjadi U+0623, sehingga cocok.

**Kompatibilitas.** Unicode mengodekan presentation form Arab, yaitu bentuk huruf kontekstual dan ligatur, di U+FB50 sampai U+FDFF dan U+FE70 sampai U+FEFE, dan menyatakan bahwa karakter ini untuk kompatibilitas dan “should not be used in general interchange” (terjemahan: tidak boleh dipakai dalam pertukaran data umum). Meski begitu, karakter ini tetap muncul di teks yang disalin dari PDF lama dan sebagian output OCR. NFKC menyatukannya:

| Input | Code point | Setelah NFKC |
| --- | --- | --- |
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dua huruf) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (empat huruf) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

`normalize_unicode` di CAMeL Tools menerapkan NFKC secara default, setelah lebih dulu memetakan dua karakter khusus, tanda Rial U+FDFC dan ligatur Basmalah U+FDFD, ke huruf Arab biasa.

## Mengapa penting

-   **Pencarian dan RAG.** Dokumen hasil ekstraksi PDF yang berisi presentation form tidak akan cocok dengan kueri yang diketik di keyboard biasa. Jalankan NFKC pada keduanya sebelum aturan [normalisasi teks Arab](https://broadrouter.com/id/glossary/arabic-text-normalization/), yang mengasumsikan huruf standar.
-   **Jumlah token.** Presentation form adalah code point yang berbeda dari huruf biasa, jadi [tokenizer](https://broadrouter.com/id/glossary/tokenizer/) bisa memecah kata yang terlihat sama menjadi jumlah token yang berbeda. Dalam UTF-8, ﻻ berukuran 3 byte dan لا 4 byte. Hitung kedua versi di [penghitung token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) jika input Anda berasal dari PDF.
-   **Validasi.** Normalisasikan sebelum membandingkan output model dengan teks sumber, misalnya saat memeriksa bahwa entitas yang diekstrak benar-benar ada di dokumen.

## Di BroadNet Inference

Referensi API BroadNet tidak menyebutkan apakah input dinormalisasi di server, jadi normalisasikan teks di kode Anda sendiri sebelum mengirim, mengindeks, atau membandingkannya. Untuk dokumen Arab, [artikel OCR dengan LLM vision](https://broadrouter.com/id/blog/arabic-ocr-vision-llm/) dan [panduan faktur Arab](https://broadrouter.com/id/guides/read-arabic-invoices-with-vision/) membahas cara membaca halaman sebagai gambar dengan model seperti [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), yang menghindari lapisan teks PDF yang rusak. Jalankan NFKC pada teks apa pun yang dikembalikan sebelum Anda mencocokkannya.

## Kesalahan umum

-   Menyimpan teks NFKC untuk ditampilkan; simpan teks asli dalam NFC.
-   Menormalisasi dokumen tetapi tidak menormalisasi kueri.
-   Mengira normalisasi menghapus harakat, tatweel, atau mark bidi. Tidak demikian.

## Pertanyaan umum

### Sebaiknya pakai NFC atau NFKC?

NFC untuk menyimpan dan menampilkan teks, karena tidak mengubah tampilan. NFKC untuk kunci pencarian dan pencocokan, di mana menyatukan ligatur dan presentation form memang diinginkan. MDN mencatat bahwa bentuk kompatibilitas mengubah tampilan visual.

### Apakah normalisasi Unicode menghapus harakat Arab?

Tidak. Harakat adalah karakter terpisah dan tetap ada. Menghapusnya adalah langkah terpisah dalam normalisasi teks Arab.

### Apakah normalisasi menghapus mark bidi yang tidak terlihat atau karakter zero-width?

Tidak untuk kontrol bidi seperti U+200F atau U+2067; karakter ini lolos tanpa perubahan melalui NFC dan NFKC. Hapus secara terpisah jika mengganggu pencocokan.

## Lihat juga

-   [Normalisasi teks Arab (Arabic text normalization)](https://broadrouter.com/id/glossary/arabic-text-normalization/) (istilah)
-   [Hamzah (hamza)](https://broadrouter.com/id/glossary/hamza/) (istilah)
-   [Tokenizer](https://broadrouter.com/id/glossary/tokenizer/) (istilah)
-   [Optical character recognition (OCR)](https://broadrouter.com/id/glossary/ocr/) (istilah)
-   [Teks right-to-left (RTL)](https://broadrouter.com/id/glossary/rtl-text/) (istilah)
-   [Token](https://broadrouter.com/id/glossary/token/) (istilah)
-   [Membaca faktur dan struk berbahasa Arab dengan model vision](https://broadrouter.com/id/guides/read-arabic-invoices-with-vision/) (panduan)
-   [Normalisasi teks Arab untuk pencarian dan RAG: apa yang perlu diubah](https://broadrouter.com/id/blog/arabic-text-normalization-search/) (artikel)
-   [OCR bahasa Arab vs vision LLM: membaca dokumen dan faktur Arab](https://broadrouter.com/id/blog/arabic-ocr-vision-llm/) (artikel)
-   [Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-unicode-normalization&utm_content=page-cta) ·

**Sumber**

-   [Unicode Standard Annex #15, Unicode Normalization Forms (Unicode 18.0) (diperiksa 2026-11-15)](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs, String.prototype.normalize() (diperiksa 2026-11-15)](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Dokumentasi Python, unicodedata (normalize, is\_normalized) (diperiksa 2026-11-15)](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0, Bab 9 Middle East-I, Arab (presentation form) (diperiksa 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [Kode sumber CAMeL Tools, normalize.py (normalize\_unicode) (diperiksa 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
