BroadRouter
Mulai

Normalisasi Unicode (Unicode normalization)

Diperbarui

Normalisasi Unicode mengubah teks ke bentuk standar sehingga string yang terlihat sama memakai code point yang sama. Ada empat bentuk: NFD, NFC, NFKD, dan NFKC; bentuk K juga menyatukan karakter kompatibilitas, seperti presentation form dan ligatur Arab, menjadi huruf biasa.

Disebut juga: normalisasi Unicode, NFC, NFKC, NFD, NFKD, Unicode normalization

Dua string bisa terlihat identik di layar tetapi tetap gagal dalam pengecekan kesamaan. Solusinya adalah normalisasi Unicode.

Cara kerjanya

UAX #15 mendefinisikan empat bentuk:

Bentuk Definisi
NFD Dekomposisi kanonik
NFC Dekomposisi kanonik, lalu komposisi kanonik
NFKD Dekomposisi kompatibilitas
NFKC Dekomposisi kompatibilitas, lalu komposisi kanonik

Menurut MDN, padanan kanonik seharusnya terlihat dan berperilaku sama. Padanan kompatibilitas “should be treated alike in some — but not necessarily all — applications” (terjemahan: sebaiknya diperlakukan sama di sebagian, tetapi tidak harus semua, aplikasi), sehingga NFKC dan NFKD bisa mengubah tampilan teks. normalize() di JavaScript memakai NFC secara default. Python menyediakan keempat bentuk yang sama di unicodedata.normalize(form, s), dan unicodedata.is_normalized untuk menguji sebuah string.

Bahasa Arab menunjukkan kedua jenisnya.

Kanonik. Unicode Standard menyatakan أ (U+0623) terdekomposisi menjadi ا (U+0627) ditambah U+0654 HAMZA ABOVE. Teks dari sebagian keyboard atau konverter datang dalam bentuk dua karakter. NFC menyusunnya kembali menjadi U+0623, sehingga cocok.

Kompatibilitas. Unicode mengodekan presentation form Arab, yaitu bentuk huruf kontekstual dan ligatur, di U+FB50 sampai U+FDFF dan U+FE70 sampai U+FEFE, dan menyatakan bahwa karakter ini untuk kompatibilitas dan “should not be used in general interchange” (terjemahan: tidak boleh dipakai dalam pertukaran data umum). Meski begitu, karakter ini tetap muncul di teks yang disalin dari PDF lama dan sebagian output OCR. NFKC menyatukannya:

Input Code point Setelah NFKC
ﻻ U+FEFB, LAM WITH ALEF ISOLATED FORM لا (dua huruf)
ﷲ U+FDF2, ALLAH ISOLATED FORM الله (empat huruf)
ﺍ U+FE8D, ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

normalize_unicode di CAMeL Tools menerapkan NFKC secara default, setelah lebih dulu memetakan dua karakter khusus, tanda Rial U+FDFC dan ligatur Basmalah U+FDFD, ke huruf Arab biasa.

Mengapa penting

  • Pencarian dan RAG. Dokumen hasil ekstraksi PDF yang berisi presentation form tidak akan cocok dengan kueri yang diketik di keyboard biasa. Jalankan NFKC pada keduanya sebelum aturan normalisasi teks Arab, yang mengasumsikan huruf standar.
  • Jumlah token. Presentation form adalah code point yang berbeda dari huruf biasa, jadi tokenizer bisa memecah kata yang terlihat sama menjadi jumlah token yang berbeda. Dalam UTF-8, ﻻ berukuran 3 byte dan لا 4 byte. Hitung kedua versi di penghitung token bahasa Arab jika input Anda berasal dari PDF.
  • Validasi. Normalisasikan sebelum membandingkan output model dengan teks sumber, misalnya saat memeriksa bahwa entitas yang diekstrak benar-benar ada di dokumen.

Di BroadNet Inference

Referensi API BroadNet tidak menyebutkan apakah input dinormalisasi di server, jadi normalisasikan teks di kode Anda sendiri sebelum mengirim, mengindeks, atau membandingkannya. Untuk dokumen Arab, artikel OCR dengan LLM vision dan panduan faktur Arab membahas cara membaca halaman sebagai gambar dengan model seperti Gemma 4 VL 26B, yang menghindari lapisan teks PDF yang rusak. Jalankan NFKC pada teks apa pun yang dikembalikan sebelum Anda mencocokkannya.

Kesalahan umum

  • Menyimpan teks NFKC untuk ditampilkan; simpan teks asli dalam NFC.
  • Menormalisasi dokumen tetapi tidak menormalisasi kueri.
  • Mengira normalisasi menghapus harakat, tatweel, atau mark bidi. Tidak demikian.

Pertanyaan umum

Sebaiknya pakai NFC atau NFKC?

NFC untuk menyimpan dan menampilkan teks, karena tidak mengubah tampilan. NFKC untuk kunci pencarian dan pencocokan, di mana menyatukan ligatur dan presentation form memang diinginkan. MDN mencatat bahwa bentuk kompatibilitas mengubah tampilan visual.

Apakah normalisasi Unicode menghapus harakat Arab?

Tidak. Harakat adalah karakter terpisah dan tetap ada. Menghapusnya adalah langkah terpisah dalam normalisasi teks Arab.

Apakah normalisasi menghapus mark bidi yang tidak terlihat atau karakter zero-width?

Tidak untuk kontrol bidi seperti U+200F atau U+2067; karakter ini lolos tanpa perubahan melalui NFC dan NFKC. Hapus secara terpisah jika mengganggu pencocokan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity