Dua rentetan boleh kelihatan serupa di skrin tetapi masih gagal semakan kesamaan. Penormalan Unicode ialah penyelesaiannya.
Cara ia berfungsi
UAX #15 mentakrifkan empat bentuk:
| Bentuk | Takrif |
|---|---|
| NFD | Penguraian kanonik |
| NFC | Penguraian kanonik, kemudian penggubahan kanonik |
| NFKD | Penguraian keserasian |
| NFKC | Penguraian keserasian, kemudian penggubahan kanonik |
Menurut MDN, padanan kanonik sepatutnya kelihatan dan berkelakuan sama. Padanan keserasian pula “should be treated alike in some — but not necessarily all — applications” (Terjemahan BroadRouter: “patut dilayan sama dalam sesetengah — tetapi tidak semestinya semua — aplikasi”), jadi NFKC dan NFKD boleh mengubah rupa teks. normalize() dalam JavaScript menggunakan NFC secara lalai. Python menawarkan empat bentuk yang sama dalam unicodedata.normalize(form, s), dan unicodedata.is_normalized untuk menguji rentetan.
Bahasa Arab menunjukkan kedua-dua jenis.
Kanonik. Unicode Standard menyatakan أ (U+0623) diuraikan kepada ا (U+0627) ditambah U+0654 HAMZA ABOVE. Teks daripada sesetengah papan kekunci atau penukar tiba dalam bentuk dua aksara. NFC menggubahnya semula kepada U+0623, jadi ia sepadan.
Keserasian. Unicode mengekod bentuk persembahan Arab, iaitu bentuk huruf mengikut konteks dan ligatur, dalam U+FB50 hingga U+FDFF dan U+FE70 hingga U+FEFE, dan menyatakan ia untuk keserasian dan “should not be used in general interchange” (Terjemahan BroadRouter: “tidak patut digunakan dalam pertukaran umum”). Ia masih muncul dalam teks yang disalin daripada PDF lama dan sesetengah output OCR. NFKC menggabungkannya:
| Input | Code point | Selepas NFKC |
|---|---|---|
| ﻻ | U+FEFB, LAM WITH ALEF ISOLATED FORM | لا (dua huruf) |
| ﷲ | U+FDF2, ALLAH ISOLATED FORM | الله (empat huruf) |
| ﺍ | U+FE8D, ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
normalize_unicode dalam CAMeL Tools menggunakan NFKC secara lalai, selepas terlebih dahulu memetakan dua aksara khas, simbol Rial U+FDFC dan ligatur Basmalah U+FDFD, kepada huruf Arab biasa.
Mengapa ia penting
- Carian dan RAG. Dokumen yang diekstrak daripada PDF dengan bentuk persembahan tidak akan sepadan dengan pertanyaan yang ditaip pada papan kekunci biasa. Jalankan NFKC pada kedua-duanya sebelum peraturan penormalan teks Arab, yang menganggap huruf adalah standard.
- Kiraan token. Bentuk persembahan ialah code point yang berbeza daripada huruf biasa, jadi tokenizer boleh memecahkan perkataan yang kelihatan sama kepada bilangan token yang berbeza. Dalam UTF-8, ﻻ ialah 3 bait dan لا ialah 4. Kira kedua-dua versi dalam pengira token Arab jika input anda datang daripada PDF.
- Pengesahan. Normalkan sebelum membandingkan output model dengan teks sumber, contohnya semasa menyemak bahawa entiti yang diekstrak benar-benar wujud dalam dokumen.
Di BroadNet Inference
Rujukan API BroadNet tidak menyatakan sama ada input dinormalkan di pelayan, jadi normalkan dalam kod anda sendiri sebelum menghantar, mengindeks atau membandingkan teks. Bagi dokumen Arab, hantaran OCR dengan LLM penglihatan dan panduan invois Arab merangkumi pembacaan halaman sebagai imej dengan model seperti Gemma 4 VL 26B, yang mengelakkan lapisan teks PDF yang rosak. Jalankan NFKC pada apa jua teks yang dipulangkan sebelum anda memadankannya.
Kesilapan biasa
- Menyimpan teks NFKC untuk paparan; simpan teks asal dalam NFC.
- Menormalkan dokumen tetapi tidak menormalkan pertanyaan.
- Menganggap penormalan membuang baris, tatweel atau tanda bidi. Ia tidak berbuat demikian.