Bahasa Arab membenarkan perkataan yang sama ditulis dalam beberapa cara. Pengguna menaip احمد; dokumen menulis أَحْمَد. Indeks carian yang membandingkan aksara secara tepat terlepas padanan itu, begitu juga separuh kata kunci dalam saluran RAG. Penormalan membetulkannya dengan memetakan varian kepada satu bentuk sebelum dibandingkan. Jika dilakukan secara cuai, ia juga menggabungkan perkataan yang berbeza makna. Artikel ini membincangkan setiap peraturan satu demi satu: apa yang dilakukannya, bila hendak menggunakannya, apa yang dirosakkannya, dan bagaimana pustaka utama berbeza. Ia berakhir dengan kod Python yang telah diuji.
Untuk saluran RAG bahasa Arab penuh (chunking, carian hibrid, jawapan berpetikan), lihat RAG bahasa Arab yang berkesan. Artikel ini mendalami langkah penormalan.
Adakah penormalan benar-benar membantu perolehan semula?
Ya, untuk carian kata kunci, dan buktinya lama tetapi jelas. Larkey, Ballesteros dan Connell (SIGIR 2002) menguji perolehan semula bahasa Arab pada koleksi berita TREC-2001. Sebelum pengakaran, mereka menormalkan korpus dan pertanyaan: membuang diakritik dan tanda baca, menyeragamkan bentuk alef, dan memetakan ى dan ة di hujung perkataan. Hasil ekabahasa mereka, dengan pertanyaan yang tidak diperluas:
| Pemprosesan | Purata kepersisan | Perubahan berbanding mentah (daripada angka yang dibundarkan) |
|---|---|---|
| Teks mentah | .194 | — |
| Ternormal | .238 | +22.7% |
| Ternormal + pengakaran ringan (light8) | .376 | +93.8% |
Dua amaran. Ini perolehan semula kata kunci pada berita pada 2002, bukan carian embedding. Dan keuntungan terbesar datang daripada pengakaran ringan (membuang awalan seperti و dan ال serta akhiran biasa), yang merupakan langkah berasingan daripada penormalan. ArabicAnalyzer Lucene dan penganalisis arabic Elasticsearch menggunakan kedua-duanya: penormal, kemudian pengakar ringan.
Apakah yang patut anda normalkan, dan apakah harga setiap peraturan?
| Peraturan | Contoh | Indeks carian | Risiko |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Ya, sentiasa dahulu | Turut menulis semula aksara keserasian dalam skrip lain |
| Buang tanda tidak kelihatan | penyambung lebar sifar, RLM/LRM, BOM | Ya | Tiada untuk bahasa Arab; ZWNJ penting dalam bahasa Parsi |
| Buang tashkeel | أَحْمَدُ → أحمد | Ya | Menggabungkan perkataan yang hanya dibezakan oleh vokal |
| Buang tatweel (ـ) | الـــمدينة → المدينة | Ya | Tiada |
| Seragamkan alef | أ إ آ ٱ → ا | Ya | Menggabungkan beberapa pasangan: سأل (bertanya) dan سال (mengalir) |
| Alef maksura | ى → ي | Biasanya | Menggabungkan على (di atas) dan علي (Ali) |
| Ta marbuta | ة → ه | Biasanya | Menggabungkan كتابة (penulisan) dan كتابه (bukunya) |
| Tempat duduk hamzah | ؤ ئ → ء | Pilihan | Menggabungkan مسؤول dan مسئول (baik) tetapi juga sesetengah perkataan berbeza |
| Huruf Parsi | ی → ي, ک → ك | Ya, jika pengguna ada papan kekunci Parsi | Tiada untuk teks Arab |
| Digit | ٢٠٢٦ dan ۲۰۲۶ → 2026 | Ya | Tiada; simpan yang asal untuk paparan |
Lajur pertama adalah untuk kunci indeks dan pertanyaan. Teks yang anda simpan, paparkan dan hantar kepada model kekal seperti yang ditulis.
Mengapakah penormalan Unicode perlu didahulukan?
Huruf yang kelihatan sama boleh disimpan dengan cara berbeza. أ boleh jadi satu titik kod (U+0623) atau alef biasa diikuti hamzah gabungan (U+0627 U+0654). PDF lama dan sesetengah papan kekunci menghasilkan bentuk persembahan Arab (U+FB50 hingga U+FEFF), seperti lam-alef satu aksara ﻻ. Di bawah penormalan Unicode, NFC menggubah hamzah ke atas alef, dan NFKC turut membuka bentuk persembahan dan ligatur. Dalam Python, unicodedata.normalize("NFKC", "ﻻ") memulangkan لا, dan ﷲ menjadi الله.
Jalankan ini sebelum apa-apa yang lain. Jika tidak, regex yang menggantikan أ terlepas bentuk yang terurai. Ada perangkap kedua: dediac_ar CAMeL Tools membuang aksara dalam AR_DIAC_CHARSETnya (U+064B hingga U+0652 dan U+0670). Set itu tidak termasuk tanda hamzah dan madda gabungan (U+0653 hingga U+0655), jadi pada teks terurai tanda-tanda itu terselamat daripada pembuangan diakritik. NFKC menggubahnya dahulu.
NFKC ialah pemetaan keserasian. Ia juga mengubah aksara di luar bahasa Arab, contohnya huruf Rumi lebar penuh. Itu biasanya yang anda mahu dalam kunci carian, dan satu lagi sebab untuk menyimpan teks asal di sebelahnya.
Apakah yang tidak patut anda normalkan?
- Teks yang anda paparkan, rujuk atau petik. Bahasa Arab ternormal kelihatan salah eja (المدينه). Simpan teks asal di sebelah kunci.
- Apa yang anda hantar kepada LLM. Model membaca hamzah dan tashkeel dengan baik, dan teks tepat mengekalkan nama dan petikan dengan betul. Membuang tashkeel menjimatkan sedikit token; semak berapa banyak dengan pengira token bahasa Arab sebelum anda menukar ketepatan dengannya.
- Teks yang tandanya membawa makna: al-Quran, hadis, puisi, buku kanak-kanak, tugasan sebutan dan pemberian baris (lihat menambah baris dengan LLM).
- Pembetulan ejaan atau tatabahasa: menormalkan dahulu memadamkan ralat hamzah dan taa marbuta yang ingin anda betulkan; lihat pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM.
- Pengecam. Kod produk, e-mel, URL dan teks huruf Rumi tidak boleh melalui peraturan Arab. Gunakan penormalan pada medan berskrip Arab sahaja, atau pada token Arab sahaja.
- Medan yang dicari secara tepat. Untuk nama sah atau medan seperti ID, indeks juga salinan mentah, supaya padanan tepat masih boleh berada di kedudukan teratas.
Bagaimanakah CAMeL Tools, PyArabic dan Lucene berbeza?
Ia tidak melaksanakan peraturan yang sama, dan mencampurkannya menghasilkan indeks dan pertanyaan yang tidak pernah sepadan. Kami membaca dokumentasi dan kod sumber setiap pustaka, dan menjalankan PyArabic 0.6.15:
| Fungsi | Apa yang sebenarnya dilakukan |
|---|---|
CAMeL normalize_unicode |
NFKC (atau NFC dengan compatibility=False); juga mengembangkan ﷼ kepada ريال dan ﷽ kepada frasa penuhnya |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Membuang U+064B hingga U+0652 dan U+0670; meninggalkan tatweel |
PyArabic strip_tashkeel |
Membuang semua harakat termasuk shadda |
PyArabic strip_tatweel |
Membuang ـ |
PyArabic normalize_alef |
Setiap bentuk alef dan ى → ا, jadi إلى menjadi الا |
PyArabic normalize_hamza |
Kaedah lalai memetakan setiap bentuk hamzah kepada ء, termasuk أ, jadi أحمد menjadi ءحمد |
Lucene ArabicNormalizer |
Bentuk hamzah-atas-alef → ا, ة → ه, ى → ي, membuang harakat dan tatweel |
Baris PyArabic mengejutkan ramai orang. Docstring normalize_alefnya menyatakan alef maksura ialah pengecualian, tetapi dalam 0.6.15 set ALEFAT termasuk ى, dan fungsi itu memetakannya kepada ا. normalize_hamzanya dibina untuk pemadanan tanpa mengira hamzah, bukan carian umum. Susunan juga penting: jalankan penormalan alef dahulu, dan normalize_hamza kemudian hanya menyentuh ؤ, ئ dan ء, jadi مسؤول dan مسئول kedua-duanya menjadi مسءول. Kaedah tasheelnya pula memberi مسوول dan مسيول, yang tidak sepadan antara satu sama lain.
Penapis arabic_normalization Elasticsearch menggunakan penormal Lucene, jadi saluran Python yang mahu sepadan dengan indeks Elasticsearch patut menyalin peraturan Lucene dengan tepat. Maksudnya ى → ي, bukan ى → ا.
Bagaimanakah rupa penormal yang telah diuji?
Fungsi ini mengikut pilihan Lucene, menambah pengendalian Unicode, digit dan huruf Parsi, dan menjadikan peraturan berisiko boleh dihidup atau dimatikan. Ia hanya menggunakan pustaka piawai.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Apa yang dipulangkannya pada rentetan ujian kami:
| Input | Output | Nota |
|---|---|---|
| أَحْمَدُ | احمد | Tashkeel dan hamzah hilang |
| الـــمدينة | المدينه | Tatweel dan ta marbuta |
| إلى | الي | Alef dan alef maksura |
| ا + U+0654 + مل | امل | Hamzah terurai digubah, kemudian diseragamkan |
| ﻻبد | لابد | Bentuk persembahan dibuka |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Digit Arab-India dan Parsi |
| مسؤول / مسئول | Kedua-duanya مسءول dengan hamza_seats=True |
Tidak berubah secara lalai |
| فارسی | فارسي | Ya Parsi |
Gunakannya di dua tempat: semasa anda membina kunci indeks dan semasa anda membaca pertanyaan. Simpan original dan normalize(original) bersebelahan, cari pada yang kedua dan pulangkan yang pertama. Penormal teks Arab percuma membolehkan anda menampal teks dan melihat kesan setiap peraturan sebelum memilih tetapan anda.
Bagaimanakah penormalan sesuai dengan embedding dan RAG?
Saluran RAG biasanya mempunyai dua pemerolehan semula: carian kata kunci (BM25) dan embedding. Penormalan jelas membantu bahagian kata kunci. Untuk bahagian embedding, bukti di atas tidak terpakai: model embedding dilatih pada teks mentah, dan banyak yang sudah meletakkan احمد dan أحمد berdekatan. Menormalkan sebelum embedding boleh membantu, tiada kesan, atau merosakkan. Bina 50 hingga 100 pertanyaan sebenar dengan jawapan yang diketahui, jalankannya dengan input mentah dan ternormal, dan kekalkan yang mana mendapat dapatan semula lebih tinggi. Apa jua pilihan anda, gunakannya dengan cara yang sama pada dokumen dan pertanyaan.
Penormalan juga sedikit mengurangkan kiraan token, kerana diakritik dan tatweel ialah aksara tambahan bagi tokenizer. Nisbah yang diukur terdapat dalam set data kecekapan tokenizer dan token setiap perkataan dalam bahasa Arab. Penormalan yang sama digunakan untuk memarkahkan pengecaman pertuturan secara adil; lihat WER bahasa Arab diterangkan.
Arabizi (bahasa Arab dalam huruf Rumi) memerlukan pendekatan yang berbeza sama sekali: cara LLM mengendalikan Arabizi.
Di manakah BroadNet Inference sesuai
Penormalan berjalan dalam kod anda sendiri, jadi tiada API diperlukan untuknya. BroadNet Inference masuk selepas perolehan semula. Ia tidak menjual embedding, jadi gandingkan pemerolehan semula dan penyedia embedding pilihan anda dengan model chat BroadNet untuk langkah menjawab. GLM 5.3 dan DeepSeek V4.1 Flash menerima 1,048,576 token konteks, jadi anda boleh menghantar banyak petikan yang diperoleh dalam bahasa Arab asal yang tidak dinormalkan. Untuk memilih model berdasarkan kualiti bahasa Arab, lihat memilih LLM untuk bahasa Arab. Jika anda hanya memerlukan carian kata kunci, penganalisis arabic terbina dalam Elasticsearch mungkin sudah memadai.
