BroadRouter

Penormalan teks Arab untuk carian dan RAG: apa diubah, apa tidak

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan · Dikemas kini

Untuk indeks carian dan RAG, normalkan salinan tersimpan dan setiap pertanyaan dengan cara yang sama: Unicode NFKC, buang tashkeel dan tatweel, seragamkan bentuk alef, petakan ى kepada ي dan ة kepada ه, dan tukar digit. Simpan teks asal untuk paparan dan untuk LLM. Anggap tempat duduk hamzah dan ta marbuta sebagai boleh laras: ia meningkatkan dapatan semula tetapi menggabungkan sesetengah perkataan berbeza.

Bahasa Arab membenarkan perkataan yang sama ditulis dalam beberapa cara. Pengguna menaip احمد; dokumen menulis أَحْمَد. Indeks carian yang membandingkan aksara secara tepat terlepas padanan itu, begitu juga separuh kata kunci dalam saluran RAG. Penormalan membetulkannya dengan memetakan varian kepada satu bentuk sebelum dibandingkan. Jika dilakukan secara cuai, ia juga menggabungkan perkataan yang berbeza makna. Artikel ini membincangkan setiap peraturan satu demi satu: apa yang dilakukannya, bila hendak menggunakannya, apa yang dirosakkannya, dan bagaimana pustaka utama berbeza. Ia berakhir dengan kod Python yang telah diuji.

Untuk saluran RAG bahasa Arab penuh (chunking, carian hibrid, jawapan berpetikan), lihat RAG bahasa Arab yang berkesan. Artikel ini mendalami langkah penormalan.

Adakah penormalan benar-benar membantu perolehan semula?

Ya, untuk carian kata kunci, dan buktinya lama tetapi jelas. Larkey, Ballesteros dan Connell (SIGIR 2002) menguji perolehan semula bahasa Arab pada koleksi berita TREC-2001. Sebelum pengakaran, mereka menormalkan korpus dan pertanyaan: membuang diakritik dan tanda baca, menyeragamkan bentuk alef, dan memetakan ى dan ة di hujung perkataan. Hasil ekabahasa mereka, dengan pertanyaan yang tidak diperluas:

Pemprosesan Purata kepersisan Perubahan berbanding mentah (daripada angka yang dibundarkan)
Teks mentah .194 —
Ternormal .238 +22.7%
Ternormal + pengakaran ringan (light8) .376 +93.8%

Dua amaran. Ini perolehan semula kata kunci pada berita pada 2002, bukan carian embedding. Dan keuntungan terbesar datang daripada pengakaran ringan (membuang awalan seperti و dan ال serta akhiran biasa), yang merupakan langkah berasingan daripada penormalan. ArabicAnalyzer Lucene dan penganalisis arabic Elasticsearch menggunakan kedua-duanya: penormal, kemudian pengakar ringan.

Apakah yang patut anda normalkan, dan apakah harga setiap peraturan?

Peraturan Contoh Indeks carian Risiko
Unicode NFKC ﻻ → لا, ا + ٔ → أ Ya, sentiasa dahulu Turut menulis semula aksara keserasian dalam skrip lain
Buang tanda tidak kelihatan penyambung lebar sifar, RLM/LRM, BOM Ya Tiada untuk bahasa Arab; ZWNJ penting dalam bahasa Parsi
Buang tashkeel أَحْمَدُ → أحمد Ya Menggabungkan perkataan yang hanya dibezakan oleh vokal
Buang tatweel (ـ) الـــمدينة → المدينة Ya Tiada
Seragamkan alef أ إ آ ٱ → ا Ya Menggabungkan beberapa pasangan: سأل (bertanya) dan سال (mengalir)
Alef maksura ى → ي Biasanya Menggabungkan على (di atas) dan علي (Ali)
Ta marbuta ة → ه Biasanya Menggabungkan كتابة (penulisan) dan كتابه (bukunya)
Tempat duduk hamzah ؤ ئ → ء Pilihan Menggabungkan مسؤول dan مسئول (baik) tetapi juga sesetengah perkataan berbeza
Huruf Parsi ی → ي, ک → ك Ya, jika pengguna ada papan kekunci Parsi Tiada untuk teks Arab
Digit ٢٠٢٦ dan ۲۰۲۶ → 2026 Ya Tiada; simpan yang asal untuk paparan

Lajur pertama adalah untuk kunci indeks dan pertanyaan. Teks yang anda simpan, paparkan dan hantar kepada model kekal seperti yang ditulis.

Mengapakah penormalan Unicode perlu didahulukan?

Huruf yang kelihatan sama boleh disimpan dengan cara berbeza. أ boleh jadi satu titik kod (U+0623) atau alef biasa diikuti hamzah gabungan (U+0627 U+0654). PDF lama dan sesetengah papan kekunci menghasilkan bentuk persembahan Arab (U+FB50 hingga U+FEFF), seperti lam-alef satu aksara ﻻ. Di bawah penormalan Unicode, NFC menggubah hamzah ke atas alef, dan NFKC turut membuka bentuk persembahan dan ligatur. Dalam Python, unicodedata.normalize("NFKC", "ﻻ") memulangkan لا, dan ﷲ menjadi الله.

Jalankan ini sebelum apa-apa yang lain. Jika tidak, regex yang menggantikan أ terlepas bentuk yang terurai. Ada perangkap kedua: dediac_ar CAMeL Tools membuang aksara dalam AR_DIAC_CHARSETnya (U+064B hingga U+0652 dan U+0670). Set itu tidak termasuk tanda hamzah dan madda gabungan (U+0653 hingga U+0655), jadi pada teks terurai tanda-tanda itu terselamat daripada pembuangan diakritik. NFKC menggubahnya dahulu.

NFKC ialah pemetaan keserasian. Ia juga mengubah aksara di luar bahasa Arab, contohnya huruf Rumi lebar penuh. Itu biasanya yang anda mahu dalam kunci carian, dan satu lagi sebab untuk menyimpan teks asal di sebelahnya.

Apakah yang tidak patut anda normalkan?

  • Teks yang anda paparkan, rujuk atau petik. Bahasa Arab ternormal kelihatan salah eja (المدينه). Simpan teks asal di sebelah kunci.
  • Apa yang anda hantar kepada LLM. Model membaca hamzah dan tashkeel dengan baik, dan teks tepat mengekalkan nama dan petikan dengan betul. Membuang tashkeel menjimatkan sedikit token; semak berapa banyak dengan pengira token bahasa Arab sebelum anda menukar ketepatan dengannya.
  • Teks yang tandanya membawa makna: al-Quran, hadis, puisi, buku kanak-kanak, tugasan sebutan dan pemberian baris (lihat menambah baris dengan LLM).
  • Pembetulan ejaan atau tatabahasa: menormalkan dahulu memadamkan ralat hamzah dan taa marbuta yang ingin anda betulkan; lihat pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM.
  • Pengecam. Kod produk, e-mel, URL dan teks huruf Rumi tidak boleh melalui peraturan Arab. Gunakan penormalan pada medan berskrip Arab sahaja, atau pada token Arab sahaja.
  • Medan yang dicari secara tepat. Untuk nama sah atau medan seperti ID, indeks juga salinan mentah, supaya padanan tepat masih boleh berada di kedudukan teratas.

Bagaimanakah CAMeL Tools, PyArabic dan Lucene berbeza?

Ia tidak melaksanakan peraturan yang sama, dan mencampurkannya menghasilkan indeks dan pertanyaan yang tidak pernah sepadan. Kami membaca dokumentasi dan kod sumber setiap pustaka, dan menjalankan PyArabic 0.6.15:

Fungsi Apa yang sebenarnya dilakukan
CAMeL normalize_unicode NFKC (atau NFC dengan compatibility=False); juga mengembangkan ﷼ kepada ريال dan ﷽ kepada frasa penuhnya
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar Membuang U+064B hingga U+0652 dan U+0670; meninggalkan tatweel
PyArabic strip_tashkeel Membuang semua harakat termasuk shadda
PyArabic strip_tatweel Membuang ـ
PyArabic normalize_alef Setiap bentuk alef dan ى → ا, jadi إلى menjadi الا
PyArabic normalize_hamza Kaedah lalai memetakan setiap bentuk hamzah kepada ء, termasuk أ, jadi أحمد menjadi ءحمد
Lucene ArabicNormalizer Bentuk hamzah-atas-alef → ا, ة → ه, ى → ي, membuang harakat dan tatweel

Baris PyArabic mengejutkan ramai orang. Docstring normalize_alefnya menyatakan alef maksura ialah pengecualian, tetapi dalam 0.6.15 set ALEFAT termasuk ى, dan fungsi itu memetakannya kepada ا. normalize_hamzanya dibina untuk pemadanan tanpa mengira hamzah, bukan carian umum. Susunan juga penting: jalankan penormalan alef dahulu, dan normalize_hamza kemudian hanya menyentuh ؤ, ئ dan ء, jadi مسؤول dan مسئول kedua-duanya menjadi مسءول. Kaedah tasheelnya pula memberi مسوول dan مسيول, yang tidak sepadan antara satu sama lain.

Penapis arabic_normalization Elasticsearch menggunakan penormal Lucene, jadi saluran Python yang mahu sepadan dengan indeks Elasticsearch patut menyalin peraturan Lucene dengan tepat. Maksudnya ى → ي, bukan ى → ا.

Bagaimanakah rupa penormal yang telah diuji?

Fungsi ini mengikut pilihan Lucene, menambah pengendalian Unicode, digit dan huruf Parsi, dan menjadikan peraturan berisiko boleh dihidup atau dimatikan. Ia hanya menggunakan pustaka piawai.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Apa yang dipulangkannya pada rentetan ujian kami:

Input Output Nota
أَحْمَدُ احمد Tashkeel dan hamzah hilang
الـــمدينة المدينه Tatweel dan ta marbuta
إلى الي Alef dan alef maksura
ا + U+0654 + مل امل Hamzah terurai digubah, kemudian diseragamkan
ﻻبد لابد Bentuk persembahan dibuka
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Digit Arab-India dan Parsi
مسؤول / مسئول Kedua-duanya مسءول dengan hamza_seats=True Tidak berubah secara lalai
فارسی فارسي Ya Parsi

Gunakannya di dua tempat: semasa anda membina kunci indeks dan semasa anda membaca pertanyaan. Simpan original dan normalize(original) bersebelahan, cari pada yang kedua dan pulangkan yang pertama. Penormal teks Arab percuma membolehkan anda menampal teks dan melihat kesan setiap peraturan sebelum memilih tetapan anda.

Bagaimanakah penormalan sesuai dengan embedding dan RAG?

Saluran RAG biasanya mempunyai dua pemerolehan semula: carian kata kunci (BM25) dan embedding. Penormalan jelas membantu bahagian kata kunci. Untuk bahagian embedding, bukti di atas tidak terpakai: model embedding dilatih pada teks mentah, dan banyak yang sudah meletakkan احمد dan أحمد berdekatan. Menormalkan sebelum embedding boleh membantu, tiada kesan, atau merosakkan. Bina 50 hingga 100 pertanyaan sebenar dengan jawapan yang diketahui, jalankannya dengan input mentah dan ternormal, dan kekalkan yang mana mendapat dapatan semula lebih tinggi. Apa jua pilihan anda, gunakannya dengan cara yang sama pada dokumen dan pertanyaan.

Penormalan juga sedikit mengurangkan kiraan token, kerana diakritik dan tatweel ialah aksara tambahan bagi tokenizer. Nisbah yang diukur terdapat dalam set data kecekapan tokenizer dan token setiap perkataan dalam bahasa Arab. Penormalan yang sama digunakan untuk memarkahkan pengecaman pertuturan secara adil; lihat WER bahasa Arab diterangkan.

Arabizi (bahasa Arab dalam huruf Rumi) memerlukan pendekatan yang berbeza sama sekali: cara LLM mengendalikan Arabizi.

Di manakah BroadNet Inference sesuai

Penormalan berjalan dalam kod anda sendiri, jadi tiada API diperlukan untuknya. BroadNet Inference masuk selepas perolehan semula. Ia tidak menjual embedding, jadi gandingkan pemerolehan semula dan penyedia embedding pilihan anda dengan model chat BroadNet untuk langkah menjawab. GLM 5.3 dan DeepSeek V4.1 Flash menerima 1,048,576 token konteks, jadi anda boleh menghantar banyak petikan yang diperoleh dalam bahasa Arab asal yang tidak dinormalkan. Untuk memilih model berdasarkan kualiti bahasa Arab, lihat memilih LLM untuk bahasa Arab. Jika anda hanya memerlukan carian kata kunci, penganalisis arabic terbina dalam Elasticsearch mungkin sudah memadai.

Soalan lazim

Patutkah saya membuang tashkeel (baris) sebelum mengindeks teks Arab?

Untuk carian, ya: kebanyakan pertanyaan dan kebanyakan teks moden tiada baris, jadi dokumen berbaris tidak akan sepadan jika tidak dibuang. Buang daripada kunci indeks dan pertanyaan, simpan teks asal untuk paparan, dan kekalkannya untuk al-Quran, puisi atau tugasan sebutan di mana ia membawa makna.

Patutkah ta marbuta (ة) dinormalkan kepada ha (ه)?

Biasanya ya untuk carian, kerana ramai orang menaip ه di hujung perkataan. Ia memang menggabungkan sesetengah pasangan, seperti كتابة (penulisan) dan كتابه (bukunya). Jika pertembungan itu penting dalam domain anda, kekalkan ة dan uji kedua-dua tetapan.

Apakah yang dilakukan oleh penormalan bahasa Arab dalam Elasticsearch?

Penapis token arabic_normalization menggunakan ArabicNormalizer Lucene: bentuk hamzah-atas-alef kepada alef biasa, ta marbuta kepada ha, alef maksura kepada ya, dan membuang harakat serta tatweel. Penganalisis arabic terbina dalam menambah kata henti dan pengakar yang membuang kata sandang, kata hubung, kata sendi dan akhiran biasa yang bercantum.

Adakah penormalan bahasa Arab membantu carian embedding?

Ia belum terbukti. Keuntungan yang diukur datang daripada perolehan semula kata kunci. Model embedding belajar daripada teks mentah dan selalunya sudah mengendalikan varian ejaan, jadi bina set kecil pertanyaan sebenar dan bandingkan dapatan semula dengan dan tanpa penormalan sebelum anda membuat keputusan.

Patutkah saya menormalkan teks Arab sebelum menghantarnya kepada LLM?

Secara amnya tidak. Hantar teks asal supaya petikan, nama dan rujukan kekal tepat. Membuang tashkeel menjimatkan sedikit token, tetapi lakukannya hanya apabila tugasan tidak memerlukan tanda-tanda itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity