BroadRouter
Mulakan

Penormalan teks Arab (Arabic text normalization)

Dikemas kini

Penormalan teks Arab ialah langkah yang memetakan varian ejaan bagi perkataan yang sama kepada satu bentuk sebelum padanan: membuang baris dan tatweel, menyatukan bentuk alif, dan selalunya memetakan ى kepada ي dan ة kepada ه. Ia digunakan pada kunci carian dan penilaian, bukan pada teks yang anda paparkan.

Juga dikenali sebagai: penormalan bahasa Arab, normalisasi teks Arab, penormalan alif, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Pengguna Arab menaip perkataan yang sama dengan beberapa cara. Penormalan menjadikan ejaan-ejaan itu sepadan.

Cara ia berfungsi

Penormalan ialah satu set penulisan semula aksara yang dikenakan pada teks yang disimpan dan pada pertanyaan. ArabicNormalizer dalam Apache Lucene, yang digunakan oleh banyak enjin carian, menyenaraikan lima peraturan:

  1. hamzah yang duduk di atas alif kepada alif tanpa hamzah;
  2. teh marbuta (ة) kepada heh (ه);
  3. yeh tanpa titik, alef maksura (ى), kepada yeh (ي);
  4. membuang harakat (baris);
  5. membuang tatweel, “stretching character” (aksara regangan).

CAMeL Tools menawarkan idea yang sama sebagai fungsi berasingan. normalize_alef_ar memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) kepada ا, normalize_alef_maksura_ar memetakan ى kepada ي, dan normalize_teh_marbuta_ar memetakan ة kepada ه. normalize_unicode menjalankan NFKC secara lalai, iaitu penormalan Unicode, dan perlu dijalankan dahulu.

Tatweel (U+0640, juga dipanggil kashida) ialah aksara penyambung yang diterangkan oleh Unicode Standard untuk justifikasi: menyelitkannya di antara aksara akan memanjangkan baris. Ia tidak membawa makna, jadi كتـــاب dan كتاب sepatutnya sepadan.

Contoh:

Input Selepas penormalan Peraturan digunakan
إِسْلامٌ اسلام baris, alif
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

Mengapa ia penting

Larkey, Ballesteros dan Connell (2002) menormalkan koleksi berita Arab TREC-2001 dengan membuang tanda baca, baris dan bukan huruf, serta menggantikan beberapa varian huruf dengan satu bentuk. Penormalan sahaja menaikkan purata ketepatan (average precision) monolingual daripada .194 kepada .238. Stemmer light8 mereka di atasnya mencapai .376.

Perkara yang sama berlaku pada:

  • RAG dan carian kata kunci. Pertanyaan yang ditaip tanpa hamzah sepatutnya menemui dokumen yang ditulis dengan hamzah. Lihat carian RAG Arab.
  • Kadar ralat perkataan. Skor ASR Arab bergantung pada sama ada rujukan dan transkrip dinormalkan dengan cara yang sama. Penjelasan WER Arab menunjukkan kesannya.
  • Penyahduaan dan analitik. Mengira perkataan atau istilah pengguna tanpa penormalan memecahkan satu perkataan kepada beberapa.

Harganya ialah perkataan yang tergabung. Menyatukan alif menjadikan partikel berbeza إن dan أن rentetan yang sama, dan peraturan ة kepada ه menggabungkan كرة (bola) dengan كره (kebencian). Anggap peraturan hamzah dan taa marbuta sebagai boleh dilaraskan.

Di BroadNet Inference

Penormalan berjalan dalam kod anda, bukan pada API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio anda seadanya. Simpan dua salinan: yang asal untuk model dan pengguna, dan kunci yang dinormalkan untuk padanan.

Arabic text normalizer yang percuma menggunakan peraturan ini dalam pelayar supaya anda boleh melihat apa yang diubah oleh setiap satu. Panduan penormalan mengandungi kod Python yang telah diuji dan perbincangan setiap peraturan.

Kesilapan biasa

  • Menormalkan dokumen tetapi bukan pertanyaan, atau sebaliknya.
  • Memaparkan atau memetik teks yang dinormalkan kepada pengguna.
  • Mencampurkan library yang peraturannya berbeza, seperti dua pemetaan berbeza untuk ى.

Soalan lazim

Adakah penormalan membantu carian embedding juga?

Keputusan klasik diukur pada carian kata kunci. Untuk embedding, uji input yang dinormalkan dan input mentah pada pertanyaan anda sendiri sebelum membuat keputusan.

Perlukah saya menormalkan teks sebelum menghantarnya kepada LLM?

Biasanya tidak. Hantar teks asal supaya model melihat ejaan sebenar, hamzah dan baris. Normalkan hanya salinan yang anda padankan, indeks atau beri skor.

Adakah semua library menggunakan peraturan yang sama?

Tidak. CAMeL Tools dan Lucene kedua-duanya memetakan alef maksura kepada yeh dan teh marbuta kepada heh, tetapi library lain berbeza. Pilih satu set peraturan dan gunakannya pada dokumen dan pertanyaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity