Pengguna Arab menaip perkataan yang sama dengan beberapa cara. Penormalan menjadikan ejaan-ejaan itu sepadan.
Cara ia berfungsi
Penormalan ialah satu set penulisan semula aksara yang dikenakan pada teks yang disimpan dan pada pertanyaan. ArabicNormalizer dalam Apache Lucene, yang digunakan oleh banyak enjin carian, menyenaraikan lima peraturan:
- hamzah yang duduk di atas alif kepada alif tanpa hamzah;
- teh marbuta (ة) kepada heh (ه);
- yeh tanpa titik, alef maksura (ى), kepada yeh (ي);
- membuang harakat (baris);
- membuang tatweel, “stretching character” (aksara regangan).
CAMeL Tools menawarkan idea yang sama sebagai fungsi berasingan. normalize_alef_ar memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) kepada ا, normalize_alef_maksura_ar memetakan ى kepada ي, dan normalize_teh_marbuta_ar memetakan ة kepada ه. normalize_unicode menjalankan NFKC secara lalai, iaitu penormalan Unicode, dan perlu dijalankan dahulu.
Tatweel (U+0640, juga dipanggil kashida) ialah aksara penyambung yang diterangkan oleh Unicode Standard untuk justifikasi: menyelitkannya di antara aksara akan memanjangkan baris. Ia tidak membawa makna, jadi كتـــاب dan كتاب sepatutnya sepadan.
Contoh:
| Input | Selepas penormalan | Peraturan digunakan |
|---|---|---|
| إِسْلامٌ | اسلام | baris, alif |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
Mengapa ia penting
Larkey, Ballesteros dan Connell (2002) menormalkan koleksi berita Arab TREC-2001 dengan membuang tanda baca, baris dan bukan huruf, serta menggantikan beberapa varian huruf dengan satu bentuk. Penormalan sahaja menaikkan purata ketepatan (average precision) monolingual daripada .194 kepada .238. Stemmer light8 mereka di atasnya mencapai .376.
Perkara yang sama berlaku pada:
- RAG dan carian kata kunci. Pertanyaan yang ditaip tanpa hamzah sepatutnya menemui dokumen yang ditulis dengan hamzah. Lihat carian RAG Arab.
- Kadar ralat perkataan. Skor ASR Arab bergantung pada sama ada rujukan dan transkrip dinormalkan dengan cara yang sama. Penjelasan WER Arab menunjukkan kesannya.
- Penyahduaan dan analitik. Mengira perkataan atau istilah pengguna tanpa penormalan memecahkan satu perkataan kepada beberapa.
Harganya ialah perkataan yang tergabung. Menyatukan alif menjadikan partikel berbeza إن dan أن rentetan yang sama, dan peraturan ة kepada ه menggabungkan كرة (bola) dengan كره (kebencian). Anggap peraturan hamzah dan taa marbuta sebagai boleh dilaraskan.
Di BroadNet Inference
Penormalan berjalan dalam kod anda, bukan pada API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio anda seadanya. Simpan dua salinan: yang asal untuk model dan pengguna, dan kunci yang dinormalkan untuk padanan.
Arabic text normalizer yang percuma menggunakan peraturan ini dalam pelayar supaya anda boleh melihat apa yang diubah oleh setiap satu. Panduan penormalan mengandungi kod Python yang telah diuji dan perbincangan setiap peraturan.
Kesilapan biasa
- Menormalkan dokumen tetapi bukan pertanyaan, atau sebaliknya.
- Memaparkan atau memetik teks yang dinormalkan kepada pengguna.
- Mencampurkan library yang peraturannya berbeza, seperti dua pemetaan berbeza untuk ى.