Pengguna Arab mengetik kata yang sama dengan beberapa cara. Normalisasi membuat ejaan-ejaan itu cocok.
Cara kerjanya
Normalisasi adalah sekumpulan penulisan ulang karakter yang diterapkan pada teks yang disimpan maupun kueri. ArabicNormalizer di Apache Lucene, yang dipakai banyak mesin pencari, mencantumkan lima aturan:
- hamzah berkursi alif menjadi alif polos;
- ta marbutah (ة) menjadi ha (ه);
- ya tanpa titik, alif maqsurah (ى), menjadi ya (ي);
- penghapusan harakat (harakat);
- penghapusan tatweel, “karakter perentang”.
CAMeL Tools menawarkan ide yang sama sebagai fungsi terpisah. normalize_alef_ar memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) ke ا, normalize_alef_maksura_ar memetakan ى ke ي, dan normalize_teh_marbuta_ar memetakan ة ke ه. normalize_unicode menjalankan NFKC secara default, yaitu normalisasi Unicode, dan harus dijalankan lebih dulu.
Tatweel (U+0640, disebut juga kashida) adalah karakter penyambung yang menurut Unicode Standard dipakai untuk perataan: menyisipkannya di antara karakter akan memanjangkan baris. Karakter ini tidak bermakna, jadi كتـــاب dan كتاب seharusnya cocok.
Contoh:
| Input | Setelah normalisasi | Aturan yang dipakai |
|---|---|---|
| إِسْلامٌ | اسلام | harakat, alif |
| مدرسة | مدرسه | ta marbutah |
| مستشفى | مستشفي | alif maqsurah |
| كتـــاب | كتاب | tatweel |
Kenapa ini penting
Larkey, Ballesteros dan Connell (2002) menormalisasi koleksi berita Arab TREC-2001 dengan menghapus tanda baca, harakat, dan karakter non-huruf, serta mengganti beberapa varian huruf dengan satu bentuk. Normalisasi saja menaikkan average precision monolingual dari .194 ke .238. Stemmer light8 mereka di atasnya mencapai .376.
Hal yang sama berlaku untuk:
- RAG dan pencarian kata kunci. Kueri yang diketik tanpa hamzah harus menemukan dokumen yang ditulis dengan hamzah. Lihat pencarian RAG bahasa Arab.
- Word error rate. Skor ASR bahasa Arab bergantung pada apakah referensi dan transkrip dinormalisasi dengan cara yang sama. Penjelasan WER bahasa Arab menunjukkan efeknya.
- Deduplikasi dan analitik. Menghitung kata atau istilah pengguna tanpa normalisasi memecah satu kata menjadi beberapa.
Harganya adalah kata yang tergabung. Menyatukan alif membuat partikel berbeda إن dan أن menjadi string yang sama, dan aturan ة ke ه menggabungkan كرة (bola) dengan كره (kebencian). Perlakukan aturan hamzah dan ta marbutah sebagai sesuatu yang bisa disetel.
Di BroadNet Inference
Normalisasi berjalan di kode Anda, bukan di API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio Anda apa adanya. Simpan dua salinan: teks asli untuk model dan pengguna, dan kunci yang dinormalisasi untuk pencocokan.
Normalizer teks Arab gratis menerapkan aturan ini di browser sehingga Anda bisa melihat apa yang diubah setiap aturan. Panduan normalisasi berisi kode Python yang sudah diuji dan pembahasan aturan demi aturan.
Kesalahan umum
- Menormalisasi dokumen tetapi tidak kueri, atau sebaliknya.
- Menampilkan atau mengutip teks yang sudah dinormalisasi kepada pengguna.
- Mencampur pustaka yang aturannya berbeda, misalnya dua pemetaan berbeda untuk ى.