BroadRouter
Mulai

Normalisasi teks Arab (Arabic text normalization)

Diperbarui

Normalisasi teks Arab adalah langkah yang memetakan varian ejaan dari kata yang sama ke satu bentuk sebelum pencocokan: menghapus harakat dan tatweel, menyatukan bentuk alif, dan sering memetakan ى ke ي serta ة ke ه. Langkah ini diterapkan pada kunci pencarian dan evaluasi, bukan pada teks yang ditampilkan.

Disebut juga: normalisasi teks Arab, normalisasi bahasa Arab, normalisasi alif, normalisasi ortografi, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Pengguna Arab mengetik kata yang sama dengan beberapa cara. Normalisasi membuat ejaan-ejaan itu cocok.

Cara kerjanya

Normalisasi adalah sekumpulan penulisan ulang karakter yang diterapkan pada teks yang disimpan maupun kueri. ArabicNormalizer di Apache Lucene, yang dipakai banyak mesin pencari, mencantumkan lima aturan:

  1. hamzah berkursi alif menjadi alif polos;
  2. ta marbutah (ة) menjadi ha (ه);
  3. ya tanpa titik, alif maqsurah (ى), menjadi ya (ي);
  4. penghapusan harakat (harakat);
  5. penghapusan tatweel, “karakter perentang”.

CAMeL Tools menawarkan ide yang sama sebagai fungsi terpisah. normalize_alef_ar memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) ke ا, normalize_alef_maksura_ar memetakan ى ke ي, dan normalize_teh_marbuta_ar memetakan ة ke ه. normalize_unicode menjalankan NFKC secara default, yaitu normalisasi Unicode, dan harus dijalankan lebih dulu.

Tatweel (U+0640, disebut juga kashida) adalah karakter penyambung yang menurut Unicode Standard dipakai untuk perataan: menyisipkannya di antara karakter akan memanjangkan baris. Karakter ini tidak bermakna, jadi كتـــاب dan كتاب seharusnya cocok.

Contoh:

Input Setelah normalisasi Aturan yang dipakai
إِسْلامٌ اسلام harakat, alif
مدرسة مدرسه ta marbutah
مستشفى مستشفي alif maqsurah
كتـــاب كتاب tatweel

Kenapa ini penting

Larkey, Ballesteros dan Connell (2002) menormalisasi koleksi berita Arab TREC-2001 dengan menghapus tanda baca, harakat, dan karakter non-huruf, serta mengganti beberapa varian huruf dengan satu bentuk. Normalisasi saja menaikkan average precision monolingual dari .194 ke .238. Stemmer light8 mereka di atasnya mencapai .376.

Hal yang sama berlaku untuk:

  • RAG dan pencarian kata kunci. Kueri yang diketik tanpa hamzah harus menemukan dokumen yang ditulis dengan hamzah. Lihat pencarian RAG bahasa Arab.
  • Word error rate. Skor ASR bahasa Arab bergantung pada apakah referensi dan transkrip dinormalisasi dengan cara yang sama. Penjelasan WER bahasa Arab menunjukkan efeknya.
  • Deduplikasi dan analitik. Menghitung kata atau istilah pengguna tanpa normalisasi memecah satu kata menjadi beberapa.

Harganya adalah kata yang tergabung. Menyatukan alif membuat partikel berbeda إن dan أن menjadi string yang sama, dan aturan ة ke ه menggabungkan كرة (bola) dengan كره (kebencian). Perlakukan aturan hamzah dan ta marbutah sebagai sesuatu yang bisa disetel.

Di BroadNet Inference

Normalisasi berjalan di kode Anda, bukan di API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio Anda apa adanya. Simpan dua salinan: teks asli untuk model dan pengguna, dan kunci yang dinormalisasi untuk pencocokan.

Normalizer teks Arab gratis menerapkan aturan ini di browser sehingga Anda bisa melihat apa yang diubah setiap aturan. Panduan normalisasi berisi kode Python yang sudah diuji dan pembahasan aturan demi aturan.

Kesalahan umum

  • Menormalisasi dokumen tetapi tidak kueri, atau sebaliknya.
  • Menampilkan atau mengutip teks yang sudah dinormalisasi kepada pengguna.
  • Mencampur pustaka yang aturannya berbeda, misalnya dua pemetaan berbeda untuk ى.

Pertanyaan umum

Apakah normalisasi juga membantu pencarian embedding?

Hasil klasik diukur pada pencarian kata kunci. Untuk embedding, uji input yang dinormalisasi dan yang mentah dengan kueri Anda sendiri sebelum memutuskan.

Haruskah saya menormalisasi teks sebelum mengirimnya ke LLM?

Biasanya tidak. Kirim teks asli agar model melihat ejaan, hamzah, dan harakat yang sebenarnya. Normalisasi hanya salinan yang Anda cocokkan, indeks, atau nilai.

Apakah semua pustaka menerapkan aturan yang sama?

Tidak. CAMeL Tools dan Lucene sama-sama memetakan alif maqsurah ke ya dan ta marbutah ke ha, tetapi pustaka lain berbeda. Pilih satu set aturan dan pakai pada dokumen maupun kueri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity