---
title: "Apa itu normalisasi teks Arab? Aturan pencarian dan RAG"
description: "Normalisasi teks Arab menyatukan varian ejaan seperti bentuk alif, tatweel, dan harakat agar pencarian, RAG, dan skor WER cocok. Aturan dan trade-off-nya."
url: https://broadrouter.com/id/glossary/arabic-text-normalization/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/arabic-text-normalization/) (diperbarui 2026-11-15).

# Normalisasi teks Arab (Arabic text normalization)

Diperbarui 2026-11-15

Normalisasi teks Arab adalah langkah yang memetakan varian ejaan dari kata yang sama ke satu bentuk sebelum pencocokan: menghapus harakat dan tatweel, menyatukan bentuk alif, dan sering memetakan ى ke ي serta ة ke ه. Langkah ini diterapkan pada kunci pencarian dan evaluasi, bukan pada teks yang ditampilkan.

Disebut juga: normalisasi teks Arab, normalisasi bahasa Arab, normalisasi alif, normalisasi ortografi, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Pengguna Arab mengetik kata yang sama dengan beberapa cara. Normalisasi membuat ejaan-ejaan itu cocok.

## Cara kerjanya

Normalisasi adalah sekumpulan penulisan ulang karakter yang diterapkan pada teks yang disimpan maupun kueri. ArabicNormalizer di Apache Lucene, yang dipakai banyak mesin pencari, mencantumkan lima aturan:

1.  hamzah berkursi alif menjadi alif polos;
2.  ta marbutah (ة) menjadi ha (ه);
3.  ya tanpa titik, alif maqsurah (ى), menjadi ya (ي);
4.  penghapusan harakat ([harakat](https://broadrouter.com/id/glossary/arabic-diacritics/));
5.  penghapusan tatweel, “karakter perentang”.

CAMeL Tools menawarkan ide yang sama sebagai fungsi terpisah. `normalize_alef_ar` memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) ke ا, `normalize_alef_maksura_ar` memetakan ى ke ي, dan `normalize_teh_marbuta_ar` memetakan ة ke ه. `normalize_unicode` menjalankan NFKC secara default, yaitu [normalisasi Unicode](https://broadrouter.com/id/glossary/unicode-normalization/), dan harus dijalankan lebih dulu.

Tatweel (U+0640, disebut juga kashida) adalah karakter penyambung yang menurut Unicode Standard dipakai untuk perataan: menyisipkannya di antara karakter akan memanjangkan baris. Karakter ini tidak bermakna, jadi كتـــاب dan كتاب seharusnya cocok.

Contoh:

| Input | Setelah normalisasi | Aturan yang dipakai |
| --- | --- | --- |
| إِسْلامٌ | اسلام | harakat, alif |
| مدرسة | مدرسه | ta marbutah |
| مستشفى | مستشفي | alif maqsurah |
| كتـــاب | كتاب | tatweel |

## Kenapa ini penting

Larkey, Ballesteros dan Connell (2002) menormalisasi koleksi berita Arab TREC-2001 dengan menghapus tanda baca, harakat, dan karakter non-huruf, serta mengganti beberapa varian huruf dengan satu bentuk. Normalisasi saja menaikkan average precision monolingual dari .194 ke .238. Stemmer light8 mereka di atasnya mencapai .376.

Hal yang sama berlaku untuk:

-   **[RAG](https://broadrouter.com/id/glossary/rag/) dan pencarian kata kunci.** Kueri yang diketik tanpa hamzah harus menemukan dokumen yang ditulis dengan hamzah. Lihat [pencarian RAG bahasa Arab](https://broadrouter.com/id/blog/arabic-rag-search/).
-   **[Word error rate](https://broadrouter.com/id/glossary/word-error-rate/).** Skor ASR bahasa Arab bergantung pada apakah referensi dan transkrip dinormalisasi dengan cara yang sama. [Penjelasan WER bahasa Arab](https://broadrouter.com/id/blog/arabic-asr-wer-explained/) menunjukkan efeknya.
-   **Deduplikasi dan analitik.** Menghitung kata atau istilah pengguna tanpa normalisasi memecah satu kata menjadi beberapa.

Harganya adalah kata yang tergabung. Menyatukan alif membuat partikel berbeda إن dan أن menjadi string yang sama, dan aturan ة ke ه menggabungkan كرة (bola) dengan كره (kebencian). Perlakukan aturan [hamzah](https://broadrouter.com/id/glossary/hamza/) dan [ta marbutah](https://broadrouter.com/id/glossary/taa-marbuta/) sebagai sesuatu yang bisa disetel.

## Di BroadNet Inference

Normalisasi berjalan di kode Anda, bukan di API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio Anda apa adanya. Simpan dua salinan: teks asli untuk model dan pengguna, dan kunci yang dinormalisasi untuk pencocokan.

[Normalizer teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/) gratis menerapkan aturan ini di browser sehingga Anda bisa melihat apa yang diubah setiap aturan. [Panduan normalisasi](https://broadrouter.com/id/blog/arabic-text-normalization-search/) berisi kode Python yang sudah diuji dan pembahasan aturan demi aturan.

## Kesalahan umum

-   Menormalisasi dokumen tetapi tidak kueri, atau sebaliknya.
-   Menampilkan atau mengutip teks yang sudah dinormalisasi kepada pengguna.
-   Mencampur pustaka yang aturannya berbeda, misalnya dua pemetaan berbeda untuk ى.

## Pertanyaan umum

### Apakah normalisasi juga membantu pencarian embedding?

Hasil klasik diukur pada pencarian kata kunci. Untuk embedding, uji input yang dinormalisasi dan yang mentah dengan kueri Anda sendiri sebelum memutuskan.

### Haruskah saya menormalisasi teks sebelum mengirimnya ke LLM?

Biasanya tidak. Kirim teks asli agar model melihat ejaan, hamzah, dan harakat yang sebenarnya. Normalisasi hanya salinan yang Anda cocokkan, indeks, atau nilai.

### Apakah semua pustaka menerapkan aturan yang sama?

Tidak. CAMeL Tools dan Lucene sama-sama memetakan alif maqsurah ke ya dan ta marbutah ke ha, tetapi pustaka lain berbeda. Pilih satu set aturan dan pakai pada dokumen maupun kueri.

## Lihat juga

-   [Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/) (istilah)
-   [Hamzah (hamza)](https://broadrouter.com/id/glossary/hamza/) (istilah)
-   [Ta marbutah (taa marbuta, ة)](https://broadrouter.com/id/glossary/taa-marbuta/) (istilah)
-   [Normalisasi Unicode (Unicode normalization)](https://broadrouter.com/id/glossary/unicode-normalization/) (istilah)
-   [RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/) (istilah)
-   [Word error rate (WER)](https://broadrouter.com/id/glossary/word-error-rate/) (istilah)
-   [Normalisasi teks Arab untuk pencarian dan RAG: apa yang perlu diubah](https://broadrouter.com/id/blog/arabic-text-normalization-search/) (artikel)
-   [RAG bahasa Arab: normalisasi, chunking, dan retrieval yang berhasil](https://broadrouter.com/id/blog/arabic-rag-search/) (artikel)
-   [Word error rate (WER) ASR bahasa Arab: penjelasan lengkap](https://broadrouter.com/id/blog/arabic-asr-wer-explained/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi CAMeL Tools, camel\_tools.utils.normalize (diperiksa 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Kode sumber CAMeL Tools, normalize.py (aturan alif, alif maqsurah, ta marbutah) (diperiksa 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (diperiksa 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros dan Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (diperiksa 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, Bab 9 Middle East-I, Arab (tatweel) (diperiksa 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
