---
title: "Apakah itu penormalan teks Arab? Peraturan untuk carian, RAG"
description: "Penormalan teks Arab menyatukan varian ejaan seperti bentuk alif, tatweel dan baris supaya carian, RAG dan skor WER sepadan. Peraturan dan pertukarannya."
url: https://broadrouter.com/ms/glossary/arabic-text-normalization/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/arabic-text-normalization/) (dikemas kini 2026-11-15).

# Penormalan teks Arab (Arabic text normalization)

Dikemas kini 2026-11-15

Penormalan teks Arab ialah langkah yang memetakan varian ejaan bagi perkataan yang sama kepada satu bentuk sebelum padanan: membuang baris dan tatweel, menyatukan bentuk alif, dan selalunya memetakan ى kepada ي dan ة kepada ه. Ia digunakan pada kunci carian dan penilaian, bukan pada teks yang anda paparkan.

Juga dikenali sebagai: penormalan bahasa Arab, normalisasi teks Arab, penormalan alif, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Pengguna Arab menaip perkataan yang sama dengan beberapa cara. Penormalan menjadikan ejaan-ejaan itu sepadan.

## Cara ia berfungsi

Penormalan ialah satu set penulisan semula aksara yang dikenakan pada teks yang disimpan dan pada pertanyaan. ArabicNormalizer dalam Apache Lucene, yang digunakan oleh banyak enjin carian, menyenaraikan lima peraturan:

1.  hamzah yang duduk di atas alif kepada alif tanpa hamzah;
2.  teh marbuta (ة) kepada heh (ه);
3.  yeh tanpa titik, alef maksura (ى), kepada yeh (ي);
4.  membuang harakat ([baris](https://broadrouter.com/ms/glossary/arabic-diacritics/));
5.  membuang tatweel, “stretching character” (aksara regangan).

CAMeL Tools menawarkan idea yang sama sebagai fungsi berasingan. `normalize_alef_ar` memetakan إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) kepada ا, `normalize_alef_maksura_ar` memetakan ى kepada ي, dan `normalize_teh_marbuta_ar` memetakan ة kepada ه. `normalize_unicode` menjalankan NFKC secara lalai, iaitu [penormalan Unicode](https://broadrouter.com/ms/glossary/unicode-normalization/), dan perlu dijalankan dahulu.

Tatweel (U+0640, juga dipanggil kashida) ialah aksara penyambung yang diterangkan oleh Unicode Standard untuk justifikasi: menyelitkannya di antara aksara akan memanjangkan baris. Ia tidak membawa makna, jadi كتـــاب dan كتاب sepatutnya sepadan.

Contoh:

| Input | Selepas penormalan | Peraturan digunakan |
| --- | --- | --- |
| إِسْلامٌ | اسلام | baris, alif |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## Mengapa ia penting

Larkey, Ballesteros dan Connell (2002) menormalkan koleksi berita Arab TREC-2001 dengan membuang tanda baca, baris dan bukan huruf, serta menggantikan beberapa varian huruf dengan satu bentuk. Penormalan sahaja menaikkan purata ketepatan (average precision) monolingual daripada .194 kepada .238. Stemmer light8 mereka di atasnya mencapai .376.

Perkara yang sama berlaku pada:

-   **[RAG](https://broadrouter.com/ms/glossary/rag/) dan carian kata kunci.** Pertanyaan yang ditaip tanpa hamzah sepatutnya menemui dokumen yang ditulis dengan hamzah. Lihat [carian RAG Arab](https://broadrouter.com/ms/blog/arabic-rag-search/).
-   **[Kadar ralat perkataan](https://broadrouter.com/ms/glossary/word-error-rate/).** Skor ASR Arab bergantung pada sama ada rujukan dan transkrip dinormalkan dengan cara yang sama. [Penjelasan WER Arab](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/) menunjukkan kesannya.
-   **Penyahduaan dan analitik.** Mengira perkataan atau istilah pengguna tanpa penormalan memecahkan satu perkataan kepada beberapa.

Harganya ialah perkataan yang tergabung. Menyatukan alif menjadikan partikel berbeza إن dan أن rentetan yang sama, dan peraturan ة kepada ه menggabungkan كرة (bola) dengan كره (kebencian). Anggap peraturan [hamzah](https://broadrouter.com/ms/glossary/hamza/) dan [taa marbuta](https://broadrouter.com/ms/glossary/taa-marbuta/) sebagai boleh dilaraskan.

## Di BroadNet Inference

Penormalan berjalan dalam kod anda, bukan pada API. Endpoint chat dan transkripsi BroadNet menerima teks atau audio anda seadanya. Simpan dua salinan: yang asal untuk model dan pengguna, dan kunci yang dinormalkan untuk padanan.

[Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) yang percuma menggunakan peraturan ini dalam pelayar supaya anda boleh melihat apa yang diubah oleh setiap satu. [Panduan penormalan](https://broadrouter.com/ms/blog/arabic-text-normalization-search/) mengandungi kod Python yang telah diuji dan perbincangan setiap peraturan.

## Kesilapan biasa

-   Menormalkan dokumen tetapi bukan pertanyaan, atau sebaliknya.
-   Memaparkan atau memetik teks yang dinormalkan kepada pengguna.
-   Mencampurkan library yang peraturannya berbeza, seperti dua pemetaan berbeza untuk ى.

## Soalan lazim

### Adakah penormalan membantu carian embedding juga?

Keputusan klasik diukur pada carian kata kunci. Untuk embedding, uji input yang dinormalkan dan input mentah pada pertanyaan anda sendiri sebelum membuat keputusan.

### Perlukah saya menormalkan teks sebelum menghantarnya kepada LLM?

Biasanya tidak. Hantar teks asal supaya model melihat ejaan sebenar, hamzah dan baris. Normalkan hanya salinan yang anda padankan, indeks atau beri skor.

### Adakah semua library menggunakan peraturan yang sama?

Tidak. CAMeL Tools dan Lucene kedua-duanya memetakan alef maksura kepada yeh dan teh marbuta kepada heh, tetapi library lain berbeza. Pilih satu set peraturan dan gunakannya pada dokumen dan pertanyaan.

## Lihat juga

-   [Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/) (istilah)
-   [Hamzah (hamza)](https://broadrouter.com/ms/glossary/hamza/) (istilah)
-   [Ta marbutah (taa marbuta)](https://broadrouter.com/ms/glossary/taa-marbuta/) (istilah)
-   [Penormalan Unicode (Unicode normalization)](https://broadrouter.com/ms/glossary/unicode-normalization/) (istilah)
-   [RAG (retrieval-augmented generation)](https://broadrouter.com/ms/glossary/rag/) (istilah)
-   [Kadar ralat perkataan (word error rate, WER)](https://broadrouter.com/ms/glossary/word-error-rate/) (istilah)
-   [Penormalan teks Arab untuk carian dan RAG: apa diubah, apa tidak](https://broadrouter.com/ms/blog/arabic-text-normalization-search/) (artikel)
-   [RAG bahasa Arab: penormalan, chunking dan carian yang berkesan](https://broadrouter.com/ms/blog/arabic-rag-search/) (artikel)
-   [Kadar ralat perkataan (WER) ASR bahasa Arab: penjelasan](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi CAMeL Tools, camel\_tools.utils.normalize (disemak 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Kod sumber CAMeL Tools, normalize.py (peraturan alef, alef maksura, teh marbuta) (disemak 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (disemak 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros dan Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (disemak 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, Chapter 9 Middle East-I, Arabic (tatweel) (disemak 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
