---
title: "Ano ang Arabic text normalization? Rules sa search at RAG"
description: "Pinag-iisa ng Arabic text normalization ang variant ng spelling (alef forms, tatweel, diacritics) para mag-match ang search, RAG at WER scoring. Rules at trade-off."
url: https://broadrouter.com/fil/glossary/arabic-text-normalization/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/arabic-text-normalization/) (na-update noong 2026-11-15).

# Arabic text normalization

Na-update 2026-11-15

Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.

Tinatawag ding: Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants, normalisasyon ng Arabic

Iba-iba ang pagta-type ng mga Arabic user sa parehong salita. Normalization ang nagpapa-match sa mga spelling na iyon.

## Paano ito gumagana

Ang normalization ay set ng pagpapalit ng character na ginagawa sa naka-store na text at sa mga query. Limang rule ang nakalista sa ArabicNormalizer ng Apache Lucene, na ginagamit ng maraming search engine:

1.  hamza na nakapatong sa alef, gawing alef na walang hamza;
2.  teh marbuta (ة), gawing heh (ه);
3.  dotless yeh, alef maksura (ى), gawing yeh (ي);
4.  pagtatanggal ng harakat ([diacritics](https://broadrouter.com/fil/glossary/arabic-diacritics/));
5.  pagtatanggal ng tatweel, ang “stretching character”.

Parehong ideya ang inaalok ng CAMeL Tools bilang magkakahiwalay na function. Minamapa ng `normalize_alef_ar` nito ang إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) sa ا, minamapa ng `normalize_alef_maksura_ar` ang ى sa ي, at minamapa ng `normalize_teh_marbuta_ar` ang ة sa ه. Default na nagpapatakbo ng NFKC ang `normalize_unicode`, na [Unicode normalization](https://broadrouter.com/fil/glossary/unicode-normalization/) at dapat mauna.

Ang tatweel (U+0640, tinatawag ding kashida) ay joining character na inilalarawan ng Unicode Standard para sa justification: kapag isiningit ito sa pagitan ng mga character, humahaba ang linya. Wala itong kahulugan, kaya dapat mag-match ang كتـــاب at كتاب.

Isang halimbawa:

| Input | Pagkatapos ng normalization | Ginamit na rule |
| --- | --- | --- |
| إِسْلامٌ | اسلام | diacritics, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## Bakit ito mahalaga

Na-normalize nina Larkey, Ballesteros at Connell (2002) ang TREC-2001 Arabic newswire collection sa pamamagitan ng pagtatanggal ng punctuation, diacritics at mga hindi titik, at pagpapalit ng ilang variant ng titik sa iisang anyo. Normalization lang, tumaas na ang monolingual average precision mula .194 hanggang .238. Kapag idinagdag ang kanilang light8 stemmer, umabot ito sa .376.

Ganito rin sa:

-   **[RAG](https://broadrouter.com/fil/glossary/rag/) at keyword search.** Dapat mahanap ng query na walang hamza ang dokumentong isinulat na may hamza. Tingnan ang [Arabic RAG search](https://broadrouter.com/fil/blog/arabic-rag-search/).
-   **[Word error rate](https://broadrouter.com/fil/glossary/word-error-rate/).** Nakadepende ang Arabic ASR score sa kung pareho ang pag-normalize sa mga reference at transcript. Ipinapakita ng [paliwanag sa Arabic WER](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/) ang epekto.
-   **Deduplication at analytics.** Kapag binilang ang mga salita o termino ng user nang walang normalization, nahahati ang iisang salita sa ilan.

Ang kapalit ay mga salitang napagsasama. Kapag pinag-isa ang alef, nagiging iisang string ang magkaibang particle na إن at أن, at pinagsasama ng rule na ة tungong ه ang كرة (bola) at كره (pagkapoot). Ituring na puwedeng i-tune ang mga rule para sa [hamza](https://broadrouter.com/fil/glossary/hamza/) at [taa marbuta](https://broadrouter.com/fil/glossary/taa-marbuta/).

## Sa BroadNet Inference

Sa code mo tumatakbo ang normalization, hindi sa API. Tinatanggap ng mga chat at transcription endpoint ng BroadNet ang text o audio mo nang kung ano ito. Magtago ng dalawang kopya: ang orihinal para sa model at sa user, at isang normalized na key para sa matching.

Ginagamit ng libreng [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) ang mga rule na ito sa browser para makita mo kung ano ang binabago ng bawat isa. Nasa [gabay sa normalization](https://broadrouter.com/fil/blog/arabic-text-normalization-search/) ang nasubok na Python code at talakayan ng bawat rule.

## Mga karaniwang pagkakamali

-   Pag-normalize sa mga dokumento pero hindi sa mga query, o kabaligtaran.
-   Pagpapakita o pag-cite ng normalized na text sa mga user.
-   Paghahalo ng mga library na magkaiba ang rule, gaya ng dalawang magkaibang mapping para sa ى.

## Mga tanong

### Nakatutulong din ba ang normalization sa embedding search?

Sa keyword search sinukat ang mga klasikong resulta. Para sa embeddings, subukan ang normalized at raw na input sa sarili mong mga query bago magpasya.

### Dapat ko bang i-normalize ang text bago ipadala sa LLM?

Kadalasan hindi. Ipadala ang orihinal para makita ng model ang totoong spelling, hamza at diacritics. I-normalize lang ang mga kopyang ima-match, ii-index o isi-score mo.

### Pare-pareho ba ang mga rule ng lahat ng library?

Hindi. Parehong minamapa ng CAMeL Tools at Lucene ang alef maksura sa yeh at ang teh marbuta sa heh, pero iba ang ibang library. Pumili ng isang set ng rule at gamitin ito sa mga dokumento at sa mga query.

## Tingnan din

-   [Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/) (termino)
-   [Hamza](https://broadrouter.com/fil/glossary/hamza/) (termino)
-   [Taa marbuta](https://broadrouter.com/fil/glossary/taa-marbuta/) (termino)
-   [Unicode normalization](https://broadrouter.com/fil/glossary/unicode-normalization/) (termino)
-   [RAG (retrieval-augmented generation)](https://broadrouter.com/fil/glossary/rag/) (termino)
-   [Word error rate (WER)](https://broadrouter.com/fil/glossary/word-error-rate/) (termino)
-   [Arabic text normalization para sa search at RAG: ano ang babaguhin](https://broadrouter.com/fil/blog/arabic-text-normalization-search/) (artikulo)
-   [Arabic RAG: normalisation, chunking at retrieval na gumagana](https://broadrouter.com/fil/blog/arabic-rag-search/) (artikulo)
-   [Arabic ASR word error rate (WER), ipinaliwanag](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Mga source**

-   [Docs ng CAMeL Tools, camel\_tools.utils.normalize (sinuri noong 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Source code ng CAMeL Tools, normalize.py (mga rule para sa alef, alef maksura, teh marbuta) (sinuri noong 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (sinuri noong 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros at Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (sinuri noong 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, Chapter 9 Middle East-I, Arabic (tatweel) (sinuri noong 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
