---
title: "Cos’è la normalizzazione del testo arabo? Ricerca e RAG"
description: "La normalizzazione del testo arabo riduce a una forma varianti come alef, tatweel e diacritici, così ricerca, RAG e WER combaciano. Regole e compromessi."
url: https://broadrouter.com/it/glossary/arabic-text-normalization/
lang: it
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/glossary/arabic-text-normalization/) (aggiornato il 2026-11-15).

# Normalizzazione del testo arabo (Arabic text normalization)

Aggiornato 2026-11-15

La normalizzazione del testo arabo è il passaggio che riporta a una sola forma le varianti grafiche della stessa parola prima del confronto: toglie diacritici e tatweel, unifica le forme di alef e spesso trasforma ى in ي e ة in ه. Si applica alle chiavi di ricerca e alla valutazione, non al testo che mostri.

Detto anche: normalizzazione arabo, normalizzazione dell’alef, normalizzazione ortografica, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Gli utenti arabi scrivono la stessa parola in diversi modi. La normalizzazione fa combaciare quelle grafie.

## Come funziona

La normalizzazione è un insieme di riscritture di caratteri applicate sia al testo salvato sia alle query. L’ArabicNormalizer di Apache Lucene, usato in molti motori di ricerca, elenca cinque regole:

1.  hamza con supporto alef ridotta ad alef semplice;
2.  teh marbuta (ة) in heh (ه);
3.  yeh senza punti, alef maksura (ى), in yeh (ي);
4.  rimozione delle harakat ([diacritici](https://broadrouter.com/it/glossary/arabic-diacritics/));
5.  rimozione del tatweel, il “carattere di allungamento”.

CAMeL Tools offre le stesse idee come funzioni separate. La sua `normalize_alef_ar` trasforma إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) in ا, `normalize_alef_maksura_ar` trasforma ى in ي, e `normalize_teh_marbuta_ar` trasforma ة in ه. `normalize_unicode` esegue NFKC per impostazione predefinita, cioè la [normalizzazione Unicode](https://broadrouter.com/it/glossary/unicode-normalization/), e va applicata per prima.

Il tatweel (U+0640, detto anche kashida) è un carattere di legatura che lo standard Unicode descrive per la giustificazione: inserirlo tra i caratteri allunga una riga. Non ha significato, quindi كتـــاب e كتاب devono combaciare.

Un esempio concreto:

| Input | Dopo la normalizzazione | Regole usate |
| --- | --- | --- |
| إِسْلامٌ | اسلام | diacritici, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |

## Perché è importante

Larkey, Ballesteros e Connell (2002) hanno normalizzato la collezione di notizie in arabo di TREC-2001 togliendo punteggiatura, diacritici e caratteri non alfabetici, e sostituendo diverse varianti di lettere con una sola forma. La sola normalizzazione ha portato la precisione media monolingue da 0,194 a 0,238. Il loro stemmer light8 applicato in aggiunta ha raggiunto 0,376.

Lo stesso vale per:

-   **[RAG](https://broadrouter.com/it/glossary/rag/) e ricerca per parole chiave.** Una query scritta senza hamza deve trovare un documento scritto con la hamza. Vedi [ricerca RAG in arabo](https://broadrouter.com/it/blog/arabic-rag-search/).
-   **[Word error rate](https://broadrouter.com/it/glossary/word-error-rate/).** I punteggi ASR in arabo dipendono dal fatto che riferimenti e trascrizioni siano stati normalizzati allo stesso modo. La [spiegazione del WER in arabo](https://broadrouter.com/it/blog/arabic-asr-wer-explained/) mostra l’effetto.
-   **Deduplicazione e analisi.** Contare parole o termini degli utenti senza normalizzazione divide una parola in più voci.

Il prezzo da pagare sono parole fuse. Unificare l’alef rende identiche le particelle distinte إن e أن, e la regola da ة a ه fonde كرة (palla) con كره (odio). Tratta le regole per [hamza](https://broadrouter.com/it/glossary/hamza/) e [taa marbuta](https://broadrouter.com/it/glossary/taa-marbuta/) come regolabili.

## Su BroadNet Inference

La normalizzazione gira nel tuo codice, non nell’API. Gli endpoint di chat e di trascrizione di BroadNet prendono testo o audio così come li invii. Tieni due copie: l’originale per il modello e per l’utente, e una chiave normalizzata per i confronti.

Il [normalizzatore di testo arabo](https://broadrouter.com/tools/arabic-text-normalizer/) gratuito applica queste regole nel browser, così vedi cosa cambia ciascuna. La [guida alla normalizzazione](https://broadrouter.com/it/blog/arabic-text-normalization-search/) contiene codice Python testato e un’analisi regola per regola.

## Errori comuni

-   Normalizzare i documenti ma non le query, o viceversa.
-   Mostrare o citare agli utenti il testo normalizzato.
-   Mescolare librerie con regole diverse, per esempio due mappature diverse per ى.

## Domande frequenti

### La normalizzazione aiuta anche la ricerca con gli embedding?

I risultati classici sono stati misurati sulla ricerca per parole chiave. Per gli embedding, prova input normalizzato e originale sulle tue query prima di decidere.

### Devo normalizzare il testo prima di mandarlo a un LLM?

Di solito no. Manda l’originale, così il modello vede l’ortografia reale, la hamza e i diacritici. Normalizza solo le copie che confronti, indicizzi o valuti.

### Tutte le librerie applicano le stesse regole?

No. CAMeL Tools e Lucene trasformano entrambi alef maksura in yeh e teh marbuta in heh, ma altre librerie si comportano diversamente. Scegli un solo set di regole e usalo sia sui documenti sia sulle query.

## Vedi anche

-   [Diacritici arabi (tashkeel)](https://broadrouter.com/it/glossary/arabic-diacritics/) (termine)
-   [Hamza (lettera araba)](https://broadrouter.com/it/glossary/hamza/) (termine)
-   [Tā’ marbūṭa (taa marbuta, ة)](https://broadrouter.com/it/glossary/taa-marbuta/) (termine)
-   [Normalizzazione Unicode (Unicode normalization)](https://broadrouter.com/it/glossary/unicode-normalization/) (termine)
-   [RAG (retrieval-augmented generation)](https://broadrouter.com/it/glossary/rag/) (termine)
-   [Word error rate (WER)](https://broadrouter.com/it/glossary/word-error-rate/) (termine)
-   [Normalizzare il testo arabo per ricerca e RAG: cosa cambiare, cosa no](https://broadrouter.com/it/blog/arabic-text-normalization-search/) (articolo)
-   [RAG in arabo: normalizzazione, chunking e retrieval che funzionano](https://broadrouter.com/it/blog/arabic-rag-search/) (articolo)
-   [Word error rate (WER) nell’ASR in arabo: guida pratica](https://broadrouter.com/it/blog/arabic-asr-wer-explained/) (articolo)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-glossary-arabic-text-normalization&utm_content=page-cta) ·

**Fonti**

-   [Documentazione di CAMeL Tools, camel\_tools.utils.normalize (verificato il 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Sorgente di CAMeL Tools, normalize.py (regole per alef, alef maksura, teh marbuta) (verificato il 2026-11-15)](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API, ArabicNormalizer (verificato il 2026-11-15)](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey, Ballesteros e Connell, Improving Stemming for Arabic Information Retrieval (SIGIR 2002) (verificato il 2026-11-15)](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0, capitolo 9 Middle East-I, arabo (tatweel) (verificato il 2026-11-15)](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
