BroadRouter
Inizia

Normalizzazione del testo arabo (Arabic text normalization)

Aggiornato

La normalizzazione del testo arabo è il passaggio che riporta a una sola forma le varianti grafiche della stessa parola prima del confronto: toglie diacritici e tatweel, unifica le forme di alef e spesso trasforma ى in ي e ة in ه. Si applica alle chiavi di ricerca e alla valutazione, non al testo che mostri.

Detto anche: normalizzazione arabo, normalizzazione dell’alef, normalizzazione ortografica, Arabic text normalization, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

Gli utenti arabi scrivono la stessa parola in diversi modi. La normalizzazione fa combaciare quelle grafie.

Come funziona

La normalizzazione è un insieme di riscritture di caratteri applicate sia al testo salvato sia alle query. L’ArabicNormalizer di Apache Lucene, usato in molti motori di ricerca, elenca cinque regole:

  1. hamza con supporto alef ridotta ad alef semplice;
  2. teh marbuta (ة) in heh (ه);
  3. yeh senza punti, alef maksura (ى), in yeh (ي);
  4. rimozione delle harakat (diacritici);
  5. rimozione del tatweel, il “carattere di allungamento”.

CAMeL Tools offre le stesse idee come funzioni separate. La sua normalize_alef_ar trasforma إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) in ا, normalize_alef_maksura_ar trasforma ى in ي, e normalize_teh_marbuta_ar trasforma ة in ه. normalize_unicode esegue NFKC per impostazione predefinita, cioè la normalizzazione Unicode, e va applicata per prima.

Il tatweel (U+0640, detto anche kashida) è un carattere di legatura che lo standard Unicode descrive per la giustificazione: inserirlo tra i caratteri allunga una riga. Non ha significato, quindi كتـــاب e كتاب devono combaciare.

Un esempio concreto:

Input Dopo la normalizzazione Regole usate
إِسْلامٌ اسلام diacritici, alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

Perché è importante

Larkey, Ballesteros e Connell (2002) hanno normalizzato la collezione di notizie in arabo di TREC-2001 togliendo punteggiatura, diacritici e caratteri non alfabetici, e sostituendo diverse varianti di lettere con una sola forma. La sola normalizzazione ha portato la precisione media monolingue da 0,194 a 0,238. Il loro stemmer light8 applicato in aggiunta ha raggiunto 0,376.

Lo stesso vale per:

  • RAG e ricerca per parole chiave. Una query scritta senza hamza deve trovare un documento scritto con la hamza. Vedi ricerca RAG in arabo.
  • Word error rate. I punteggi ASR in arabo dipendono dal fatto che riferimenti e trascrizioni siano stati normalizzati allo stesso modo. La spiegazione del WER in arabo mostra l’effetto.
  • Deduplicazione e analisi. Contare parole o termini degli utenti senza normalizzazione divide una parola in più voci.

Il prezzo da pagare sono parole fuse. Unificare l’alef rende identiche le particelle distinte إن e أن, e la regola da ة a ه fonde كرة (palla) con كره (odio). Tratta le regole per hamza e taa marbuta come regolabili.

Su BroadNet Inference

La normalizzazione gira nel tuo codice, non nell’API. Gli endpoint di chat e di trascrizione di BroadNet prendono testo o audio così come li invii. Tieni due copie: l’originale per il modello e per l’utente, e una chiave normalizzata per i confronti.

Il normalizzatore di testo arabo gratuito applica queste regole nel browser, così vedi cosa cambia ciascuna. La guida alla normalizzazione contiene codice Python testato e un’analisi regola per regola.

Errori comuni

  • Normalizzare i documenti ma non le query, o viceversa.
  • Mostrare o citare agli utenti il testo normalizzato.
  • Mescolare librerie con regole diverse, per esempio due mappature diverse per ى.

Domande frequenti

La normalizzazione aiuta anche la ricerca con gli embedding?

I risultati classici sono stati misurati sulla ricerca per parole chiave. Per gli embedding, prova input normalizzato e originale sulle tue query prima di decidere.

Devo normalizzare il testo prima di mandarlo a un LLM?

Di solito no. Manda l’originale, così il modello vede l’ortografia reale, la hamza e i diacritici. Normalizza solo le copie che confronti, indicizzi o valuti.

Tutte le librerie applicano le stesse regole?

No. CAMeL Tools e Lucene trasformano entrambi alef maksura in yeh e teh marbuta in heh, ma altre librerie si comportano diversamente. Scegli un solo set di regole e usalo sia sui documenti sia sulle query.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity