Gli utenti arabi scrivono la stessa parola in diversi modi. La normalizzazione fa combaciare quelle grafie.
Come funziona
La normalizzazione è un insieme di riscritture di caratteri applicate sia al testo salvato sia alle query. L’ArabicNormalizer di Apache Lucene, usato in molti motori di ricerca, elenca cinque regole:
- hamza con supporto alef ridotta ad alef semplice;
- teh marbuta (ة) in heh (ه);
- yeh senza punti, alef maksura (ى), in yeh (ي);
- rimozione delle harakat (diacritici);
- rimozione del tatweel, il “carattere di allungamento”.
CAMeL Tools offre le stesse idee come funzioni separate. La sua normalize_alef_ar trasforma إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) in ا, normalize_alef_maksura_ar trasforma ى in ي, e normalize_teh_marbuta_ar trasforma ة in ه. normalize_unicode esegue NFKC per impostazione predefinita, cioè la normalizzazione Unicode, e va applicata per prima.
Il tatweel (U+0640, detto anche kashida) è un carattere di legatura che lo standard Unicode descrive per la giustificazione: inserirlo tra i caratteri allunga una riga. Non ha significato, quindi كتـــاب e كتاب devono combaciare.
Un esempio concreto:
| Input | Dopo la normalizzazione | Regole usate |
|---|---|---|
| إِسْلامٌ | اسلام | diacritici, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
Perché è importante
Larkey, Ballesteros e Connell (2002) hanno normalizzato la collezione di notizie in arabo di TREC-2001 togliendo punteggiatura, diacritici e caratteri non alfabetici, e sostituendo diverse varianti di lettere con una sola forma. La sola normalizzazione ha portato la precisione media monolingue da 0,194 a 0,238. Il loro stemmer light8 applicato in aggiunta ha raggiunto 0,376.
Lo stesso vale per:
- RAG e ricerca per parole chiave. Una query scritta senza hamza deve trovare un documento scritto con la hamza. Vedi ricerca RAG in arabo.
- Word error rate. I punteggi ASR in arabo dipendono dal fatto che riferimenti e trascrizioni siano stati normalizzati allo stesso modo. La spiegazione del WER in arabo mostra l’effetto.
- Deduplicazione e analisi. Contare parole o termini degli utenti senza normalizzazione divide una parola in più voci.
Il prezzo da pagare sono parole fuse. Unificare l’alef rende identiche le particelle distinte إن e أن, e la regola da ة a ه fonde كرة (palla) con كره (odio). Tratta le regole per hamza e taa marbuta come regolabili.
Su BroadNet Inference
La normalizzazione gira nel tuo codice, non nell’API. Gli endpoint di chat e di trascrizione di BroadNet prendono testo o audio così come li invii. Tieni due copie: l’originale per il modello e per l’utente, e una chiave normalizzata per i confronti.
Il normalizzatore di testo arabo gratuito applica queste regole nel browser, così vedi cosa cambia ciascuna. La guida alla normalizzazione contiene codice Python testato e un’analisi regola per regola.
Errori comuni
- Normalizzare i documenti ma non le query, o viceversa.
- Mostrare o citare agli utenti il testo normalizzato.
- Mescolare librerie con regole diverse, per esempio due mappature diverse per ى.