مدرسة e مدرسه sono la stessa parola, «scuola», per la maggior parte dei lettori arabi. Per un confronto tra stringhe sono diverse. Il motivo è la taa marbuta.
Come funziona
Lo standard Unicode classifica TEH MARBUTA (U+0629) come carattere finale, cioè che compare solo alla fine di una parola o di un morfema. Si lega solo a destra, quindi si unisce soltanto alla lettera che la precede. La sua forma è quella della HEH (U+0647) in fine di parola, più due punti:
| Carattere | Code point | Nome Unicode | Forma finale dopo ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Poiché le due differiscono solo per due punti in fine di parola, nel testo digitato compaiono entrambe le grafie. Bouamor et al. (2018) osservano che l’arabo standard moderno ha un’ortografia standard mentre i dialetti no, e che spesso si scrivono le parole come si pronunciano. Quindi nei testi informali e in arabo dialettale aspettati una ه finale dove un dizionario scriverebbe ة.
I normalizzatori per la ricerca fondono le due lettere. normalize_teh_marbuta_ar di CAMeL Tools è un semplice s.replace('ة', 'ه'), e l’ArabicNormalizer di Lucene elenca tra le sue regole “normalization of teh marbuta to heh” (traduzione: normalizzazione di teh marbuta in heh).
Perché è importante
Richiamo (recall). Fondere ة in ه permette a una query per مدرسه di trovare documenti che scrivono مدرسة, e viceversa. È una delle regole standard della normalizzazione del testo arabo, insieme all’unificazione di alef e hamza.
Parole fuse. La regola fa coincidere anche parole che differiscono solo per questa lettera:
| Originale | Significato | Dopo ة → ه |
|---|---|---|
| كرة | palla | كره |
| كره | odio | كره |
Per la ricerca, qualche falso positivo occasionale è di solito un prezzo accettabile. Per il matching di entità, la correzione ortografica o i testi legali, mantieni la distinzione e confronta gli originali.
Valutazione. Nella valutazione dello speech-to-text, una trascrizione che scrive ه dove il riferimento ha ة conta come errore di parola, a meno che entrambi non siano normalizzati allo stesso modo. Decidi prima di calcolare il punteggio e dichiaralo.
Su BroadNet Inference
L’API di BroadNet non normalizza il testo. I modelli di chat ricevono e restituiscono ة e ه esattamente come sono scritte, e BroadNet Transcribe Arabic restituisce normale testo arabo. Applica la regola della ة nel tuo indice o nel tuo codice di valutazione, su entrambi i lati.
Se chiedi a un modello di chat di correggere l’ortografia, verifica le sue modifiche nel codice: l’articolo sulla correzione ortografica in arabo mostra un controllo basato su diff. Per gli indici, l’articolo sulla ricerca RAG in arabo e la guida alla normalizzazione mostrano dove si inserisce la regola. Puoi provare la regola sulle tue stringhe con il normalizzatore di testo arabo.