La hamza è il piccolo segno che più spesso separa la grafia corretta di una parola araba da quella più diffusa. أحمد e احمد sono lo stesso nome per chi legge, ma stringhe diverse per un computer.
Come funziona
The Unicode Standard dice che “the hamza may occur above or below other letters” (traduzione: la hamza può trovarsi sopra o sotto altre lettere), e indica alef, waw e yeh come supporti. Ogni forma con supporto è codificata come un unico carattere precomposto:
| Carattere | Code point | Nome Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode definisce anche delle scomposizioni: أ, ؤ e ئ sono ciascuna canonicamente equivalenti alla lettera base seguita da U+0654 ARABIC HAMZA ABOVE. Quindi la stessa أ visibile può arrivare come uno o due code point. La normalizzazione Unicode in NFC o NFKC riporta ا + U+0654 all’unico U+0623, ed è per questo che va eseguita prima di qualsiasi regola sulla hamza.
Il testo digitato non sempre scrive la hamza, quindi la stessa parola può comparire con أ, إ, آ o con una ا nuda. È questa la variazione su cui interviene la normalizzazione. normalize_alef_ar di CAMeL Tools converte إ أ ٱ آ in ا. L’ArabicNormalizer di Lucene normalizza “hamza with alef seat to a bare alef” (traduzione: la hamza con supporto alef in una alef nuda).
Perché è importante
- Ricerca. Un utente digita اسلام e il tuo documento contiene إسلام. Senza la regola sulla alef, la ricerca per parole chiave non lo trova. Vedi normalizzazione del testo arabo.
- Valutazione del parlato. L’Open Universal Arabic ASR Leaderboard calcola il WER dopo “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (traduzione: aver rimosso tutta la punteggiatura e i diacritici e aver normalizzato i caratteri con hamza e madda). Se calcoli il tuo word error rate senza lo stesso passaggio, una trascrizione corretta che perde una hamza conta come errore, e i tuoi numeri non saranno confrontabili con quelli della classifica.
- Il prezzo da pagare. Ridurre la hamza unisce parole che differiscono solo per la hamza. I verbi سأل (ha chiesto) e سال (è colato) diventano entrambi سال. Le particelle إن e أن diventano entrambe ان. Per la maggior parte delle ricerche è accettabile; per la correzione ortografica o i testi legali no.
Su BroadNet Inference
L’API di BroadNet passa il testo senza modificarlo; la gestione della hamza avviene nel tuo codice. Le trascrizioni di BroadNet Transcribe Arabic sono normale testo arabo, quindi applica la stessa normalizzazione sia al riferimento sia alla trascrizione prima di calcolare il punteggio. Invia language=ar, come consiglia la documentazione di BroadNet. La guida allo speech-to-text in arabo contiene la richiesta.
Per correggere la hamza nel testo degli utenti può aiutare un modello di chat; l’articolo sulla correzione ortografica mostra come verificare che siano cambiati solo i caratteri previsti. Per vedere cosa fa la riduzione alle tue stringhe, prova il normalizzatore di testo arabo.