La hamza est le petit signe qui sépare le plus souvent une orthographe arabe correcte d’une orthographe courante. أحمد et احمد sont le même nom pour un lecteur, mais deux chaînes différentes pour un ordinateur.
Comment ça marche
Le standard Unicode indique que « the hamza may occur above or below other letters » (traduction : « la hamza peut apparaître au-dessus ou au-dessous d’autres lettres ») et cite alif, waw et ya comme supports. Chaque forme avec support est encodée comme un seul caractère précomposé :
| Caractère | Point de code | Nom Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode définit aussi des décompositions : أ, ؤ et ئ sont chacun canoniquement équivalents à la lettre de base suivie de U+0654 ARABIC HAMZA ABOVE. Le même أ visible peut donc arriver sous forme d’un point de code ou de deux. La normalisation Unicode en NFC ou NFKC retransforme ا + U+0654 en un seul U+0623 : c’est pourquoi elle doit passer avant toute règle sur la hamza.
Le texte saisi n’écrit pas toujours la hamza : un même mot peut donc apparaître avec أ, إ, آ ou un ا nu. C’est cette variation que vise la normalisation. normalize_alef_ar de CAMeL Tools ramène إ أ ٱ آ à ا. L’ArabicNormalizer de Lucene normalise « hamza with alef seat to a bare alef » (traduction : « la hamza sur support alif en alif nu »).
Pourquoi c’est important
- Recherche. Un utilisateur tape اسلام et votre document contient إسلام. Sans la règle d’alif, la recherche par mots-clés le manque. Voir normalisation du texte arabe.
- Évaluation de la reconnaissance vocale. L’Open Universal Arabic ASR Leaderboard calcule le WER après « removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas » (traduction : « suppression de toute la ponctuation et des diacritiques, et normalisation des caractères portant des hamzas et des maddas »). Si vous calculez votre propre taux d’erreur sur les mots sans cette étape, une transcription correcte qui omet une hamza compte comme fausse, et vos chiffres ne seront pas comparables à ceux du classement.
- Le prix à payer. Ramener la hamza fusionne des mots qui ne diffèrent que par elle. Les verbes سأل (il a demandé) et سال (il a coulé) deviennent tous deux سال. Les particules إن et أن deviennent toutes deux ان. Pour la plupart des recherches, c’est acceptable ; pour la correction orthographique ou les textes juridiques, ça ne l’est pas.
Sur BroadNet Inference
L’API de BroadNet transmet le texte tel quel ; le traitement de la hamza se fait dans votre code. Les transcriptions de BroadNet Transcribe Arabic sont du texte arabe ordinaire : appliquez donc la même normalisation à votre référence et à la transcription avant de calculer le score. Envoyez language=ar, comme le conseille la documentation de BroadNet. Le guide speech-to-text en arabe contient la requête.
Pour corriger la hamza dans le texte des utilisateurs, un modèle de chat peut aider ; l’article sur la correction orthographique montre comment vérifier que seuls les caractères voulus ont changé. Pour voir l’effet de la normalisation sur vos chaînes, essayez le normaliseur de texte arabe.