Le WER demande combien de mots sont faux. Le CER demande combien de lettres sont fausses, ce qui est souvent la question la plus juste pour l’arabe.
Comment ça marche
Le CER reprend la notion de distance d’édition du taux d’erreur sur les mots, appliquée aux caractères. La fiche de la métrique de Hugging Face donne la formule :
CER = (S + D + I) / N, où S désigne les substitutions, D les suppressions, I les insertions et N le nombre de caractères de la référence (N = S + D + C, C étant les caractères corrects).
Un exemple chiffré en arabe. La référence est « وبالكتاب » (« et avec le livre », un seul mot, 8 lettres). La transcription est « وبلكتاب », il manque un alif :
| Métrique | Erreurs | Unités de référence | Score |
|---|---|---|---|
| WER | 1 mot faux | 1 mot | 1,0 (100 %) |
| CER | 1 lettre supprimée | 8 caractères | 0,125 (12,5 %) |
Une seule lettre manquante rend tout le mot faux pour le WER. Le CER montre que la transcription était presque juste.
En Python, le paquet jiwer le calcule avec jiwer.cer(reference, hypothesis), et jiwer.process_characters renvoie aussi l’alignement. Normalisez d’abord les deux côtés, comme pour le WER : ponctuation, espaces et, pour l’arabe, diacritiques et formes d’alif ou de ya. Voir normalisation du texte arabe.
Pourquoi c’est important
- Morphologie arabe. L’arabe attache conjonctions, prépositions et pronoms aux mots sous forme de clitiques : un mot peut donc porter ce que l’anglais écrit en trois ou quatre. Une seule lettre de préfixe erronée coûte un mot entier en WER. Le CER la compte comme un caractère.
- Langues sans espaces. Le WER a besoin de frontières de mots. La fiche de Hugging Face indique que le CER est utile « especially for multilingual datasets where WER is not suitable given the diversity of languages » (traduction : « en particulier pour les jeux de données multilingues, où le WER n’est pas adapté vu la diversité des langues »).
- Type d’erreur. Un modèle avec un WER élevé mais un CER bas trouve presque les bons mots : des écarts d’orthographe, de hamza ou de clitiques qu’une normalisation ou une étape de correction peut résoudre. Un CER élevé signifie que le modèle manque des mots entiers ou du contenu.
- L’OCR aussi. La même métrique note le texte lu dans des images ; elle sert donc à comparer des pipelines d’OCR.
La fiche prévient aussi que le CER ne dit pas pourquoi les erreurs se produisent. Lisez des exemples de transcriptions en plus du score.
Sur BroadNet Inference
BroadNet publie le WER, pas le CER, pour BroadNet Transcribe Arabic et BroadNet Transcribe. Pour obtenir le CER, transcrivez un jeu de test de vos propres enregistrements et notez-le vous-même. L’article le WER en arabe expliqué contient une fonction de normalisation et un script jiwer qui affiche le WER et le CER, et le guide speech-to-text en arabe donne le code de la requête. Envoyez toujours language=ar : sans ce paramètre, l’arabe peut revenir translittéré en lettres latines, ce qui fausse complètement les deux scores.
Erreurs fréquentes
- Compter les espaces de façon incohérente. Décidez si les espaces comptent comme des caractères et appliquez la même règle à chaque modèle comparé.
- Comparer son CER au WER de quelqu’un d’autre. Ce sont des échelles différentes. Comparez ce qui est comparable.