BroadRouter

Taux d’erreur sur les caractères (CER)

Mis à jour

Le taux d’erreur sur les caractères (CER) mesure la précision d’une transcription ou d’un OCR au niveau du caractère : substitutions, suppressions et insertions nécessaires pour transformer la sortie en texte de référence, divisées par le nombre de caractères de la référence. Plus il est bas, mieux c’est ; 0 signifie une correspondance parfaite.

Aussi appelé : CER, taux d’erreur sur les caractères, taux d’erreur caractère, taux d’erreur par caractère, character error rate

Le WER demande combien de mots sont faux. Le CER demande combien de lettres sont fausses, ce qui est souvent la question la plus juste pour l’arabe.

Comment ça marche

Le CER reprend la notion de distance d’édition du taux d’erreur sur les mots, appliquée aux caractères. La fiche de la métrique de Hugging Face donne la formule :

CER = (S + D + I) / N, où S désigne les substitutions, D les suppressions, I les insertions et N le nombre de caractères de la référence (N = S + D + C, C étant les caractères corrects).

Un exemple chiffré en arabe. La référence est « وبالكتاب » (« et avec le livre », un seul mot, 8 lettres). La transcription est « وبلكتاب », il manque un alif :

Métrique Erreurs Unités de référence Score
WER 1 mot faux 1 mot 1,0 (100 %)
CER 1 lettre supprimée 8 caractères 0,125 (12,5 %)

Une seule lettre manquante rend tout le mot faux pour le WER. Le CER montre que la transcription était presque juste.

En Python, le paquet jiwer le calcule avec jiwer.cer(reference, hypothesis), et jiwer.process_characters renvoie aussi l’alignement. Normalisez d’abord les deux côtés, comme pour le WER : ponctuation, espaces et, pour l’arabe, diacritiques et formes d’alif ou de ya. Voir normalisation du texte arabe.

Pourquoi c’est important

  • Morphologie arabe. L’arabe attache conjonctions, prépositions et pronoms aux mots sous forme de clitiques : un mot peut donc porter ce que l’anglais écrit en trois ou quatre. Une seule lettre de préfixe erronée coûte un mot entier en WER. Le CER la compte comme un caractère.
  • Langues sans espaces. Le WER a besoin de frontières de mots. La fiche de Hugging Face indique que le CER est utile « especially for multilingual datasets where WER is not suitable given the diversity of languages » (traduction : « en particulier pour les jeux de données multilingues, où le WER n’est pas adapté vu la diversité des langues »).
  • Type d’erreur. Un modèle avec un WER élevé mais un CER bas trouve presque les bons mots : des écarts d’orthographe, de hamza ou de clitiques qu’une normalisation ou une étape de correction peut résoudre. Un CER élevé signifie que le modèle manque des mots entiers ou du contenu.
  • L’OCR aussi. La même métrique note le texte lu dans des images ; elle sert donc à comparer des pipelines d’OCR.

La fiche prévient aussi que le CER ne dit pas pourquoi les erreurs se produisent. Lisez des exemples de transcriptions en plus du score.

Sur BroadNet Inference

BroadNet publie le WER, pas le CER, pour BroadNet Transcribe Arabic et BroadNet Transcribe. Pour obtenir le CER, transcrivez un jeu de test de vos propres enregistrements et notez-le vous-même. L’article le WER en arabe expliqué contient une fonction de normalisation et un script jiwer qui affiche le WER et le CER, et le guide speech-to-text en arabe donne le code de la requête. Envoyez toujours language=ar : sans ce paramètre, l’arabe peut revenir translittéré en lettres latines, ce qui fausse complètement les deux scores.

Erreurs fréquentes

  • Compter les espaces de façon incohérente. Décidez si les espaces comptent comme des caractères et appliquez la même règle à chaque modèle comparé.
  • Comparer son CER au WER de quelqu’un d’autre. Ce sont des échelles différentes. Comparez ce qui est comparable.

Questions fréquentes

Le CER peut-il dépasser 100 % ?

Oui. La fiche de la métrique de Hugging Face précise que le CER n’est pas toujours compris entre 0 et 1, surtout quand une transcription contient beaucoup d’insertions, car le dénominateur ne compte que les caractères de la référence.

Faut-il publier le CER ou le WER pour l’arabe ?

Les deux. Le WER est la valeur citée par les classements et les fournisseurs : il vous le faut pour comparer. Le CER montre si les erreurs portent sur des mots entiers ou sur une lettre ou un clitique ici et là, ce que le WER masque.

BroadNet publie-t-il le CER de ses modèles de transcription ?

Non. BroadNet ne publie que le WER. Pour obtenir le CER, notez votre propre jeu de test avec un outil comme jiwer.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity