Le taux d’erreur de mots (WER, word error rate) est le nombre de mots substitués, supprimés et insérés, divisé par le nombre de mots de la transcription correcte. Plus il est bas, mieux c’est. Le WER arabe se gonfle facilement : une même transcription correcte peut s’écrire de plusieurs façons, et une comparaison naïve compte chaque choix orthographique, chaque diacritique et chaque graphie dialectale comme une faute.
Cet article explique ce que mesure le WER, pourquoi l’arabe le rend glissant et comment le calculer pour que vos chiffres aient un sens. Pour construire le jeu de test lui-même, voyez la reconnaissance vocale des dialectes arabes ; pour choisir un fournisseur, voyez le guide d’achat des API speech-to-text arabes.
Qu’est-ce que le taux d’erreur de mots ?
Le taux d’erreur de mots compare une transcription automatique (l’hypothèse) à une transcription humaine correcte (la référence). Il cherche le nombre minimal de modifications de mots qui transforment l’une en l’autre :
- S, substitutions : un mot remplacé par un autre.
- D, suppressions (deletions) : un mot de la référence absent de l’hypothèse.
- I, insertions : un mot en trop dans l’hypothèse.
Puis :
WER = (S + D + I) / N, où N est le nombre de mots de la référence.
Un WER de 0,10 (souvent écrit 10) signifie environ une erreur pour dix mots de référence. Plus il est bas, mieux c’est. Comme les insertions comptent, le WER peut dépasser 100 % pour une transcription pleine de mots inventés.
Le taux d’erreur de caractères (CER, character error rate) est la même formule appliquée aux caractères. Il est utile en arabe, où une seule lettre fausse dans un préfixe fait compter tout le mot comme faux.
Pourquoi le WER arabe est-il difficile à comparer ?
1. Les diacritiques
Les voyelles brèves arabes s’écrivent sous forme de signes facultatifs (tashkil) au-dessus et au-dessous des lettres : fatha, damma, kasra, soukoun, chadda et tanwin. Le texte courant les omet. Si votre référence contient « مَدْرَسَةٌ » et que le modèle écrit « مدرسة », une comparaison stricte compte une substitution, alors que tout lecteur arabe voit le même mot.
2. Les variantes orthographiques
Plusieurs lettres ont des variantes courantes et admises :
| Variation | Exemple | Normalisation habituelle |
|---|---|---|
| Hamza sur l’alef | أحمد / احمد, إلى / الى | Ramener أ إ آ à ا |
| Ta marbuta ou ha | مدرسة / مدرسه | Ramener ة à ه |
| Alef maqsura ou ya | على / علي (en écriture relâchée) | Ramener ى à ي |
| Tanwin avec alef | صباحاً / صباحا | Retirer le diacritique |
| Tatweel (allongement) | جـمـيـل / جميل | Supprimer ـ |
3. Clitiques et frontières de mots
L’arabe attache conjonctions, prépositions et pronoms aux mots : « وبمدرستهم » signifie « et dans leur école » en un seul mot écrit. Si le modèle écrit « و بمدرستهم » avec une espace, le nombre de mots change et le WER le pénalise deux fois. Certaines évaluations découpent d’abord les mots en morphèmes ; la plupart non. Sachez lequel des deux vous lisez.
4. Les dialectes
Contrairement à l’arabe standard moderne, la parole dialectale n’a pas d’orthographe standard. Un locuteur égyptien qui dit « je veux » peut être transcrit « عايز » ou « عاوز » ; le « quoi » d’un locuteur du Golfe peut devenir « وش » ou « ويش ». Certains transcripteurs « corrigent » aussi le dialecte en MSA. Chacun de ces cas est une erreur de WER, même quand le sens est parfait. C’est une grande partie de la raison pour laquelle le WER en dialecte est tellement plus élevé que sur la parole lue.
5. Nombres et alternance codique
Les locuteurs passent souvent à l’anglais en milieu de phrase (alternance codique). Faut-il écrire « ٢٥ », « 25 » ou « خمسة وعشرين » ? Une marque anglaise s’écrit-elle en alphabet latin ou en lettres arabes ? Fixez une convention, appliquez-la à la référence et normalisez l’hypothèse en conséquence.
Combien la normalisation change-t-elle le score ?
Référence : ذهبت إلى المدرسة صباحاً (« Je suis allé à l’école le matin »)
Hypothèse : ذهبت الى المدرسه صباحا
Sans normalisation, trois mots sur quatre diffèrent (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا) : WER 75 %. Une fois les deux textes normalisés, ils sont identiques : WER 0 %. Même transcription, même qualité, et le chiffre passe de catastrophique à parfait. Voilà pourquoi un WER sans ses règles de normalisation en dit peu.
Comment calculer le WER arabe en Python ?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Appliquez exactement la même fonction aux références et aux hypothèses, pour chaque modèle comparé. Publiez-la à côté de vos chiffres.
Quel WER BroadNet annonce-t-il pour l’arabe ?
BroadNet publie des mesures de laboratoire pour BroadNet Transcribe Arabic dans son catalogue de modèles :
| Jeu de test | Nature | WER annoncé par BroadNet |
|---|---|---|
| FLEURS-ar | Phrases lues, enregistrement propre | 3,8 |
| MASC-ar | Parole arabe réelle et variée | 21,1 |
| Jeu de dialectes de BroadNet | Parole dialectale | 23,4 |
BroadNet place aussi le modèle à #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) sur l’Open Universal Arabic ASR Leaderboard, et n° 1 parmi les modèles dont la licence autorise un service par API. Ce sont les chiffres de BroadNet, pas des audits indépendants. Le classement applique la même configuration d’évaluation à chaque modèle, ce qui rend ses rangs plus comparables que des chiffres tirés de pages de fournisseurs distinctes.
Lisez l’écart, pas seulement le meilleur chiffre. Le passage de 3,8 à 23,4 est, pour un seul et même modèle, la distance entre parole lue et dialecte spontané : testez donc chaque candidat sur les deux types d’audio. Votre propre audio, qu’il s’agisse de lignes de centre d’appels, de messages vocaux WhatsApp ou de réunions, se situera quelque part dans cette plage, et seul un test vous dira où.
Comment mesurer le WER sur votre propre audio ?
- Échantillonner par condition. Regroupez les extraits par dialecte et par canal (téléphone, message vocal, studio). La méthode de jeu de test dialectal traite des tailles d’échantillon et des conventions d’orthographe.
- Transcrire avec chaque candidat. Chez BroadNet, envoyez
language=ar; sans ce paramètre, l’arabe peut revenir translittéré en lettres latines. Le guide speech-to-text arabe contient le code, et le crédit de départ de $5 couvre environ 1,190 minutes d’audio. - Normaliser et noter. Utilisez la fonction ci-dessus, et indiquez WER et CER par groupe.
- Lire les erreurs. Triez les substitutions par fréquence. Si les erreurs les plus fréquentes portent sur des noms, des montants ou des codes produit, l’impact métier est plus grand que ne le suggère le score.
Que mesurer en plus du WER ?
Le WER traite tous les mots de la même façon, votre produit non. Un bot de support s’intéresse à l’intention ; un flux de facturation, aux nombres ; une équipe conformité, à certaines formulations. Ajoutez une métrique de tâche à côté du WER : la précision de l’intention après lecture de la transcription par un LLM, ou la correspondance exacte des montants extraits. Un modèle au WER un peu plus élevé peut tout de même l’emporter si ses erreurs tombent sur des mots sans importance.
Côté coûts, saisissez vos heures d’audio mensuelles dans le calculateur de coût speech-to-text gratuit, et voyez en quoi le modèle arabe et le modèle à 14 langues diffèrent dans BroadNet Transcribe vs Transcribe Arabic.
