Il word error rate (WER) è il numero di parole sostituite, cancellate e inserite diviso per il numero di parole della trascrizione corretta. Più basso è, meglio è. Il WER in arabo si gonfia facilmente: la stessa trascrizione corretta si può scrivere in più modi, e un confronto ingenuo conta come errore ogni scelta grafica, ogni diacritico e ogni grafia dialettale.
Questo articolo spiega cosa misura il WER, perché con l’arabo diventa scivoloso e come calcolarlo perché i tuoi numeri abbiano un senso. Per costruire il test set, vedi riconoscimento vocale dei dialetti arabi; per scegliere un fornitore, vedi la guida all’acquisto di un’API speech-to-text per l’arabo.
Cos’è il word error rate?
Il word error rate confronta una trascrizione automatica (l’ipotesi) con una trascrizione umana corretta (il riferimento). Trova il numero minimo di modifiche a livello di parola che trasformano l’una nell’altra:
- S, sostituzioni: una parola sostituita da un’altra.
- D, cancellazioni: una parola del riferimento che manca nell’ipotesi.
- I, inserimenti: una parola in più nell’ipotesi.
Quindi:
WER = (S + D + I) / N, dove N è il numero di parole del riferimento.
Un WER di 0,10 (spesso scritto 10) significa circa un errore ogni dieci parole del riferimento. Più basso è, meglio è. Poiché gli inserimenti contano, il WER può superare il 100% per una trascrizione piena di parole inventate.
Il character error rate (CER) è la stessa formula applicata ai caratteri. È utile per l’arabo, dove una sola lettera sbagliata in un prefisso fa contare come sbagliata l’intera parola.
Perché il WER in arabo è difficile da confrontare?
1. Diacritici
Le vocali brevi arabe si scrivono con segni facoltativi (tashkeel) sopra e sotto le lettere: fatha, damma, kasra, sukun, shadda e tanween. Il testo di tutti i giorni li omette. Se il tuo riferimento ha “مَدْرَسَةٌ” e il modello scrive “مدرسة”, un confronto rigido conta una sostituzione, anche se qualsiasi lettore arabo vede la stessa parola.
2. Varianti grafiche
Diverse lettere hanno varianti comuni e accettate:
| Variazione | Esempio | Normalizzazione tipica |
|---|---|---|
| Hamza sull’alef | أحمد / احمد, إلى / الى | Converti أ إ آ in ا |
| Ta marbuta o ha | مدرسة / مدرسه | Converti ة in ه |
| Alef maqsura o ya | على / علي (nella scrittura informale) | Converti ى in ي |
| Tanween con alef | صباحاً / صباحا | Togli il diacritico |
| Tatweel (allungamento) | جـمـيـل / جميل | Rimuovi ـ |
3. Clitici e confini di parola
L’arabo attacca alle parole congiunzioni, preposizioni e pronomi: “وبمدرستهم” significa “e nella loro scuola” in un’unica parola scritta. Se il modello scrive “و بمدرستهم” con uno spazio, il numero di parole cambia e il WER lo penalizza due volte. Alcune valutazioni prima suddividono le parole in morfemi; la maggior parte no. Sappi quale stai leggendo.
4. Dialetti
A differenza dell’arabo standard moderno, il parlato dialettale non ha una grafia standard. Un egiziano che dice “voglio” può essere trascritto “عايز” o “عاوز”; il “cosa” di chi parla del Golfo può diventare “وش” o “ويش”. Alcuni trascrittori, poi, “correggono” il dialetto in MSA. Ognuno di questi casi è un errore di WER anche quando il significato è perfetto. È buona parte del motivo per cui il WER sul dialetto è tanto più alto di quello sul parlato letto.
5. Numeri e code-switching
Chi parla passa spesso all’inglese a metà frase (code-switching). Si scrive “٢٥”, “25” o “خمسة وعشرين”? Un marchio inglese va in caratteri latini o in lettere arabe? Decidi una convenzione, applicala al riferimento e normalizza l’ipotesi di conseguenza.
Quanto cambia il punteggio con la normalizzazione?
Riferimento: ذهبت إلى المدرسة صباحاً (“Sono andato a scuola la mattina”)
Ipotesi: ذهبت الى المدرسه صباحا
Senza normalizzazione, tre parole su quattro sono diverse (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Dopo aver normalizzato entrambi i testi sono identici: WER 0%. Stessa trascrizione, stessa qualità, e il numero è passato da pessimo a perfetto. Per questo un valore di WER senza le sue regole di normalizzazione dice poco.
Come si calcola il WER in arabo con Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Applica esattamente la stessa funzione a riferimenti e ipotesi, per ogni modello che confronti. Pubblicala accanto ai tuoi numeri.
Che WER riporta BroadNet per l’arabo?
BroadNet pubblica misure di laboratorio per BroadNet Transcribe Arabic nel suo catalogo modelli:
| Test set | Cos’è | WER riportato da BroadNet |
|---|---|---|
| FLEURS-ar | Frasi lette, audio pulito | 3,8 |
| MASC-ar | Parlato arabo reale e misto | 21,1 |
| Set dialettale di BroadNet | Parlato in dialetto | 23,4 |
BroadNet riporta anche il modello al posto #2 su 37 (dato di settembre 2026; la classifica in tempo reale lo indicava #4 su 39 il 15 novembre 2026) nella Open Universal Arabic ASR Leaderboard, e al n. 1 tra i modelli la cui licenza permette di servirli tramite API. Sono dati di BroadNet, non verifiche indipendenti. La classifica applica a tutti i modelli lo stesso protocollo di valutazione, il che rende le sue posizioni più confrontabili dei numeri presi da pagine di fornitori diversi.
Guarda la forbice, non solo il numero migliore. Il salto da 3,8 a 23,4 è la distanza tra parlato letto e dialetto spontaneo per uno stesso modello, quindi testa ogni candidato su entrambi i tipi di audio. Il tuo audio, che siano linee di call center, vocali WhatsApp o riunioni, cadrà da qualche parte in quell’intervallo, e solo un test ti dice dove.
Come si misura il WER sul proprio audio?
- Campiona per condizione. Raggruppa le clip per dialetto e canale (telefono, vocale, studio). Il metodo per il test set dialettale tratta dimensioni del campione e convenzioni di grafia.
- Trascrivi con ogni candidato. Per BroadNet, invia
language=ar; senza, l’arabo può tornare traslitterato in caratteri latini. La guida speech-to-text per l’arabo contiene il codice, e il credito iniziale $5 copre circa 1,190 minuti di audio. - Normalizza e calcola. Usa la funzione qui sopra e riporta WER e CER per gruppo.
- Leggi gli errori. Ordina le sostituzioni per frequenza. Se gli errori più frequenti sono nomi, importi o codici prodotto, l’impatto sul business è maggiore di quanto dica il punteggio.
Cosa misurare oltre al WER?
Il WER tratta tutte le parole allo stesso modo, il tuo prodotto no. A un bot di assistenza interessa l’intento; a un flusso di fatturazione interessano i numeri; a un team di compliance interessano frasi precise. Affianca al WER una metrica del compito: l’accuratezza sull’intento dopo che un LLM ha letto la trascrizione, o la corrispondenza esatta sugli importi estratti. Un modello con un WER leggermente più alto può comunque vincere se i suoi errori cadono su parole che non contano.
Per i costi, inserisci le tue ore mensili di audio nel calcolatore gratuito dei costi speech-to-text e guarda come differiscono il modello per l’arabo e quello a 14 lingue in BroadNet Transcribe e Transcribe Arabic a confronto.
