Il WER risponde a una domanda: su 100 parole pronunciate, quante ne ha sbagliate la trascrizione?
Come funziona
Allinea la trascrizione del modello con un riferimento umano corretto, poi conta tre tipi di errore:
- Sostituzioni (S, substitutions): una parola sbagliata al posto di quella giusta;
- Cancellazioni (D, deletions): una parola pronunciata ma mancante;
- Inserimenti (I, insertions): una parola non pronunciata ma presente.
WER = (S + D + I) / N, dove N è il numero di parole del riferimento.
Esempio. Il riferimento è “please send the invoice to our office today” (8 parole). La trascrizione dice “please send an invoice to office today now”:
| Errore | Conteggio |
|---|---|
| “the” → “an” | 1 sostituzione |
| “our” mancante | 1 cancellazione |
| “now” aggiunto | 1 inserimento |
WER = 3 / 8 = 0,375, cioè 37,5%. Wikipedia osserva che il WER è una distanza di edit a livello di parola e che, poiché gli inserimenti non hanno un tetto, “can be larger than 1.0” (traduzione: può essere maggiore di 1,0).
Strumenti come il pacchetto Python jiwer lo calcolano. Prima normalizza entrambi i testi: maiuscole e minuscole, punteggiatura, numeri scritti in cifre o in lettere e, per l’arabo, diacritici e forme di alef e yaa. Le sole scelte di normalizzazione possono cambiare il punteggio in modo sensibile.
Perché è importante
- Confrontare i modelli. Il WER è la metrica comune nelle classifiche e nelle dichiarazioni dei fornitori, quindi è il primo filtro quando scegli un’API di speech-to-text.
- Il tuo audio è diverso. Lo stesso modello può ottenere punteggi molto diversi su parlato letto e su telefonate in dialetto. Per l’arabo, l’audio in arabo standard moderno e quello in dialetto danno numeri diversi. Fai il test su registrazioni simili alle tue.
- Non tutti gli errori pesano uguale. Il WER dà a ogni parola lo stesso peso. Un numero di conto sbagliato conta come un errore, come un “the” mancante. Leggi le trascrizioni, non solo i punteggi.
Su BroadNet Inference
BroadNet pubblica le proprie misure di laboratorio per BroadNet Transcribe Arabic:
| Set di test | Cos’è | WER (%) |
|---|---|---|
| FLEURS-ar | Frasi lette, audio pulito | 3,8 |
| MASC-ar | Parlato arabo reale e misto | 21,1 |
| Set dialettale di BroadNet | Parlato in dialetto | 23,4 |
La distanza tra 3,8 e 23,4 mostra perché conta il tuo test. BroadNet riporta inoltre il modello in posizione #2 su 37 (dato di settembre 2026; la classifica in tempo reale lo indicava #4 su 39 il 15 novembre 2026) nella Open Universal Arabic ASR Leaderboard. Il credito iniziale di $5 copre circa 1,190 minuti di audio in arabo, abbastanza per un set di test. La guida all’acquisto ha un piano di test di un’ora, e la guida all’arabo ha il codice.