Il WER chiede quante parole sono sbagliate. Il CER chiede quante lettere sono sbagliate, che per l’arabo è spesso la domanda più giusta.
Come funziona
Il CER usa la stessa idea di distanza di modifica del word error rate, applicata ai caratteri. La metric card di Hugging Face dà la formula:
CER = (S + D + I) / N, dove S sono le sostituzioni, D le cancellazioni, I gli inserimenti e N il numero di caratteri del riferimento (N = S + D + C, con C i caratteri corretti).
Un esempio concreto in arabo. Il riferimento è “وبالكتاب” (“e con il libro”, una parola, 8 lettere). La trascrizione è “وبلكتاب”, senza un alef:
| Metrica | Errori | Unità del riferimento | Punteggio |
|---|---|---|---|
| WER | 1 parola sbagliata | 1 parola | 1,0 (100%) |
| CER | 1 lettera cancellata | 8 caratteri | 0,125 (12,5%) |
Una sola lettera mancante rende sbagliata l’intera parola per il WER. Il CER mostra che la trascrizione era quasi giusta.
In Python, il pacchetto jiwer lo calcola con jiwer.cer(reference, hypothesis), e jiwer.process_characters restituisce anche l’allineamento. Normalizza prima entrambi i lati, come per il WER: punteggiatura, spazi e, per l’arabo, diacritici e forme di alef o yaa. Vedi normalizzazione del testo arabo.
Perché è importante
- Morfologia araba. L’arabo attacca alle parole congiunzioni, preposizioni e pronomi come clitici, quindi una parola può contenere ciò che in inglese si scrive con tre o quattro. Una sola lettera di prefisso sbagliata costa un’intera parola nel WER. Il CER la pesa come un carattere.
- Lingue senza spazi. Il WER ha bisogno dei confini di parola. La card di Hugging Face dice che il CER è utile “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (traduzione: soprattutto per i dataset multilingue, dove il WER non è adatto data la diversità delle lingue.)
- Tipo di errore. Un modello con WER alto ma CER basso sbaglia le parole di poco: ortografia, hamza o clitici che la normalizzazione o un passaggio di correzione possono sistemare. Un CER alto significa che il modello perde parole intere o contenuto.
- Anche per l’OCR. La stessa metrica valuta il testo letto dalle immagini, quindi è utile quando confronti pipeline di OCR.
La metric card avverte anche che il CER non ti dice perché avvengono gli errori. Leggi qualche trascrizione di esempio accanto al punteggio.
Su BroadNet Inference
BroadNet pubblica il WER, non il CER, per BroadNet Transcribe Arabic e BroadNet Transcribe. Per avere il CER, trascrivi un set di test con le tue registrazioni e valutalo tu stesso. Il post WER in arabo spiegato contiene una funzione di normalizzazione e uno script jiwer che stampa sia WER sia CER, e la guida allo speech-to-text in arabo ha il codice della richiesta. Invia sempre language=ar: senza, l’arabo può tornare traslitterato in lettere latine, e questo rovina entrambi i punteggi.
Errori comuni
- Contare gli spazi in modo incoerente. Decidi se gli spazi contano come caratteri e applica la stessa regola a ogni modello che confronti.
- Confrontare il CER con il WER di qualcun altro. Sono scale diverse. Confronta grandezze omogenee.