BroadRouter
Inizia

Character error rate (CER)

Aggiornato

Il character error rate (CER, tasso di errore sui caratteri) misura l’accuratezza di una trascrizione o di un OCR a livello di carattere: sostituzioni, cancellazioni e inserimenti necessari per trasformare l’output nel testo di riferimento, divisi per il numero di caratteri del riferimento. Più è basso meglio è, e 0 è una corrispondenza perfetta.

Detto anche: tasso di errore sui caratteri, tasso di errore per carattere, metrica CER, CER, character error rate

Il WER chiede quante parole sono sbagliate. Il CER chiede quante lettere sono sbagliate, che per l’arabo è spesso la domanda più giusta.

Come funziona

Il CER usa la stessa idea di distanza di modifica del word error rate, applicata ai caratteri. La metric card di Hugging Face dà la formula:

CER = (S + D + I) / N, dove S sono le sostituzioni, D le cancellazioni, I gli inserimenti e N il numero di caratteri del riferimento (N = S + D + C, con C i caratteri corretti).

Un esempio concreto in arabo. Il riferimento è “وبالكتاب” (“e con il libro”, una parola, 8 lettere). La trascrizione è “وبلكتاب”, senza un alef:

Metrica Errori Unità del riferimento Punteggio
WER 1 parola sbagliata 1 parola 1,0 (100%)
CER 1 lettera cancellata 8 caratteri 0,125 (12,5%)

Una sola lettera mancante rende sbagliata l’intera parola per il WER. Il CER mostra che la trascrizione era quasi giusta.

In Python, il pacchetto jiwer lo calcola con jiwer.cer(reference, hypothesis), e jiwer.process_characters restituisce anche l’allineamento. Normalizza prima entrambi i lati, come per il WER: punteggiatura, spazi e, per l’arabo, diacritici e forme di alef o yaa. Vedi normalizzazione del testo arabo.

Perché è importante

  • Morfologia araba. L’arabo attacca alle parole congiunzioni, preposizioni e pronomi come clitici, quindi una parola può contenere ciò che in inglese si scrive con tre o quattro. Una sola lettera di prefisso sbagliata costa un’intera parola nel WER. Il CER la pesa come un carattere.
  • Lingue senza spazi. Il WER ha bisogno dei confini di parola. La card di Hugging Face dice che il CER è utile “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (traduzione: soprattutto per i dataset multilingue, dove il WER non è adatto data la diversità delle lingue.)
  • Tipo di errore. Un modello con WER alto ma CER basso sbaglia le parole di poco: ortografia, hamza o clitici che la normalizzazione o un passaggio di correzione possono sistemare. Un CER alto significa che il modello perde parole intere o contenuto.
  • Anche per l’OCR. La stessa metrica valuta il testo letto dalle immagini, quindi è utile quando confronti pipeline di OCR.

La metric card avverte anche che il CER non ti dice perché avvengono gli errori. Leggi qualche trascrizione di esempio accanto al punteggio.

Su BroadNet Inference

BroadNet pubblica il WER, non il CER, per BroadNet Transcribe Arabic e BroadNet Transcribe. Per avere il CER, trascrivi un set di test con le tue registrazioni e valutalo tu stesso. Il post WER in arabo spiegato contiene una funzione di normalizzazione e uno script jiwer che stampa sia WER sia CER, e la guida allo speech-to-text in arabo ha il codice della richiesta. Invia sempre language=ar: senza, l’arabo può tornare traslitterato in lettere latine, e questo rovina entrambi i punteggi.

Errori comuni

  • Contare gli spazi in modo incoerente. Decidi se gli spazi contano come caratteri e applica la stessa regola a ogni modello che confronti.
  • Confrontare il CER con il WER di qualcun altro. Sono scale diverse. Confronta grandezze omogenee.

Domande frequenti

Il CER può superare il 100%?

Sì. La metric card di Hugging Face osserva che il CER non sta sempre tra 0 e 1, soprattutto quando una trascrizione ha molti inserimenti, perché il denominatore conta solo i caratteri del riferimento.

Per l’arabo conviene riportare il CER o il WER?

Riportali entrambi. Il WER è quello che citano classifiche e fornitori, quindi ti serve per confrontare. Il CER mostra se gli errori sono parole intere sbagliate o qualche lettera o clitico qua e là, cosa che il WER nasconde.

BroadNet pubblica il CER dei suoi modelli di trascrizione?

No. BroadNet pubblica solo il WER. Per avere il CER, valuta un tuo set di test con uno strumento come jiwer.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity