BroadRouter
Começar

Character error rate (CER)

Atualizado em

Character error rate (CER, taxa de erro de caracteres) mede a precisão de uma transcrição ou OCR no nível de caractere: substituições, exclusões e inserções necessárias para transformar a saída no texto de referência, divididas pelo número de caracteres da referência. Quanto menor, melhor, e 0 é uma correspondência perfeita.

Também chamado de: taxa de erro de caracteres, taxa de erro por caractere, métrica CER, CER, character error rate

O WER pergunta quantas palavras estavam erradas. O CER pergunta quantas letras estavam erradas, o que muitas vezes é a pergunta mais justa para o árabe.

Como funciona

O CER usa a mesma ideia de distância de edição do word error rate, aplicada a caracteres. A metric card do Hugging Face dá a fórmula:

CER = (S + D + I) / N, em que S são as substituições, D as exclusões, I as inserções e N o número de caracteres da referência (N = S + D + C, sendo C os caracteres corretos).

Um exemplo prático em árabe. A referência é “وبالكتاب” (“e com o livro”, uma palavra, 8 letras). A transcrição é “وبلكتاب”, sem um alef:

Métrica Erros Unidades da referência Nota
WER 1 palavra errada 1 palavra 1,0 (100%)
CER 1 letra excluída 8 caracteres 0,125 (12,5%)

Uma única letra faltando torna a palavra inteira errada para o WER. O CER mostra que a transcrição estava quase certa.

Em Python, o pacote jiwer calcula isso com jiwer.cer(reference, hypothesis), e jiwer.process_characters também devolve o alinhamento. Normalize os dois lados antes, como no WER: pontuação, espaços e, no árabe, diacríticos e formas de alef ou yaa. Veja normalização de texto árabe.

Por que isso importa

  • Morfologia do árabe. O árabe cola conjunções, preposições e pronomes às palavras como clíticos, então uma palavra pode carregar o que o inglês escreve com três ou quatro. Uma única letra de prefixo errada custa uma palavra inteira no WER. O CER pesa isso como um caractere.
  • Idiomas sem espaços. O WER precisa de limites entre palavras. A card do Hugging Face diz que o CER é útil “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (tradução: principalmente em datasets multilíngues, em que o WER não é adequado dada a diversidade de idiomas.)
  • Tipo de erro. Um modelo com WER alto e CER baixo está acertando as palavras quase por completo: deslizes de grafia, hamza ou clíticos que a normalização ou uma etapa de correção podem resolver. CER alto significa que o modelo está perdendo palavras inteiras ou conteúdo.
  • Também para OCR. A mesma métrica avalia texto lido de imagens, então é útil quando você compara pipelines de OCR.

A metric card também avisa que o CER não diz por que os erros acontecem. Leia transcrições de exemplo junto com a nota.

Na BroadNet Inference

A BroadNet publica WER, não CER, para o BroadNet Transcribe Arabic e o BroadNet Transcribe. Para ter o CER, transcreva um conjunto de teste com gravações suas e calcule a nota você mesmo. O post WER em árabe explicado traz uma função de normalização e um script jiwer que imprime WER e CER, e o guia de speech-to-text em árabe tem o código da requisição. Sempre envie language=ar: sem isso, o árabe pode voltar transliterado para letras latinas, o que arruína as duas notas.

Erros comuns

  • Contar espaços de forma inconsistente. Decida se espaços contam como caracteres e aplique a mesma regra a todos os modelos que comparar.
  • Comparar o CER com o WER de outra pessoa. São escalas diferentes. Compare o mesmo com o mesmo.

Perguntas frequentes

O CER pode passar de 100%?

Sim. A metric card do Hugging Face observa que o CER nem sempre fica entre 0 e 1, principalmente quando uma transcrição tem muitas inserções, porque o denominador conta só os caracteres da referência.

Para árabe, devo informar CER ou WER?

Informe os dois. O WER é o que rankings e fornecedores citam, então você precisa dele para comparar. O CER mostra se os erros são palavras inteiras erradas ou uma letra ou clítico aqui e ali, o que o WER esconde.

A BroadNet publica o CER dos modelos de transcrição?

Não. A BroadNet publica só o WER. Para ter o CER, avalie o seu próprio conjunto de teste com uma ferramenta como o jiwer.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity