BroadRouter
Comenzar

Tasa de error por carácter (CER)

Actualizado

La tasa de error por carácter (CER) mide la precisión de una transcripción u OCR a nivel de carácter: las sustituciones, eliminaciones e inserciones necesarias para convertir la salida en el texto de referencia, divididas entre el número de caracteres de la referencia. Cuanto menor, mejor, y 0 es una coincidencia perfecta.

También llamado: tasa de error por carácter, tasa de error de caracteres, índice de error por carácter, CER, character error rate

El WER pregunta cuántas palabras estaban mal. La CER pregunta cuántas letras estaban mal, y a menudo esa es la pregunta más justa para el árabe.

Cómo funciona

La CER usa la misma idea de distancia de edición que la tasa de error por palabra, aplicada a caracteres. La ficha de la métrica de Hugging Face da la fórmula:

CER = (S + D + I) / N, donde S son las sustituciones, D las eliminaciones, I las inserciones y N el número de caracteres de la referencia (N = S + D + C, con C los caracteres correctos).

Un ejemplo práctico en árabe. La referencia es «وبالكتاب» («y con el libro», una palabra de 8 letras). La transcripción es «وبلكتاب», a la que le falta un alef:

Métrica Errores Unidades de referencia Resultado
WER 1 palabra errónea 1 palabra 1.0 (100 %)
CER 1 letra eliminada 8 caracteres 0.125 (12.5 %)

Una sola letra que falta vuelve errónea toda la palabra para el WER. La CER muestra que la transcripción era casi correcta.

En Python, el paquete jiwer la calcula con jiwer.cer(reference, hypothesis), y jiwer.process_characters devuelve además la alineación. Normalice ambos lados primero, como con el WER: puntuación, espacios y, en árabe, diacríticos y formas de alef o ya. Consulte normalización de texto árabe.

Por qué importa

  • Morfología árabe. El árabe une conjunciones, preposiciones y pronombres a las palabras como clíticos, así que una palabra puede contener lo que el inglés escribe en tres o cuatro. Una sola letra de prefijo errónea cuesta una palabra completa en el WER. La CER la pondera como un carácter.
  • Idiomas sin espacios. El WER necesita límites entre palabras. La ficha de Hugging Face dice que la CER es útil “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (traducción: sobre todo para conjuntos de datos multilingües en los que el WER no es adecuado dada la diversidad de idiomas).
  • Tipo de error. Un modelo con WER alto pero CER baja acierta casi las palabras: deslices de ortografía, de hamza o de clíticos que la normalización o un paso de corrección pueden arreglar. Una CER alta significa que el modelo pierde palabras o contenido enteros.
  • También para OCR. La misma métrica evalúa el texto leído de imágenes, así que sirve para comparar pipelines de OCR.

La ficha de la métrica también advierte que la CER no dice por qué ocurren los errores. Lea transcripciones de muestra junto con la puntuación.

En BroadNet Inference

BroadNet publica el WER, no la CER, de BroadNet Transcribe Arabic y BroadNet Transcribe. Para obtener la CER, transcriba un conjunto de prueba con sus propias grabaciones y evalúelo usted mismo. El artículo el WER en árabe explicado incluye una función de normalización y un script con jiwer que imprime el WER y la CER, y la guía de voz a texto en árabe tiene el código de la solicitud. Envíe siempre language=ar: sin él, el árabe puede volver transliterado a letras latinas, lo que arruina ambas puntuaciones.

Errores comunes

  • Contar los espacios de forma incoherente. Decida si los espacios cuentan como caracteres y aplique la misma regla a cada modelo que compare.
  • Comparar su CER con el WER de otra persona. Son escalas distintas. Compare lo comparable.

Preguntas frecuentes

¿La CER puede superar el 100 %?

Sí. La ficha de la métrica de Hugging Face señala que la CER no siempre está entre 0 y 1, sobre todo cuando una transcripción tiene muchas inserciones, porque el denominador solo cuenta los caracteres de la referencia.

¿Debo reportar CER o WER para el árabe?

Reporte ambas. El WER es lo que citan las tablas de clasificación y los proveedores, así que lo necesita para comparar. La CER muestra si los errores son palabras enteras equivocadas o una letra o un clítico aquí y allá, algo que el WER oculta.

¿BroadNet publica la CER de sus modelos de transcripción?

No. BroadNet publica solo el WER. Para obtener la CER, evalúe su propio conjunto de prueba con una herramienta como jiwer.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity