WER спрашивает, сколько слов было неверно. CER спрашивает, сколько неверно букв, и для арабского это часто более честный вопрос.
Как это работает
CER использует ту же идею редакционного расстояния, что и доля ошибок в словах (WER), но применительно к символам. Карточка метрики Hugging Face даёт формулу:
CER = (S + D + I) / N, где S — замены, D — удаления, I — вставки, а N — число символов в эталоне (N = S + D + C, где C — верные символы).
Пример на арабском. Эталон — «وبالكتاب» («и с книгой», одно слово, 8 букв). Транскрипт — «وبلكتاب», в нём пропущен один алиф:
| Метрика | Ошибки | Единицы эталона | Значение |
|---|---|---|---|
| WER | 1 неверное слово | 1 слово | 1.0 (100%) |
| CER | 1 удалённая буква | 8 символов | 0.125 (12,5%) |
Из-за одной пропущенной буквы для WER неверно всё слово. CER показывает, что транскрипт был почти правильным.
В Python пакет jiwer считает её через jiwer.cer(reference, hypothesis), а jiwer.process_characters возвращает ещё и выравнивание. Сначала нормализуйте обе стороны, как и для WER: пунктуацию, пробелы, а для арабского — огласовки и формы алифа или йа. См. нормализацию арабского текста.
Почему это важно
- Арабская морфология. В арабском союзы, предлоги и местоимения присоединяются к словам как клитики, так что одно слово может нести то, что по-английски пишется тремя-четырьмя. Одна неверная буква приставки стоит в WER целого слова. CER считает её одним символом.
- Языки без пробелов. WER нужны границы слов. Карточка Hugging Face говорит, что CER полезна “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (перевод: «особенно для многоязычных датасетов, где WER не подходит из-за разнообразия языков».)
- Тип ошибок. Модель с высокой WER, но низкой CER почти угадывает слова: это промахи в написании, хамзе или клитиках, которые может исправить нормализация или шаг коррекции. Высокая CER означает, что модель пропускает целые слова или содержание.
- И для OCR. Та же метрика оценивает текст, распознанный с изображений, поэтому она полезна при сравнении конвейеров OCR.
Карточка метрики предупреждает и о том, что CER не говорит, почему возникают ошибки. Читайте примеры транскриптов вместе с метрикой.
В BroadNet Inference
Для BroadNet Transcribe Arabic и BroadNet Transcribe BroadNet публикует WER, а не CER. Чтобы получить CER, транскрибируйте тестовый набор своих записей и оцените его сами. В статье «WER для арабского: разбор» есть функция нормализации и скрипт на jiwer, который выводит и WER, и CER, а в руководстве по распознаванию арабской речи — код запроса. Всегда передавайте language=ar: без этого арабский может вернуться транслитерированным латиницей, и обе метрики будут испорчены.
Типичные ошибки
- Непоследовательный учёт пробелов. Решите, считаются ли пробелы символами, и применяйте одно правило ко всем сравниваемым моделям.
- Сравнение своей CER с чужой WER. Это разные шкалы. Сравнивайте одинаковое с одинаковым.