BroadRouter
Начать

Доля ошибок в символах (character error rate, CER)

Обновлено

Доля ошибок в символах (CER) — это мера точности транскрибации или OCR на уровне символов: число замен, удалений и вставок, нужных, чтобы превратить результат в эталонный текст, делённое на число символов в эталоне. Чем меньше, тем лучше; 0 означает полное совпадение.

Также называют: CER, доля ошибок в символах, процент ошибок в символах, посимвольная ошибка, коэффициент ошибок символов, character error rate

WER спрашивает, сколько слов было неверно. CER спрашивает, сколько неверно букв, и для арабского это часто более честный вопрос.

Как это работает

CER использует ту же идею редакционного расстояния, что и доля ошибок в словах (WER), но применительно к символам. Карточка метрики Hugging Face даёт формулу:

CER = (S + D + I) / N, где S — замены, D — удаления, I — вставки, а N — число символов в эталоне (N = S + D + C, где C — верные символы).

Пример на арабском. Эталон — «وبالكتاب» («и с книгой», одно слово, 8 букв). Транскрипт — «وبلكتاب», в нём пропущен один алиф:

Метрика Ошибки Единицы эталона Значение
WER 1 неверное слово 1 слово 1.0 (100%)
CER 1 удалённая буква 8 символов 0.125 (12,5%)

Из-за одной пропущенной буквы для WER неверно всё слово. CER показывает, что транскрипт был почти правильным.

В Python пакет jiwer считает её через jiwer.cer(reference, hypothesis), а jiwer.process_characters возвращает ещё и выравнивание. Сначала нормализуйте обе стороны, как и для WER: пунктуацию, пробелы, а для арабского — огласовки и формы алифа или йа. См. нормализацию арабского текста.

Почему это важно

  • Арабская морфология. В арабском союзы, предлоги и местоимения присоединяются к словам как клитики, так что одно слово может нести то, что по-английски пишется тремя-четырьмя. Одна неверная буква приставки стоит в WER целого слова. CER считает её одним символом.
  • Языки без пробелов. WER нужны границы слов. Карточка Hugging Face говорит, что CER полезна “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (перевод: «особенно для многоязычных датасетов, где WER не подходит из-за разнообразия языков».)
  • Тип ошибок. Модель с высокой WER, но низкой CER почти угадывает слова: это промахи в написании, хамзе или клитиках, которые может исправить нормализация или шаг коррекции. Высокая CER означает, что модель пропускает целые слова или содержание.
  • И для OCR. Та же метрика оценивает текст, распознанный с изображений, поэтому она полезна при сравнении конвейеров OCR.

Карточка метрики предупреждает и о том, что CER не говорит, почему возникают ошибки. Читайте примеры транскриптов вместе с метрикой.

В BroadNet Inference

Для BroadNet Transcribe Arabic и BroadNet Transcribe BroadNet публикует WER, а не CER. Чтобы получить CER, транскрибируйте тестовый набор своих записей и оцените его сами. В статье «WER для арабского: разбор» есть функция нормализации и скрипт на jiwer, который выводит и WER, и CER, а в руководстве по распознаванию арабской речи — код запроса. Всегда передавайте language=ar: без этого арабский может вернуться транслитерированным латиницей, и обе метрики будут испорчены.

Типичные ошибки

  • Непоследовательный учёт пробелов. Решите, считаются ли пробелы символами, и применяйте одно правило ко всем сравниваемым моделям.
  • Сравнение своей CER с чужой WER. Это разные шкалы. Сравнивайте одинаковое с одинаковым.

Вопросы и ответы

Может ли CER превышать 100%?

Да. В карточке метрики Hugging Face отмечено, что CER не всегда лежит между 0 и 1, особенно когда в транскрипте много вставок, потому что в знаменателе только символы эталона.

Что указывать для арабского — CER или WER?

Указывайте обе. WER приводят лидерборды и поставщики, так что для сравнения она нужна. CER показывает, неверны ли целые слова или то тут, то там одна буква или клитика, — WER этого не видно.

Публикует ли BroadNet CER для своих моделей транскрибации?

Нет. BroadNet публикует только WER. Чтобы получить CER, оцените свой тестовый набор инструментом вроде jiwer.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity