BroadRouter

WER для арабского: что такое доля ошибок в словах в ASR

Команда BroadNet Inference · 5 мин чтения · Опубликовано

WER (word error rate, доля ошибок в словах) — это число заменённых, удалённых и вставленных слов, делённое на число слов в эталонной расшифровке. Чем ниже, тем лучше. Арабский WER трудно сравнивать: огласовки, написание алифа и та марбута и диалекты его завышают. BroadNet сообщает для BroadNet Transcribe Arabic WER 3,8 на FLEURS-ar и 23,4 на диалектной речи.

Доля ошибок в словах (WER) — это число заменённых, удалённых и вставленных слов, делённое на число слов в правильной расшифровке. Чем ниже, тем лучше. Арабский WER легко завысить: одну и ту же правильную расшифровку можно записать по-разному, а наивное сравнение считает ошибкой каждый вариант написания, каждую огласовку и каждое диалектное написание.

В этой статье — что измеряет WER, почему с арабским он становится скользким и как его считать, чтобы числа что-то значили. Как собрать сам тестовый набор, рассказано в статье о распознавании арабских диалектов; как выбрать провайдера — в руководстве по выбору API распознавания арабской речи.

Что такое доля ошибок в словах?

WER сравнивает машинную расшифровку (гипотезу) с правильной расшифровкой, сделанной человеком (эталоном). Он находит минимальное число правок на уровне слов, превращающих одну в другую:

  • S, замены: слово заменено другим словом.
  • D, удаления: слово из эталона отсутствует в гипотезе.
  • I, вставки: в гипотезе лишнее слово.

Тогда:

WER = (S + D + I) / N, где N — число слов в эталоне.

WER 0,10 (часто пишут просто 10) означает примерно одну ошибку на десять слов эталона. Чем ниже, тем лучше. Поскольку вставки тоже считаются, у расшифровки, полной выдуманных слов, WER может превысить 100 %.

Доля ошибок в символах (CER) — та же формула по символам. Она полезна для арабского, где одна неверная буква в приставке делает ошибочным всё слово.

Почему арабский WER трудно сравнивать?

1. Огласовки

Краткие гласные в арабском пишутся необязательными значками (ташкиль) над и под буквами: фатха, дамма, касра, сукун, шадда и танвин. В повседневном тексте их опускают. Если в эталоне “مَدْرَسَةٌ”, а модель пишет “مدرسة”, строгое сравнение засчитает замену, хотя любой читающий по-арабски видит одно и то же слово.

2. Варианты написания

У нескольких букв есть распространённые допустимые варианты:

Расхождение Пример Типичная нормализация
Хамза на алифе أحمد / احمد, إلى / الى Заменить أ إ آ на ا
Та марбута или ха مدرسة / مدرسه Заменить ة на ه
Алиф максура или йа على / علي (в небрежном письме) Заменить ى на ي
Танвин с алифом صباحاً / صباحا Убрать огласовку
Татвиль (растяжка) جـمـيـل / جميل Удалить ـ

3. Клитики и границы слов

Арабский присоединяет к словам союзы, предлоги и местоимения: “وبمدرستهم” — это «и в их школе» одним написанным словом. Если модель напишет “و بمدرستهم” с пробелом, число слов изменится, и WER накажет это дважды. Некоторые оценки сначала разбивают слова на морфемы, большинство — нет. Знайте, какую из них вы читаете.

4. Диалекты

В отличие от современного литературного арабского, у диалектной речи нет стандартного написания. Египтянина, говорящего «я хочу», могут записать как “عايز” или “عاوز”; «что» у говорящего из Залива может быть “وش” или “ويش”. Некоторые расшифровщики ещё и «исправляют» диалект на MSA. Каждый такой случай — ошибка WER, даже если смысл передан идеально. Во многом именно поэтому диалектный WER намного выше, чем WER на читаемой речи.

5. Числа и переключение кодов

Говорящие часто переходят на английский посреди фразы (переключение кодов). Как писать — “٢٥”, “25” или “خمسة وعشرين”? Английское название бренда писать латиницей или арабскими буквами? Выберите соглашение, примените его к эталону и нормализуйте гипотезу под него.

Насколько нормализация меняет оценку?

Эталон: ذهبت إلى المدرسة صباحاً («Я пошёл в школу утром»)

Гипотеза: ذهبت الى المدرسه صباحا

Без нормализации три слова из четырёх различаются (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75 %. После нормализации обоих текстов они идентичны: WER 0 %. Та же расшифровка, то же качество, а число сдвинулось от ужасного к идеальному. Поэтому значение WER без правил нормализации мало о чём говорит.

Как посчитать арабский WER на Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Применяйте одну и ту же функцию к эталонам и гипотезам для каждой сравниваемой модели. Публикуйте её рядом со своими числами.

Какой WER для арабского сообщает BroadNet?

BroadNet публикует лабораторные измерения для BroadNet Transcribe Arabic в своём каталоге моделей:

Тестовый набор Что это WER по данным BroadNet
FLEURS-ar Чистые читаемые предложения 3,8
MASC-ar Смешанная арабская речь из реальной жизни 21,1
Диалектный набор BroadNet Диалектная речь 23,4

Также BroadNet сообщает, что модель занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard и #1 среди моделей, лицензии которых разрешают работу через API. Это данные BroadNet, а не независимый аудит. Рейтинг применяет одну и ту же схему оценки ко всем моделям, поэтому его позиции сопоставимее, чем числа с отдельных страниц поставщиков.

Смотрите на разброс, а не только на лучшее число. Скачок от 3,8 до 23,4 — это разрыв между читаемой речью и спонтанным диалектом для одной модели, поэтому проверяйте каждого кандидата на обоих видах аудио. Ваше собственное аудио — линии колл-центра, голосовые сообщения WhatsApp или встречи — окажется где-то в этом диапазоне, и только тест покажет, где именно.

Как измерить WER на своём аудио?

  1. Делайте выборку по условиям. Сгруппируйте клипы по диалекту и каналу (телефон, голосовое сообщение, студия). Размеры выборки и соглашения о написании описаны в методике тестового набора по диалектам.
  2. Расшифруйте каждым кандидатом. Для BroadNet передавайте language=ar; без этого арабская речь может вернуться транслитерированной латиницей. Код — в руководстве по распознаванию арабской речи, а стартовый кредит $5 покрывает около 1,190 минут аудио.
  3. Нормализуйте и считайте. Используйте функцию выше, указывайте WER и CER по каждой группе.
  4. Читайте ошибки. Отсортируйте замены по частоте. Если в топе ошибок имена, суммы или коды товаров, влияние на бизнес больше, чем говорит оценка.

Что измерять, кроме WER?

WER считает все слова одинаковыми, а для вашего продукта они не одинаковы. Боту поддержки важно намерение, процессу выставления счетов — числа, команде комплаенса — конкретные фразы. Добавьте рядом с WER метрику задачи: точность определения намерения после того, как LLM прочитает расшифровку, или точное совпадение извлечённых сумм. Модель с немного более высоким WER всё равно может выиграть, если её ошибки приходятся на неважные слова.

Чтобы оценить затраты, введите свои часы аудио в месяц в бесплатный калькулятор стоимости распознавания речи, а чем отличаются арабская модель и модель на 14 языков, смотрите в сравнении BroadNet Transcribe и Transcribe Arabic.

Вопросы и ответы

Какой WER считается хорошим для арабского?

На чистой читаемой речи достижимы однозначные значения: BroadNet сообщает 3,8 на FLEURS-ar. На реальном и диалектном аудио ждите гораздо больших чисел: BroadNet сообщает 21,1 на MASC-ar и 23,4 на своём диалектном наборе. Сравнивайте модели на своём аудио с одинаковой нормализацией.

Нужно ли убирать огласовки перед подсчётом арабского WER?

Обычно да. Большая часть арабских текстов пишется без знаков кратких гласных, а модели расставляют их непоследовательно. Убирайте их и из эталона, и из гипотезы, если только вашему продукту не нужен огласованный текст.

Что такое CER и когда его использовать?

Доля ошибок в символах (CER) — тот же расчёт, только по символам, а не по словам. Он мягче к арабскому, где одна неверная буква приставки делает ошибочным всё слово, и полезен вместе с WER.

Может ли WER быть больше 100 %?

Да. Вставки считаются ошибками, поэтому модель, которая выдумывает много лишних слов, может сделать больше ошибок, чем слов в эталоне.

Как посчитать WER для арабского на Python?

Установите jiwer, нормализуйте и эталон, и вывод модели одной и той же функцией (уберите огласовки и татвиль, унифицируйте алиф, йа и та марбута, переведите восточноарабские цифры), затем вызовите jiwer.wer(references, hypotheses). Указывайте нормализацию рядом с оценкой.

Почему WER для арабского выше, чем для английского?

Отчасти из-за реальной сложности (диалекты, клитики, переключение кодов), отчасти из-за подсчёта: в арабском есть допустимые варианты написания и необязательные огласовки, и строгое сравнение считает каждое расхождение ошибкой. Нормализация обоих текстов убирает часть, связанную с подсчётом.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity