Модель может хорошо проходить арабские бенчмарки и всё равно спотыкаться на голосовом сообщении из Эр-Рияда или сообщении в чате из Касабланки. Это диалекты, и это совсем другой экзамен, чем современный стандартный арабский (MSA).
Как это работает
Bouamor и соавторы (2018), создатели корпуса MADAR, описывают арабский как “a family of varieties” (перевод: «семейство разновидностей»). MSA — общий язык культуры, СМИ и образования “from Morocco to Oman” (перевод: «от Марокко до Омана»), но ни для кого он не родной. Диалекты обычно группируют по регионам — египетские, североафриканские, левантийские, диалекты Персидского залива и йеменские — или по субрегионам: тунисский, ливанский, кувейтский и так далее. От MSA они отличаются звуками, лексикой и морфологией, а от города к городу — в меньшей степени.
Для софта важнее всего три различия:
- Звуки. Пример из MADAR — буква каф (ق). В тунисском она остаётся /q/, близко к MSA; в египетском и левантийском это гортанная смычка; в диалектах Персидского залива — /g/. Модели распознавания речи должны сводить все три варианта к одному и тому же написанному слову.
- Слова. Различаются обиходные слова. «Я хочу» на MSA — أريد, на египетском — عايز, на левантийском — بدي, в диалектах Персидского залива — أبي или أبغى, на марокканском — بغيت.
- Орфография. MADAR отмечает, что у MSA есть стандартная орфография, а у диалектов нет. Люди пишут по звучанию или по этимологии, а иногда латиницей — это арабизи. Говорящие также вставляют английские или французские слова — это переключение кодов.
К тому же на диалектах всё больше пишут. MADAR называет диалект формирующимся основным письменным языком неформального общения в интернете. NADI 2020 построил общую задачу на твитах из 100 провинций 21 арабской страны.
Почему это важно
- Чат-боты и боты поддержки. Пользователи пишут так, как говорят. Правила распознавания намерений, поиск по ключевым словам и модели тональности, обученные на MSA, пропускают диалектные слова. См. диалекты Залива и египетский в LLM.
- Распознавание речи. Аудио на диалекте на той же модели даёт результат намного хуже, чем зачитанный MSA. Соберите тестовый набор для каждого диалекта, как объясняет статья о распознавании диалектной речи.
- Маршрутизация. Если ответы, проверяющие или промпты зависят от региона, сначала разметьте диалект с помощью определения арабского диалекта.
В BroadNet Inference
BroadNet указывает модель BroadNet Transcribe Arabic для диалектов Персидского залива, египетского, левантийского, магрибского и современного стандартного арабского. BroadNet сообщает долю ошибок в словах 3,8 на зачитанной речи FLEURS-ar и 23,4 на собственном наборе диалектов Персидского залива, египетского и левантийского; оба значения — измерения BroadNet. Разница — это и есть эффект диалекта. Для всех них отправляйте language=ar: документация BroadNet предупреждает, что иначе арабский может вернуться транслитерированным латиницей.
Для текста BroadNet сообщает, что тестировала Qwen3.8 27B на арабском и модель понимает диалекты Персидского залива и египетский. Результатов для левантийского или магрибского текста BroadNet не публикует, поэтому проверьте их на своих сообщениях. Руководство по выбору LLM для арабского сравнивает модели, а в руководстве по распознаванию арабской речи есть рабочий код.
Частые ошибки
- Тестировать только на новостных текстах на MSA, а затем выпускать продукт для пользователей, которые пишут на диалекте.
- Усреднять WER по диалектам: так скрывается самый слабый из них.
- Нормализовать диалектное написание к MSA в тексте, который видят пользователи.