Когда говорят, что ИИ-модель «знает арабский», обычно имеют в виду, что она справляется с современным стандартным арабским. Диалекты — отдельная проверка.
Как это работает
Арабский — это семья разновидностей. Статья о MADAR (Bouamor et al., 2018) говорит прямо: MSA — “the shared language of culture, media, and education from Morocco to Oman” (перевод: «общий язык культуры, СМИ и образования от Марокко до Омана»), но он “is not the native language of any speaker of Arabic” (перевод: «не является родным ни для одного носителя арабского»). Диалекты группируют по регионам: египетский, североафриканский, левантийский, заливский и йеменский, а внутри регионов — тунисский, ливанский, кувейтский, катарский и так далее. Сам MADAR охватывает диалекты 25 городов наряду с MSA.
На практике они смешиваются. В неподготовленной речи там, где ожидается MSA, например в телевизионных ток-шоу, говорящие переключаются между MSA и своим диалектом туда и обратно. Это переключение кодов, и общее соревнование по переключению кодов 2014 года показало, что пару MSA и диалект различить на уровне слов труднее всего — труднее, чем испанский и английский или непальский и английский.
| MSA | Диалекты | |
|---|---|---|
| Где | новости, книги, школа, договоры, официальная речь | дом, улица, телефонные звонки, голосовые сообщения, чаты |
| Орфография | стандартная | единой нет; часто пишут арабизи |
| Обучающие данные | большие письменные корпуса | гораздо меньше, неравномерно по регионам |
Почему это важно
- Качество LLM. Модель может хорошо писать на MSA и при этом не понимать заливский или магрибский сленг. Тестируйте на диалекте своих пользователей.
- Точность распознавания речи. Многие тестовые наборы — это чтение вслух или эфирная речь, а ваше аудио может быть голосовыми сообщениями на диалекте. Запрашивайте долю ошибок в словах (WER) по каждой разновидности, а не одно число для арабского, и тестируйте на своих записях.
- Стоимость в токенах. В нашем датасете токенизаторов на Qwen3.8 27B современному стандартному арабскому потребовалось 1.31× от числа токенов тех же предложений на английском (2,009 предложений FLORES-200), а заливскому арабскому — 1.21× (небольшой набор из 49 предложений Tatoeba, так что цифра приблизительная). Проверьте свой текст в счётчике арабских токенов.
В BroadNet Inference
BroadNet сообщает, что протестировала Qwen3.8 27B: модель свободно пишет на арабском и понимает заливский и египетский диалекты. BroadNet Transcribe Arabic заявлена для арабского, включая диалекты. И для MSA, и для аудио на диалекте отправляйте language=ar: документация BroadNet предупреждает, что без этого параметра арабский может вернуться латиницей. Статья о распознавании арабских диалектов объясняет, как тестировать на своих записях.