BroadRouter
Начать

Современный стандартный арабский (MSA, фусха)

Обновлено

Современный стандартный арабский (MSA) — это стандартизированная форма арабского языка для письма, новостей, образования и официальной речи во всём арабском мире. Ни для кого он не родной повседневный язык: люди говорят на региональных диалектах, например египетском или заливском, и переходят на MSA в официальной обстановке.

Также называют: литературный арабский, стандартный арабский, фусха, фусха арабский, MSA арабский, Modern Standard Arabic, Fusha, Fus'ha, Standard Arabic, al-fusha

Когда говорят, что ИИ-модель «знает арабский», обычно имеют в виду, что она справляется с современным стандартным арабским. Диалекты — отдельная проверка.

Как это работает

Арабский — это семья разновидностей. Статья о MADAR (Bouamor et al., 2018) говорит прямо: MSA — “the shared language of culture, media, and education from Morocco to Oman” (перевод: «общий язык культуры, СМИ и образования от Марокко до Омана»), но он “is not the native language of any speaker of Arabic” (перевод: «не является родным ни для одного носителя арабского»). Диалекты группируют по регионам: египетский, североафриканский, левантийский, заливский и йеменский, а внутри регионов — тунисский, ливанский, кувейтский, катарский и так далее. Сам MADAR охватывает диалекты 25 городов наряду с MSA.

На практике они смешиваются. В неподготовленной речи там, где ожидается MSA, например в телевизионных ток-шоу, говорящие переключаются между MSA и своим диалектом туда и обратно. Это переключение кодов, и общее соревнование по переключению кодов 2014 года показало, что пару MSA и диалект различить на уровне слов труднее всего — труднее, чем испанский и английский или непальский и английский.

MSA Диалекты
Где новости, книги, школа, договоры, официальная речь дом, улица, телефонные звонки, голосовые сообщения, чаты
Орфография стандартная единой нет; часто пишут арабизи
Обучающие данные большие письменные корпуса гораздо меньше, неравномерно по регионам

Почему это важно

  • Качество LLM. Модель может хорошо писать на MSA и при этом не понимать заливский или магрибский сленг. Тестируйте на диалекте своих пользователей.
  • Точность распознавания речи. Многие тестовые наборы — это чтение вслух или эфирная речь, а ваше аудио может быть голосовыми сообщениями на диалекте. Запрашивайте долю ошибок в словах (WER) по каждой разновидности, а не одно число для арабского, и тестируйте на своих записях.
  • Стоимость в токенах. В нашем датасете токенизаторов на Qwen3.8 27B современному стандартному арабскому потребовалось 1.31× от числа токенов тех же предложений на английском (2,009 предложений FLORES-200), а заливскому арабскому — 1.21× (небольшой набор из 49 предложений Tatoeba, так что цифра приблизительная). Проверьте свой текст в счётчике арабских токенов.

В BroadNet Inference

BroadNet сообщает, что протестировала Qwen3.8 27B: модель свободно пишет на арабском и понимает заливский и египетский диалекты. BroadNet Transcribe Arabic заявлена для арабского, включая диалекты. И для MSA, и для аудио на диалекте отправляйте language=ar: документация BroadNet предупреждает, что без этого параметра арабский может вернуться латиницей. Статья о распознавании арабских диалектов объясняет, как тестировать на своих записях.

Вопросы и ответы

Какой код языка отправлять для аудио на диалекте?

Отправляйте ar. В документации BroadNet сказано передавать language=ar для арабского, а BroadNet Transcribe Arabic заявлена для арабского, включая диалекты, поэтому отдельного кода для каждого диалекта нет.

Понимают ли носители арабского MSA?

Образованные носители читают и понимают его: это язык школы, книг и новостей. В повседневном общении они говорят на своём диалекте.

Какой код языка у MSA?

В ISO 639-3 стандартный арабский обозначен как arb и входит в макроязык ara. Речевые API обычно принимают двухбуквенный код ar для любого арабского.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity