Арабизи — это то, как многие арабоязычные люди печатают на телефоне: арабские слова, латинская клавиатура и несколько цифр для недостающих звуков.
Как это работает
Darwish (2014) описывает арабизи, который также называют Arabish или Franco-Arab, как арабский в транслитерированной латинской форме, где цифрами обозначаются буквы, которых нет в английском: «2» и «3» означают звук хамзы и ع. Он появился потому, что старые браузеры и телефоны не умели отображать арабское письмо. Сохраняется он потому, что люди привыкли и на английской раскладке печатают быстрее.
Три свойства делают его трудным для программ:
- Нет стандартной орфографии. Shazal, Usman и Habash (2020) отмечают, что арабизи в соцсетях — это диалектный арабский, у которого нет стандартной орфографии, и что соответствие арабской графике не взаимно однозначно.
- Смешение с английским или французским. Сообщение вроде
w aletli Tuesday(«и она сказала мне: во вторник») смешивает оба языка — это переключение кодов. - Сначала распознавание. Прежде чем конвертировать слова, программа должна решить, какие из них написаны на арабизи. Darwish сообщает о точности распознавания 98,5% и точности конвертации 88,7% с классическим конвейером; модель sequence-to-sequence 2020 года достигает 80,6% точности по словам на закрытом тестовом наборе для совместной задачи.
В LLM API арабизи ещё и ведёт себя под токенизатором иначе, чем арабское письмо: это латинский текст с написаниями, которые редко встречались в словаре.
Почему это важно
Если у вас чат-бот, поиск или аналитика в странах Персидского залива, Египте или Леванте, часть пользователей будет писать на арабизи. Поиск по ключевым словам, правила определения намерений и инструменты анализа тональности, созданные для арабского письма, эти сообщения пропустят. Распространённое решение — перед маршрутизацией или индексацией попросить LLM перевести арабизи в арабскую графику, указав диалект, и сохранить исходный текст. В руководстве по работе с арабизи разобраны промпты и выбор письменности для ответа.
В BroadNet Inference
Отдельной функции для арабизи у BroadNet нет; чат-модели получают его как обычный текст. BroadNet сообщает, что тестировала Qwen3.8 27B на арабском, включая понимание диалектов Персидского залива и египетского, — это отправная точка для тестов на арабизи. См. диалекты Залива и египетский в LLM.
Речь — отдельный случай. Документация BroadNet предупреждает, что без language арабское аудио может быть транслитерировано латиницей. Такой вывод похож на арабизи, но возникает из-за запроса, а не из-за говорящего. Передавайте language=ar в BroadNet Transcribe Arabic.