Для двуязычных людей переключение кодов — обычная речь. Для программ, которые ждут один язык на входе, это частый источник ошибок.
Как это работает
Solorio и соавторы (2014) в первой совместной задаче по данным с переключением кодов определяют его широко — как акт коммуникации, “spoken or written, where two or more languages are being used interchangeably” (перевод: «устный или письменный, в котором попеременно используются два или более языка»). В их задаче каждое слово в постах из Twitter размечалось по языку для четырёх пар: современный литературный арабский — диалектный арабский, мандаринский — английский, непальский — английский и испанский — английский. Семь команд прислали 42 прогона. Определение на уровне слов оказалось сложнее всего для пары литературный арабский (MSA) — диалект, потому что они близкородственны, и проще всего для испанского с английским и непальского с английским.
Арабоязычные пользователи переключаются сразу несколькими способами:
- Диалект и литературный арабский. Авторы MADAR отмечают, что в неподготовленной речи там, где ожидается литературный арабский, например в телевизионных ток-шоу, говорящие то и дело переходят со своего диалекта на литературный язык и обратно.
- Арабский и английский или французский. Darwish (2014) замечает, что многие арабоязычные люди двуязычны и смешивают английский или французский с арабским внутри предложений.
- Письменности. В набранных сообщениях в одной строке могут смешиваться арабское письмо, латиница и арабизи.
Типичное сообщение в чате из стран Залива смешивает всё это сразу:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Арабские слова — диалектные, «meeting» — английское слово внутри арабской фразы, а заканчивается предложение по-английски. С таким переключением приходится справляться и детектору языка, и токенизатору, и модели распознавания речи.
Почему это важно
- Распознавание речи. Запрос на транскрибацию обычно принимает один
language. Английское название продукта внутри арабской речи может выйти арабскими буквами, латиницей или быть расслышано неверно. Договоритесь о правиле и считайте долю ошибок в словах (WER) относительно него, иначе вы будете засчитывать стилистические различия как ошибки. - Маршрутизация и поиск. Детектор языка, который выбирает одну метку на сообщение, будет ошибаться на смешанных сообщениях, и арабские намерения могут попасть в английский сценарий.
- Промпты для LLM. Сообщите модели, что ввод может смешивать языки, и укажите, на каком языке отвечать. Иначе она может подстроиться под тот язык, который был последним.
В BroadNet Inference
Документация BroadNet советует всегда передавать language при транскрибации — ar для арабского и en для английского — и предупреждает, что без него арабский может быть транслитерирован латиницей. Режима для смешанных языков в документации нет. Для арабской речи с английскими словами передавайте language=ar в BroadNet Transcribe Arabic и тестируйте на реальных записях; как собрать такой тестовый набор, описано в статье о распознавании диалектной речи. Для смешанного текста в чате BroadNet сообщает о тестировании на арабских диалектах модели Qwen3.8 27B.