BroadRouter
Начать

Переключение кодов (code-switching)

Обновлено

Переключение кодов — это использование двух или более языков либо вариантов одного языка в пределах одного разговора или предложения, устно или письменно. Например, арабоязычные люди вставляют английские слова в диалектную речь или переходят с современного литературного арабского на свой диалект и обратно.

Также называют: переключение кодов, переключение языков, смешение кодов, смешение языков, код-свитчинг, смешанный текст, code-switching, code switching, code-mixing, code mixing, language mixing, mixed-language text

Для двуязычных людей переключение кодов — обычная речь. Для программ, которые ждут один язык на входе, это частый источник ошибок.

Как это работает

Solorio и соавторы (2014) в первой совместной задаче по данным с переключением кодов определяют его широко — как акт коммуникации, “spoken or written, where two or more languages are being used interchangeably” (перевод: «устный или письменный, в котором попеременно используются два или более языка»). В их задаче каждое слово в постах из Twitter размечалось по языку для четырёх пар: современный литературный арабский — диалектный арабский, мандаринский — английский, непальский — английский и испанский — английский. Семь команд прислали 42 прогона. Определение на уровне слов оказалось сложнее всего для пары литературный арабский (MSA) — диалект, потому что они близкородственны, и проще всего для испанского с английским и непальского с английским.

Арабоязычные пользователи переключаются сразу несколькими способами:

  • Диалект и литературный арабский. Авторы MADAR отмечают, что в неподготовленной речи там, где ожидается литературный арабский, например в телевизионных ток-шоу, говорящие то и дело переходят со своего диалекта на литературный язык и обратно.
  • Арабский и английский или французский. Darwish (2014) замечает, что многие арабоязычные люди двуязычны и смешивают английский или французский с арабским внутри предложений.
  • Письменности. В набранных сообщениях в одной строке могут смешиваться арабское письмо, латиница и арабизи.

Типичное сообщение в чате из стран Залива смешивает всё это сразу:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

Арабские слова — диалектные, «meeting» — английское слово внутри арабской фразы, а заканчивается предложение по-английски. С таким переключением приходится справляться и детектору языка, и токенизатору, и модели распознавания речи.

Почему это важно

  • Распознавание речи. Запрос на транскрибацию обычно принимает один language. Английское название продукта внутри арабской речи может выйти арабскими буквами, латиницей или быть расслышано неверно. Договоритесь о правиле и считайте долю ошибок в словах (WER) относительно него, иначе вы будете засчитывать стилистические различия как ошибки.
  • Маршрутизация и поиск. Детектор языка, который выбирает одну метку на сообщение, будет ошибаться на смешанных сообщениях, и арабские намерения могут попасть в английский сценарий.
  • Промпты для LLM. Сообщите модели, что ввод может смешивать языки, и укажите, на каком языке отвечать. Иначе она может подстроиться под тот язык, который был последним.

В BroadNet Inference

Документация BroadNet советует всегда передавать language при транскрибации — ar для арабского и en для английского — и предупреждает, что без него арабский может быть транслитерирован латиницей. Режима для смешанных языков в документации нет. Для арабской речи с английскими словами передавайте language=ar в BroadNet Transcribe Arabic и тестируйте на реальных записях; как собрать такой тестовый набор, описано в статье о распознавании диалектной речи. Для смешанного текста в чате BroadNet сообщает о тестировании на арабских диалектах модели Qwen3.8 27B.

Вопросы и ответы

Переключение кодов и смешение кодов — это одно и то же?

На практике оба названия описывают несколько языков в одном сообщении или разговоре, и проблемы для языковых инструментов они создают одинаковые. В этом глоссарии они считаются одним термином.

Какой язык указывать для арабского аудио с английскими словами?

В BroadNet для аудио, которое в основном на арабском, передавайте language=ar. Заранее решите, должны ли английские слова оставаться латиницей, и проверьте выборку транскриптов.

Понимают ли LLM текст с переключением кодов?

Для распространённых пар, например арабского с английским, обычно да, но качество зависит от модели и диалекта. Укажите в промпте, что ввод может смешивать языки, назовите язык ответа и тестируйте на реальных сообщениях своих пользователей.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity