Para pessoas bilíngues, code-switching é a forma normal de falar. Para software que espera um idioma por entrada, é uma fonte comum de erros.
Como funciona
Solorio et al. (2014), na primeira shared task sobre dados com code-switching, o definem de forma ampla como um ato de comunicação, “spoken or written, where two or more languages are being used interchangeably” (tradução: falado ou escrito, em que dois ou mais idiomas são usados de forma intercambiável). A tarefa rotulou com o idioma cada palavra de posts do Twitter em quatro pares: árabe padrão moderno-árabe dialetal, mandarim-inglês, nepalês-inglês e espanhol-inglês. Sete equipes enviaram 42 execuções. A identificação no nível de palavra foi mais difícil para árabe padrão versus dialeto, porque os dois são muito próximos, e mais fácil para espanhol-inglês e nepalês-inglês.
Usuários árabes alternam de várias formas ao mesmo tempo:
- Dialeto e árabe padrão. O artigo do MADAR observa que, em situações sem roteiro em que se espera o árabe padrão, como talk shows na TV, os falantes alternam repetidamente entre o dialeto e o árabe padrão.
- Árabe e inglês ou francês. Darwish (2014) observa que muitos falantes de árabe são bilíngues e misturam inglês ou francês com árabe dentro das frases.
- Escritas. Mensagens digitadas podem misturar escrita árabe, escrita latina e Arabizi na mesma linha.
Uma mensagem típica de chat no Golfo mistura tudo isso:
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
As palavras árabes são dialetais, “meeting” é inglês dentro de uma oração em árabe, e a frase termina em inglês. Um detector de idioma, um tokenizer e um modelo de fala precisam, cada um, lidar com essa troca.
Por que isso importa
- Speech-to-text. Uma requisição de transcrição normalmente aceita um único
language. O nome de um produto em inglês no meio de uma fala em árabe pode sair em escrita árabe, em escrita latina ou mal entendido. Combine uma convenção e calcule o word error rate com base nela, senão você vai contar diferenças de estilo como erros. - Roteamento e busca. Um detector de idioma que escolhe um único rótulo por mensagem vai errar em mensagens mistas, e intenções em árabe podem cair no fluxo em inglês.
- Prompts de LLM. Diga ao modelo que a entrada pode misturar idiomas e em qual idioma ele deve responder. Senão, ele pode imitar o último idioma que apareceu.
Na BroadNet Inference
A documentação da BroadNet diz para sempre enviar language na transcrição, ar para árabe e en para inglês, e avisa que sem ele o árabe pode ser transliterado para letras latinas. Ela não documenta uma configuração para idiomas misturados. Para fala em árabe com palavras em inglês, envie language=ar para o BroadNet Transcribe Arabic e teste com gravações reais; o artigo sobre reconhecimento de fala em dialetos mostra como montar esse conjunto de teste. Para texto misto em chat, o Qwen3.8 27B é o modelo que a BroadNet relata ter testado com dialetos árabes.