Pour les personnes bilingues, le code-switching est une façon normale de parler. Pour un logiciel qui attend une seule langue par entrée, c’est une source d’erreurs fréquente.
Comment ça marche
Solorio et al. (2014), dans la première shared task sur les données en code-switching, le définissent largement comme un acte de communication, « spoken or written, where two or more languages are being used interchangeably » (traduction : « oral ou écrit, dans lequel deux langues ou plus sont utilisées de manière interchangeable »). Leur tâche étiquetait chaque mot de posts Twitter avec sa langue, sur quatre paires : arabe standard moderne et arabe dialectal, mandarin-anglais, népalais-anglais et espagnol-anglais. Sept équipes ont soumis 42 runs. L’identification au niveau du mot a été la plus difficile pour l’arabe standard face au dialecte, car les deux sont étroitement apparentés, et la plus facile pour l’espagnol-anglais et le népalais-anglais.
Les utilisateurs arabophones alternent de plusieurs façons à la fois :
- Dialecte et arabe standard. L’article MADAR note que, dans des contextes non scénarisés où l’arabe standard est attendu, comme les talk-shows télévisés, les locuteurs alternent sans cesse entre leur dialecte et l’arabe standard.
- Arabe et anglais ou français. Darwish (2014) observe que beaucoup d’arabophones sont bilingues et mêlent l’anglais ou le français à l’arabe au sein des phrases.
- Écritures. Les messages tapés peuvent mélanger écriture arabe, écriture latine et arabizi sur une même ligne.
Un message de chat typique du Golfe mélange tout cela :
عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")
Les mots arabes sont dialectaux, « meeting » est de l’anglais au sein d’une proposition arabe, et la phrase se termine en anglais. Un détecteur de langue, un tokenizer et un modèle vocal doivent chacun composer avec cette alternance.
Pourquoi c’est important
- Speech-to-text. Une requête de transcription prend en général une seule
language. Un nom de produit anglais au milieu d’un discours en arabe peut ressortir en écriture arabe, en écriture latine ou mal entendu. Fixez une convention et calculez le taux d’erreur sur les mots en conséquence, sinon vous compterez des différences de style comme des erreurs. - Routage et recherche. Un détecteur de langue qui attribue une seule étiquette par message étiquettera mal les messages mélangés, et des intentions en arabe peuvent atterrir dans le parcours anglais.
- Prompts LLM. Dites au modèle que l’entrée peut mélanger les langues et dans quelle langue répondre. Sinon, il risque de reprendre la langue arrivée en dernier.
Sur BroadNet Inference
La documentation de BroadNet recommande de toujours envoyer language pour la transcription, ar pour l’arabe et en pour l’anglais, et prévient que sans ce paramètre l’arabe peut être translittéré en lettres latines. Elle ne documente pas de réglage multilingue. Pour un discours arabe contenant des mots anglais, envoyez language=ar à BroadNet Transcribe Arabic et testez sur de vrais enregistrements ; l’article sur la reconnaissance vocale des dialectes explique comment constituer ce jeu de test. Pour du texte mélangé en chat, Qwen3.8 27B est le modèle que BroadNet indique avoir testé sur les dialectes arabes.