Quand on dit qu’un modèle d’IA « parle arabe », on veut souvent dire qu’il maîtrise l’arabe standard moderne. Les dialectes sont un autre test.
Comment ça marche
L’arabe est une famille de variétés. L’article MADAR (Bouamor et al., 2018) le dit clairement : le MSA est « the shared language of culture, media, and education from Morocco to Oman » (traduction : « la langue commune de la culture, des médias et de l’enseignement, du Maroc à Oman »), et pourtant il « is not the native language of any speaker of Arabic » (traduction : « n’est la langue maternelle d’aucun arabophone »). Les dialectes se regroupent par région (égyptien, nord-africain, levantin, du Golfe et yéménite) et par sous-région (tunisien, libanais, koweïtien, qatari, etc.). MADAR couvre lui-même 25 dialectes urbains en plus du MSA.
En pratique, les deux se mélangent. Dans des contextes non scénarisés où l’on attendrait du MSA, comme les talk-shows télévisés, les locuteurs alternent entre le MSA et leur dialecte. C’est du code-switching (alternance codique), et la tâche partagée de 2014 sur le code-switching a montré que la paire MSA–dialecte est la plus difficile à distinguer au niveau du mot, plus que l’espagnol-anglais ou le népalais-anglais.
| MSA | Dialectes | |
|---|---|---|
| Où | information, livres, école, contrats, discours formel | maison, rue, appels, messages vocaux, chat |
| Orthographe | standard | pas d’orthographe fixe ; souvent tapés en arabizi |
| Données d’entraînement | grands corpus écrits | bien moins nombreuses, inégalement réparties selon les régions |
Pourquoi c’est important
- Qualité des LLM. Un modèle peut écrire un bon MSA et rater l’argot du Golfe ou du Maghreb. Testez avec le dialecte que parlent vos utilisateurs.
- Précision du speech-to-text. Beaucoup de jeux de test sont de la parole lue ou radiodiffusée, alors que votre audio est peut-être fait de messages vocaux en dialecte. Demandez le taux d’erreur sur les mots par variété, pas un chiffre unique pour l’arabe, et testez sur vos propres enregistrements.
- Coût en tokens. Dans notre jeu de données sur les tokenizers, sur Qwen3.8 27B, l’arabe standard moderne demandait 1.31× les tokens des mêmes phrases en anglais (2,009 phrases FLORES-200) et l’arabe du Golfe 1.21× (un petit ensemble de 49 phrases Tatoeba, donc un chiffre approximatif). Utilisez le compteur de tokens arabe sur votre propre texte.
Sur BroadNet Inference
BroadNet indique avoir testé Qwen3.8 27B pour une écriture fluide en arabe, avec compréhension des dialectes du Golfe et égyptien. BroadNet Transcribe Arabic est référencé pour l’arabe, dialectes compris. Pour l’audio en MSA comme en dialecte, envoyez language=ar ; la documentation de BroadNet prévient que sans ce paramètre, l’arabe peut revenir en caractères latins. L’article sur la reconnaissance vocale des dialectes arabes explique comment tester sur vos propres enregistrements.