BroadRouter

Identification des dialectes arabes

Mis à jour

L’identification des dialectes arabes consiste à déterminer dans quelle variété d’arabe est un texte ou un enregistrement, par exemple égyptien, du Golfe, levantin, maghrébin ou arabe standard moderne, au niveau de la région, du pays ou de la ville. Elle sert à router les messages, choisir les prompts et découper les jeux d’évaluation.

Aussi appelé : identification des dialectes arabes, détection du dialecte, reconnaissance des dialectes arabes, classification des dialectes, Arabic dialect identification, dialect identification, dialect detection, ADI, NADI

Avant de répondre à un utilisateur dans son dialecte, il faut savoir dans quel dialecte il a écrit. C’est l’identification des dialectes.

Comment ça marche

La recherche mesure cette tâche à travers les shared tasks NADI (Nuanced Arabic Dialect Identification). NADI 2020 utilisait des tweets couvrant 100 provinces de 21 pays arabes, avec une sous-tâche au niveau du pays et une autre au niveau de la province. NADI 2024 a formulé l’identification des dialectes comme une tâche multi-étiquettes, puisqu’une phrase peut être valide dans plusieurs dialectes, et a ajouté une sous-tâche sur le degré de dialectalité. Le meilleur système de la sous-tâche 1 a obtenu 50,57 de F1, et les organisateurs écrivent que l’identification des dialectes reste difficile.

Le corpus MADAR (Bouamor et al., 2018) est une ressource courante : les mêmes phrases du domaine du voyage, traduites dans les dialectes de 25 villes. 2 000 phrases existent dans les 25 ; 10 000 de plus existent pour Doha, Beyrouth, Le Caire, Tunis et Rabat. Ce type de données parallèles montre comment le même sens s’écrit à chaque endroit.

En pratique, la plupart des produits ont besoin d’une étiquette plus grossière. Un jeu utilisable :

Étiquette Couvre
msa Arabe standard moderne
gulf Saoudien, émirien, koweïtien, qatarien, bahreïni, omanais
egyptian Égyptien
levantine Syrien, libanais, jordanien, palestinien
maghrebi Marocain, algérien, tunisien, libyen
other_or_unclear Irakien, yéménite, soudanais, mélangé ou trop court

Un prompt de LLM pour cette tâche demande un seul objet JSON : l’étiquette, un niveau de confiance et les mots qui ont trahi le dialecte. Par exemple, le message عايز أغير الباقة reviendrait ainsi :

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Demander les indices rend les erreurs faciles à vérifier : si l’indice est un mot d’arabe standard, l’étiquette est suspecte.

Pourquoi c’est important

  • Routage. Envoyer les clients du Golfe vers des agents du Golfe, ou basculer le prompt de réponse vers le dialecte de l’utilisateur.
  • Évaluation. Découper les jeux de test vocaux et de chat par dialecte. Une moyenne unique masque le groupe le plus faible, comme le montre l’article sur la reconnaissance vocale des dialectes.
  • Analytique. Savoir quels dialectes vos utilisateurs écrivent réellement avant d’investir dans l’un d’eux.

Les messages mélangés sont fréquents. Les utilisateurs passent du dialecte à l’arabe standard et à l’anglais sur une même ligne, ce qui relève du code-switching ; gardez une étiquette « incertain » plutôt que de forcer une supposition.

Sur BroadNet Inference

BroadNet n’a pas d’endpoint d’identification des dialectes. Vous pouvez en construire un sur POST /v1/chat/completions. La référence de l’API BroadNet documente la sortie structurée pour GLM 5.3 et Qwen3.8 27B, ce qui convient à une liste d’étiquettes fixe ; voir sortie structurée. BroadNet indique avoir testé Qwen3.8 27B, avec les dialectes du Golfe et égyptien compris. BroadNet ne publie de précision d’identification des dialectes pour aucun modèle : étiquetez donc à la main une centaine de vos propres messages et mesurez le modèle dessus avant de vous y fier.

L’article sur la classification de textes arabes traite des prompts, des listes d’étiquettes et de la notation pour ce type de tâche, et l’arabe dialectal explique ce que recouvrent les étiquettes.

Questions fréquentes

Quelle est la précision de l’identification des dialectes arabes ?

Elle dépend de la granularité et de la longueur du texte. À NADI 2024, le meilleur système a obtenu 50,57 de F1 en identification multi-étiquettes, et les organisateurs concluent que la tâche reste difficile. Des étiquettes régionales sur des messages longs sont plus faciles que des étiquettes par pays ou par ville sur des messages courts.

Un message peut-il relever de plusieurs dialectes ?

Oui. Des phrases courtes ou neutres peuvent être valides dans plusieurs dialectes : c’est pourquoi NADI 2024 a formulé l’identification des dialectes comme une tâche multi-étiquettes. Autorisez une réponse « incertain » ou plusieurs étiquettes.

Faut-il un classifieur dédié ?

Pas pour commencer. Un LLM avec une liste d’étiquettes fixe se met en place rapidement. Mesurez-le sur un échantillon étiqueté à la main ; passez à un classifieur entraîné si le volume ou la précision l’exigent.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity