Les tâches de classification en arabe sont partout : cet avis est-il positif, ce message WhatsApp est-il une réclamation, quelle équipe doit recevoir ce ticket, est-ce urgent ? Avant les LLM, chaque tâche demandait un jeu de données étiqueté et un modèle affiné. Aujourd’hui, vous pouvez commencer par un prompt. C’est plus rapide, mais il est facile de livrer un classifieur qui brille sur dix exemples et échoue sur le dialecte du Golfe. Cet article couvre le prompt, le format de sortie, le test et le coût.
Quelles tâches de classification conviennent à un LLM ?
| Tâche | Labels, par exemple | Remarques |
|---|---|---|
| Sentiment | positif, négatif, neutre, mixte | C’est sur neutre et mixte que humains et modèles divergent le plus |
| Intention | réclamation, question, commande, annulation, autre | Gardez « autre » ; forcer un label crée des erreurs |
| Routage des tickets | facturation, livraison, technique, compte | Calquez les labels sur vos vraies équipes |
| Urgence | urgent, normal | Définissez urgent en une ligne : « le client ne peut pas utiliser le service en ce moment » |
| Dialecte ou écriture | MSA, Golfe, égyptien, levantin, arabizi | Utile pour choisir le bon modèle de réponse ; voir arabizi |
| Étiquettes thématiques | Plusieurs labels d’une liste fixe | Demandez une liste, plafonnez sa longueur |
Un LLM convient bien quand vous avez peu d’exemples étiquetés, quand les labels changent souvent, ou quand vous voulez une justification pour chaque label. Un classifieur affiné convient bien quand les labels sont stables, le volume énorme et que vous disposez déjà de milliers d’exemples étiquetés.
Que dit la recherche sur les LLM en arabe ?
Deux résultats sont bons à connaître avant de commencer :
- Les modèles arabes affinés peuvent gagner. GPTAraEval a testé ChatGPT sur 44 tâches en arabe et l’a trouvé « consistently surpassed by smaller models that have undergone finetuning on Arabic » (traduction : « systématiquement dépassé par des modèles plus petits affinés sur l’arabe »). Les auteurs ont aussi observé des résultats plus faibles sur les dialectes que sur l’arabe standard moderne (Khondaker et al.).
- Les prompts tenant compte du dialecte aident. Une étude présentée à RANLP 2025 sur DeepSeek-R1, Qwen2.5 et LLaMA-3, appliqués à l’analyse de sentiment en MSA, en dialecte saoudien et en darija marocaine, indique qu’un prompting tenant compte du dialecte a amélioré la précision, en particulier pour les classes neutre et négative (Alharbi et al.).
Ce sont des modèles plus anciens ou différents de ceux que vous utiliserez : prenez ces résultats comme des tendances, pas comme des chiffres. La leçon tient : mesurez sur vos propres messages, dialecte par dialecte.
Comment concevoir les labels ?
Commencez ici, pas par le modèle.
- Gardez la liste courte. Quatre à huit labels par question. Posez les questions distinctes (sentiment, intention, urgence) comme des champs séparés, pas comme une liste géante.
- Définissez chaque label en une ligne, en précisant ce qu’il n’est pas : « réclamation : le client signale un problème avec un achat. Pas une question sur le prix. »
- Ajoutez un label de repli comme
otherouunclear. - Tranchez les cas mixtes à l’avance. « La livraison était en retard mais le livreur était aimable » est mixte, pas neutre. Écrivez cette règle.
Les définitions des labels peuvent être en anglais même si le texte est en arabe. Gardez les valeurs des labels en anglais pour que votre code ne dépende pas d’une comparaison de chaînes arabes.
Quel prompt fonctionne pour classer de l’arabe ?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Pourquoi chaque élément est là :
- La ligne sur les dialectes dit au modèle à quoi s’attendre : c’est le prompting tenant compte du dialecte que l’étude RANLP a jugé utile.
- Des exemples dans plus d’un dialecte. Les exemples ci-dessus mêlent dialecte du Golfe et égyptien. Utilisez de vrais messages (anonymisés) tirés de votre propre trafic.
- La preuve sous forme de citation permet à un relecteur de vérifier un label en une seconde, et rend les suppositions plus faciles à repérer.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 et DeepSeek V4.1 Flash raisonnent avant de répondre, et le raisonnement compte dansmax_tokens. La documentation de BroadNet conseille de réglerreasoning_effortsurlowou de laisser 1 000 tokens ou plus. Pourquoi les réponses reviennent vides sinon.- Rejetez les labels inconnus dans le code. Ne comptez jamais sur le modèle pour rester dans la liste.
Pour un contrat de sortie plus strict, voyez mode JSON ou json_schema. BroadNet indique la sortie structurée pour GLM 5.3 et Qwen3.8 27B.
Quel modèle BroadNet utiliser ?
| Modèle | Pourquoi le choisir | Entrée / sortie par million de tokens |
|---|---|---|
| Qwen3.8 27B | Testé en arabe par BroadNet : dialectes du Golfe et égyptien compris ; sortie structurée indiquée | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Prix au token le plus bas chez BroadNet ; fonctionne avec le crédit de départ de $5 ; sortie structurée non indiquée, validez donc strictement la sortie | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Aussi disponible en forfait à $60 par mois et par session, une requête à la fois | $0.175 / $0.52 |
| GLM 5.3 | Sortie structurée indiquée ; le plus cher des quatre | $0.78 / $3.46 |
Faites d’abord tourner votre jeu de test sur Qwen3.8 27B et Gemma 4 VL 26B. Si les scores de Gemma sont assez proches, c’est le choix le moins cher pour des labels courts. Décidez sur vos chiffres, pas sur ce tableau.
Comment tester le classifieur ?
- Étiquetez 200 messages réels à la main, avec un locuteur natif, selon les définitions ci-dessus. Incluez chaque dialecte que vous recevez, au moins 30 par dialecte.
- Faites tourner le modèle sur les 200.
- Calculez le F1 macro, c’est-à-dire la moyenne des F1 par label, pour que les labels rares comptent autant que les fréquents. L’exactitude seule masque un modèle qui ne répond jamais
cancel. - Lisez la matrice de confusion. Si
questionetcomplaints’échangent souvent, les définitions se chevauchent : corrigez-les avant de changer de modèle. - Ventilez les résultats par dialecte. Un modèle peut être fort en MSA et faible en dialecte du Golfe.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Relancez le même jeu à chaque changement de prompt ou de modèle. Comment évaluer un LLM avant d’en changer explique comment maintenir un jeu de test fixe.
Comment classer à grande échelle ?
La classification pèse surtout en entrée : un long prompt système, un message court et une réponse d’un mot. Trois leviers comptent.
Regroupez les messages par requête. Une clé BroadNet en pay-as-you-go autorise 30 requêtes par minute et 4 en parallèle. À un message par requête, vous plafonnez à 30 messages par minute et par clé, soit 1 440 fois plus par jour. Envoyez 20 messages courts sous forme de liste numérotée et demandez un tableau JSON de 20 résultats : la même limite de débit couvre alors vingt fois plus de messages. Vérifiez que la longueur du tableau correspond et que chaque élément porte son numéro.
Gardez le préfixe du prompt identique. Le prompt système et les exemples sont les mêmes à chaque appel. Placez-les en tête et le message en dernier, pour qu’ils soient lus depuis le cache au tarif de l’entrée en cache, par exemple $0.0435 au lieu de $0.175 par million sur Qwen3.8 27B. Comment structurer les prompts pour que le préfixe soit mis en cache.
Gardez la sortie courte. Les tokens de sortie coûtent plus cher que ceux d’entrée. Un label et une courte citation suffisent ; supprimez le champ de preuve une fois que vous faites confiance au modèle.
L’arabe consomme en général plus de tokens par mot que l’anglais : comptez un échantillon de vos messages dans le compteur de tokens arabe, puis chiffrez le mois dans le calculateur de coût d’API LLM.
Quelles erreurs éviter ?
- Tester sur des traductions anglaises. Un texte traduit n’est pas la façon dont écrivent vos clients.
- Une seule note pour tous les dialectes. Rapportez chaque dialecte séparément.
- Pas de label de repli. Forcer chaque message dans un vrai label gonfle les erreurs.
- Des réponses en texte libre. « Ça semble négatif » ne se parse pas. Demandez du JSON et validez-le.
- Ignorer le sarcasme. « ما شاء الله، ثالث مرة يتأخر الطلب » (en substance : « Bravo, troisième fois que la commande est en retard ») paraît positif mot à mot et c’est une réclamation. Mettez un exemple de ce genre dans le prompt.
Quand un LLM est-il le mauvais classifieur ?
Quand les labels sont stables, que vous avez déjà des milliers d’exemples étiquetés et que le volume se compte en millions, un modèle encodeur arabe affiné coûte en général moins cher par message et, selon GPTAraEval, peut être plus précis. Pour de gros traitements hors ligne qui peuvent attendre, un fournisseur doté d’une API batch peut aussi revenir moins cher : OpenAI annonce une remise de 50 % pour les traitements batch terminés sous 24 heures. BroadNet n’a pas d’API batch. Une approche courante consiste à faire étiqueter les premiers milliers de messages par un LLM, à les vérifier à la main, puis à entraîner un petit modèle sur le résultat.
La place de BroadNet Inference
BroadNet vous donne un modèle testé en arabe (Qwen3.8 27B), un modèle bon marché utilisable avec le crédit de départ (Gemma 4 VL 26B) et une option au forfait (DeepSeek V4.1 Flash) derrière une même clé compatible OpenAI, sans conservation du contenu des messages après la requête. Cela convient aux équipes support qui veulent classer des messages en arabe sans construire de pipeline d’entraînement. Cela ne convient pas aux très gros traitements hors ligne, où une remise batch ou un modèle affiné coûterait moins cher. Commencez par le prompt ci-dessus, le test sur 200 messages et l’article sur l’arabe du Golfe, égyptien et levantin pour constituer le jeu de test.
