Pour que la génération augmentée par récupération (RAG) fonctionne en arabe, normalisez documents et requêtes avec les mêmes règles d’orthographe, découpez par paragraphe, cherchez à la fois avec un analyseur de mots-clés arabe et un modèle d’embeddings multilingue, et demandez au LLM de ne répondre qu’à partir des passages récupérés, en les citant.
Le principe, issu de l’article fondateur du RAG, est de récupérer, puis de générer. La plupart des échecs du RAG en arabe surviennent dans la première moitié. Un utilisateur tape « الفاتوره » alors que l’index contient « الفاتورة » ; une politique écrit « إلغاء » et l’utilisateur « الغاء » ; le modèle d’embeddings a été entraîné surtout sur de l’anglais. Corrigez la récupération, et la partie LLM suit en général d’elle-même.
À quoi ressemble un pipeline RAG pour l’arabe ?
- Extraire le texte des PDF, des pages web et des articles du centre d’aide. Pour les PDF arabes scannés, voyez OCR arabe ou LLM de vision.
- Normaliser une copie du texte pour l’indexation.
- Découper selon la structure : titres et paragraphes.
- Indexer deux fois : un index de mots-clés et un index vectoriel.
- Récupérer dans les deux avec la requête normalisée, fusionner et reclasser.
- Générer une réponse à partir des meilleurs passages, en les citant.
Comment normaliser du texte arabe pour la recherche ?
L’arabe admet plusieurs graphies d’un même mot, et les utilisateurs tapent rarement les diacritiques ou la hamza de façon cohérente. Normalisez la copie indexée et chaque requête avec la même fonction :
| Règle | Caractères | Pourquoi |
|---|---|---|
| Unifier l’alef | أ إ آ ٱ → ا | La hamza est souvent omise à la frappe |
| Alef maqsura | ى → ي | Fréquent dans la saisie égyptienne et les graphies relâchées |
| Ta marbuta | ة → ه | Les utilisateurs tapent ه en fin de mot |
| Supprimer les diacritiques | U+064B à U+0652, U+0670 | La plupart des textes et requêtes ne sont pas vocalisés |
| Retirer le tatweel | ـ (U+0640) | Allongement décoratif |
| Chiffres | ٠–٩ → 0–9 | Retrouver les nombres sous l’une ou l’autre forme |
Essayez chaque option sur votre propre texte avec le normaliseur de texte arabe, qui génère aussi la fonction Python correspondante.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Les points de code figurent dans la table Unicode de l’arabe. Deux mises en garde :
- N’affichez jamais le texte normalisé. Stockez l’original à côté, et affichez, citez et envoyez l’original au LLM. L’arabe normalisé paraît mal orthographié aux lecteurs.
- Certaines fusions font perdre du sens. ة → ه confond quelques paires de mots, et ى → ي confond « على » (sur) et « علي » (Ali). Pour le rappel de la recherche, ce compromis vaut en général la peine ; testez-le sur vos propres requêtes.
Les mêmes règles sont centrales pour mesurer la précision de la reconnaissance vocale en arabe : vous pouvez donc réutiliser une seule fonction dans toute votre stack.
Comment découper des documents arabes ?
- Couper selon la structure. Les titres, les articles numérotés des contrats (المادة ١، المادة ٢) et les sauts de paragraphe sont des frontières naturelles.
- Quelques centaines de mots par chunk, avec une ou deux phrases de chevauchement. Les mots arabes portent plus de morphèmes que les mots anglais : un chunk couvre donc plus de sens par mot que sa longueur ne le laisse penser.
- Frontières de phrase : ne coupez sur . ؟ ! et la virgule arabe ، qu’en dernier recours. Beaucoup de textes arabes enchaînent de longues phrases reliées par و ; découper au niveau du paragraphe est plus sûr.
- Transmettre le contexte. Préfixez chaque chunk du titre du document et du titre de section, en arabe, pour qu’un chunk disant « تُطبَّق هذه الرسوم » (ces frais s’appliquent) indique toujours de quels frais il s’agit.
Le calculateur de chunking RAG convertit taille de chunk, chevauchement et top-k en nombre de chunks, tokens par requête et coût mensuel.
Pourquoi combiner recherche par mots-clés et embeddings ?
Recherche par mots-clés
La morphologie arabe met en échec la correspondance naïve de mots-clés : كتاب, الكتاب, بالكتاب, وكتابه et كتب se rapportent tous à « livre ». Utilisez un analyseur qui gère l’arabe. Elasticsearch fournit un analyseur pour l’arabe qui enchaîne mots vides arabes, normalisation des chiffres, normalisation arabe et racinisation arabe, de sorte que des formes préfixées comme الكتاب et وكتاب correspondent plus souvent. Vérifiez ce qu’il fusionne sur votre propre vocabulaire avant de vous y fier.
Embeddings
Les modèles d’embeddings transforment le texte en vecteurs, de sorte que les passages de sens proche se retrouvent voisins, même sans mot commun. Pour l’arabe, choisissez un modèle multilingue et testez-le :
- Privilégiez les modèles entraînés sur de nombreuses langues, comme BGE M3, que ses auteurs présentent comme prenant en charge plus de 100 langues de travail. Les modèles uniquement anglophones produisent de mauvais vecteurs pour l’arabe.
- Testez la recherche interlangue si les utilisateurs interrogent en anglais des documents arabes, ou l’inverse.
- Vectorisez le texte original ou le texte normalisé, mais de façon cohérente entre documents et requêtes. Testez les deux ; les résultats varient selon le modèle.
BroadNet Inference ne propose pas d’endpoint d’embeddings : ses endpoints documentés sont les chat completions et la transcription audio. Utilisez un fournisseur d’embeddings de confiance, ou hébergez un modèle d’embeddings multilingue ouvert avec une base de données vectorielle, et servez-vous de BroadNet pour la génération. Le calculateur de coût des embeddings chiffre l’indexation et les requêtes chez différents fournisseurs.
Fusionner et reclasser
Lancez les deux recherches, fusionnez les résultats par reciprocal rank fusion (chaque document reçoit la somme de 1 / (k + rang) sur l’ensemble des listes) et gardez les 10 à 30 meilleurs passages. Un reranker ou une vérification rapide de pertinence par LLM peut affiner encore, mais avec les modèles à long contexte, vous pouvez souvent vous en passer.
Comment générer des réponses avec citations ?
Donnez au modèle les passages avec leurs identifiants et demandez-lui de ne répondre qu’à partir d’eux :
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
Le prompt système arabe dit en substance : « Réponds à la question de l’utilisateur en arabe standard moderne simplifié, uniquement à partir des passages joints. Indique le numéro du passage entre crochets après chaque information. Si tu ne trouves pas la réponse dans les passages, dis-le clairement. » Des instructions en anglais fonctionnent tout aussi bien ; l’essentiel est la règle de ne répondre qu’à partir des passages et de citer.
Placez les passages avant la question. Si les mêmes documents reviennent dans de nombreuses requêtes, gardez-les dans le même ordre en tête du prompt pour bénéficier du tarif de l’entrée en cache ; voyez les tokens d’entrée en cache.
Quel modèle ?
| Modèle | Contexte | Pourquoi |
|---|---|---|
| DeepSeek V4.1 Flash | 1 048 576 | Tarif d’entrée en cache le plus bas des trois chez BroadNet ($0.0055 par million de tokens), de la place pour de nombreux passages, forfaits disponibles |
| GLM 5.3 | 1 048 576 | Outils et sortie structurée pour la récupération agentique |
| Qwen3.8 27B | 262 144 | Testé en arabe par BroadNet : rédaction fluide, dialectes du Golfe et égyptien compris |
Avec un contexte d’un million de tokens, vous pouvez récupérer large, par exemple 50 passages au lieu de 5, et laisser le modèle choisir. Cela limite les dégâts quand la récupération classe le bon passage en 12e position. Pour de petits corpus, vous n’avez peut-être pas besoin de récupération du tout ; voyez long contexte ou RAG et vérifiez si votre corpus tient dans la fenêtre avec le calculateur de fenêtre de contexte. Les prix de tous les modèles sont sur la page des tarifs.
Comment évaluer un RAG en arabe ?
- Rédigez 50 à 100 vraies questions, dans le mélange de MSA, de dialecte et d’anglais que vos utilisateurs tapent réellement.
- Marquez le passage qui répond à chacune.
- Mesurez d’abord la récupération : le bon passage est-il dans le top 10 ? Comparez mots-clés seuls, embeddings seuls et hybride, avec et sans normalisation.
- Mesurez ensuite les réponses : correctes, citées, et « introuvable » quand la réponse manque.
- Incluez volontairement des requêtes mal orthographiées et dialectales. Les utilisateurs écrivent « وين الفاتوره » (Golfe/Levant : où est la facture ?), pas « أين الفاتورة ».
Corrigez la récupération avant de changer de modèle de génération : si le bon passage n’atteint jamais le prompt, aucun modèle ne peut le citer.

