Si vous construisez un produit en arabe sur une API LLM, votre facture se compte en tokens, pas en mots. Et un même message, écrit en arabe, donne souvent plus de tokens que sa traduction anglaise. Cela pèse sur le coût, les limites de contexte et la latence. Cet article explique pourquoi, pourquoi le nombre de « tokens par mot » est trompeur, et comment mesurer le vrai ratio pour vos propres contenus sur le modèle que vous utilisez.
Combien de tokens en plus l’arabe demande-t-il ? Chiffres mesurés
Nous l’avons mesuré avec le vrai tokenizer de chaque modèle sur des textes parallèles (le même sens en anglais et en arabe). Le tableau complet, les intervalles à 95 % et la méthode figurent dans le jeu de données sur l’efficacité des tokenizers, gratuit (CSV et JSON, CC BY 4.0, version 4, mesuré le 2026-11-15) :
| Tokenizer | Arabe ÷ anglais, standard moderne (2,009 phrases FLORES-200) | Arabe ÷ anglais, dialecte du Golfe (49 phrases Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
La prose anglaise (Wikipédia et Project Gutenberg) donne environ 127 à 132 tokens pour 100 mots sur les cinq. Les ratios pour l’arabe standard moderne proviennent des mêmes 2,009 phrases FLORES-200 dans les deux langues (textes formels d’actualité, de voyage et d’encyclopédie tirés d’articles Wikimedia en anglais, traduits par des professionnels). FLORES-200 ne contient pas d’arabe du Golfe : la colonne Golfe repose donc sur 49 courtes paires de phrases Tatoeba et elle est bien moins précise ; la page du jeu de données donne un intervalle pour chaque chiffre. Rien de tout cela n’est votre trafic : servez-vous des ratios pour planifier et mesurez vos propres contenus avant de budgéter. Le compteur de tokens arabe compte un texte collé avec chaque tokenizer, et tokens en mots convertit dans les deux sens.
Pour traduire ces ratios en argent, notre jeu de données sur le coût réel par langue chiffre 1 million de caractères de chaque langue sur chaque modèle que nous avons pu associer à un tokenizer mesuré, chez différents fournisseurs. Un prix par token plus bas ne garantit pas toujours une facture arabe plus basse.
Que fait un tokenizer ?
Avant qu’un modèle voie un texte, un tokenizer le découpe en tokens tirés d’un vocabulaire fixe. La plupart des tokenizers modernes utilisent des méthodes en sous-mots comme le byte-pair encoding (BPE), WordPiece ou SentencePiece, décrites dans la présentation des tokenizers de Hugging Face. Les chaînes fréquentes dans les données d’entraînement deviennent des tokens uniques ; les chaînes rares sont découpées en morceaux plus petits, jusqu’à l’octet si nécessaire.
Le vocabulaire est appris sur un corpus d’entraînement. Les langues qui dominent ce corpus obtiennent l’encodage le plus efficace. Chaque famille de modèles a son propre tokenizer : les modèles DeepSeek, Qwen, GLM et Gemma peuvent donc découper une même phrase arabe en des nombres de tokens assez différents.
Pourquoi l’arabe consomme-t-il souvent plus de tokens ?
1. Le déséquilibre des données d’entraînement
Beaucoup de tokenizers ont été entraînés sur des textes où l’anglais est fortement surreprésenté. Les mots anglais courants deviennent un token chacun ; beaucoup de mots arabes courants sont découpés en plusieurs morceaux. Petrov et al. (2023) l’ont mesuré sur de nombreux tokenizers et langues et ont constaté de grandes différences dans le nombre de tokens nécessaires pour un même contenu, l’anglais figurant généralement parmi les moins chers. Ahia et al. (2023) sont arrivés à une conclusion similaire pour les API commerciales et ont souligné l’effet direct sur ce que paient les locuteurs de différentes langues.
2. La morphologie arabe
L’arabe accole directement aux mots les conjonctions, les prépositions, l’article et les pronoms. Un seul mot écrit peut porter ce que l’anglais répartit sur plusieurs :
| Arabe | Équivalent anglais approximatif |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Un tokenizer qui n’a pas vu une combinaison donnée assez souvent la découpe souvent en morceaux. Cela augmente le nombre de tokens par mot, même lorsque le nombre de tokens par sens reste raisonnable.
3. Les détails de l’écriture
Les diacritiques (tashkil), le tatweel (le caractère d’allongement), les différentes formes de l’alef et de la hamza et les chiffres arabo-indiens sont autant de caractères ou de variantes supplémentaires à encoder. Un texte mêlant arabe et alphabet latin, ou l’arabizi (l’arabe écrit en lettres latines avec des chiffres), peut aussi se découper de façon inattendue. Voyez comment les LLM gèrent l’arabizi.
Pourquoi les tokens par mot sont-ils le mauvais indicateur ?
Parce qu’un mot arabe équivaut souvent à plusieurs mots anglais, « l’arabe utilise N tokens par mot » et « l’anglais utilise M tokens par mot » ne sont pas comparables. La question juste est : combien de tokens le même contenu demande-t-il dans chaque langue ? Utilisez du texte parallèle, le même message écrit dans les deux langues, et comparez le total de tokens. C’est ce ratio qui modifie votre facture.
L’ordre de grandeur souvent cité d’OpenAI, environ quatre caractères ou trois quarts de mot par token, est donné pour l’anglais sur les tokenizers d’OpenAI. Il ne se transpose ni à l’arabe ni aux autres familles de modèles : ne l’utilisez pas pour des budgets en arabe.
Comment mesurer votre propre ratio ?
Le champ usage fait foi : c’est sur lui que vous êtes facturé. Ce script envoie des textes parallèles à un modèle et lit usage.prompt_tokens. Il soustrait une base pour que le surcoût fixe du modèle de chat ne fausse pas les textes courts. Il utilise Gemma 4 VL 26B, qui fonctionne avec le crédit de départ gratuit et ne raisonne pas ; remplacez-le par le modèle que vous utiliserez réellement.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Pour obtenir un chiffre fiable :
- Utilisez 50 à 200 paires réelles issues de votre domaine : messages de support, descriptions de produits, factures. Les phrases de démonstration courtes sont bruitées.
- Utilisez le dialecte qu’écrivent vos utilisateurs. Un texte du Golfe, égyptien ou levantin peut se tokeniser différemment de l’arabe standard moderne.
- Lancez-le modèle par modèle. Un ratio mesuré sur un modèle dit peu de chose d’un autre. Si vous hésitez entre plusieurs modèles, faites passer les mêmes paires sur chacun ; choisir un LLM pour l’arabe traite de la qualité, qui compte autant que le nombre de tokens.
- Mesurez aussi la sortie. Demandez à chaque modèle de répondre en arabe et en anglais, et comparez
completion_tokens. La sortie coûte plus cher par token que l’entrée sur tous les modèles : le ratio en sortie peut donc compter davantage.
Si le tokenizer du modèle est publié (par exemple sur Hugging Face), vous pouvez aussi compter les tokens hors ligne avec ce tokenizer. Le champ usage de l’API reste la référence, car il inclut le modèle de chat que le serveur applique.
Lire les résultats
Une fois un ratio obtenu pour chaque modèle, trois cas de figure sont fréquents :
- Proche de 1. Le tokenizer gère bien votre arabe. Le trafic arabe et anglais coûte à peu près pareil pour le même contenu.
- Nettement au-dessus de 1. L’arabe coûte plus cher par message. Intégrez-le dans vos prévisions et vos limites de contexte, et voyez si un autre modèle traite votre arabe plus efficacement à qualité comparable.
- Très variable selon les échantillons. C’est souvent le signe de contenus mêlés : texte vocalisé, arabizi, nombres, URL ou code dans des messages arabes. Séparez vos échantillons par type et mesurez chacun à part.
Conservez le script et relancez-le quand vous changez de modèle ou qu’un fournisseur met à jour une version de modèle, car un nouveau tokenizer modifie tous les comptes.
Qu’est-ce que cela change pour le coût et le contexte ?
Le coût suit les tokens : un ratio arabe plus élevé augmente la facture du même facteur pour la part arabe de votre trafic. Aux prix de BroadNet, l’entrée arabe sur Qwen3.8 27B coûte $0.175 par million de tokens et la sortie $2.17 ; sur Gemma 4 VL 26B, $0.10 et $0.22. Le prix par token est le même dans toutes les langues ; seul le nombre de tokens change. Injectez votre ratio mesuré dans la méthode d’estimation du coût mensuel.
Les limites de contexte se réduisent de la même façon. Gemma 4 VL 26B accepte 32 768 tokens par requête ; un long document arabe remplit cette fenêtre plus vite que sa traduction anglaise. DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens.
Comment réduire le nombre de tokens en arabe ?
- Normalisez de façon cohérente. Retirez le tatweel, et les diacritiques si votre tâche n’en a pas besoin. Appliquez la même normalisation à chaque requête pour que le cache continue de fonctionner.
- Gardez des instructions courtes. Un long prompt système est renvoyé à chaque tour ; une formulation serrée économise des tokens dans les deux langues.
- Mettez en cache le préfixe stable. Sur les modèles qui ont un tarif de cache, les prompts système et documents répétés coûtent bien moins. Comment fonctionne le cache.
- Demandez des réponses concises. « Réponds en deux phrases » économise plus que n’importe quelle astuce de tokenizer.
Pour la parole arabe plutôt que le texte, la transcription est facturée à la minute d’audio, pas au token : la tokenisation n’affecte donc pas cette partie de la facture ; voyez la page sur le speech-to-text arabe.
