Un tokenizer décide en combien de tokens se transforme votre texte, et donc quelle part de la fenêtre de contexte et de la facture il consomme.
Comment ça marche
Un tokenizer a deux parties : un vocabulaire fixe qui associe des fragments de texte à des ID entiers, et des règles pour découper le texte en ces fragments. La documentation de Hugging Face décrit les algorithmes courants comme des méthodes en sous-mots : les mots fréquents restent entiers et les mots rares se découpent en fragments connus plus petits, si bien que « annoyingly » peut devenir « annoying » + « ly ». La plupart des LLM actuels utilisent le byte pair encoding ou une variante.
L’encodage se fait en trois étapes :
- Pré-tokenisation. Découper sur les espaces, la ponctuation et les chiffres.
- Associer les fragments à des ID. Appliquer les fusions apprises et chercher chaque fragment dans le vocabulaire.
- Ajouter les tokens spéciaux. Le chat template entoure les messages de marqueurs de rôle, qui comptent aussi.
Le décodage inverse l’étape 2. Pour les modèles open-weight, tout cela se trouve dans un fichier tokenizer.json du dépôt du modèle.
Pourquoi c’est important
Des tokenizers différents donnent des décomptes différents pour un même texte. Nous avons encodé les textes du jeu de données avec le tokenizer épinglé de chaque modèle (anglais : prose de Wikipédia et du Project Gutenberg ; arabe : 2,009 phrases FLORES-200 plus trois introductions d’articles Wikipédia ; mesuré le 2026-11-15 ; tokens pour 100 mots = tokens / mots x 100) :
| Texte | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prose anglaise, 1,183 mots | 1,507 → 127.4 | 1,526 → 129.0 | 1,561 → 132.0 | 1,537 → 129.9 | 1,501 → 126.9 |
| Arabe standard (MSA), 39,037 mots | 86,690 → 222.1 | 95,230 → 243.9 | 71,424 → 183.0 | 79,120 → 202.7 | 73,593 → 188.5 |
En anglais, tous sont proches. En arabe, non : GLM 5.3 a besoin de 95,230 / 71,424 = 1.33 fois les tokens dont Qwen3.8 27B a besoin pour le même texte. Avec un prix au token, cet écart est un écart de coût, et il change aussi la quantité d’arabe qui tient dans la fenêtre de contexte. La colonne Gemma utilise le tokenizer de base de Gemma 4 de Google ; le build de BroadNet est basé sur ce modèle, et nous supposons qu’il conserve le tokenizer. Les chiffres complets par modèle, avec téléchargements CSV et JSON, sont dans le jeu de données sur l’efficacité des tokenizers.
Sur BroadNet Inference
BroadNet facture le chat en paiement à l’usage aux tokens d’entrée et de sortie et indique les décomptes dans l’objet usage de chaque réponse : le chiffre qui fait foi est donc celui que renvoie l’API. Pour estimer avant l’envoi, collez votre texte dans le compteur de tokens ou le compteur de tokens arabe, qui chargent les mêmes fichiers de tokenizer épinglés. La mesure complète figure dans tokens par mot en arabe et en anglais.
Erreurs fréquentes
- Compter avec le tokenizer d’un modèle et facturer sur un autre. Utilisez le tokenizer du modèle que vous appelez.
- Oublier le chat template. Les marqueurs de rôle et les prompts système ajoutent des tokens que les décomptes sur texte brut ne voient pas.