BroadRouter
Commencer

Tokenizer (tokeniseur)

Mis à jour

Un tokenizer est le composant qui convertit un texte en la suite d’ID entiers de tokens que lit un modèle de langage, et reconvertit les ID générés en texte. Chaque modèle a son propre tokenizer : un même texte peut donc produire un nombre de tokens différent selon le modèle.

Aussi appelé : tokenizer, tokeniseur, tokenisation, tokenizer LLM, tokenizer en sous-mots, LLM tokenizer, tokenizer.json, subword tokenizer, text tokenizer

Un tokenizer décide en combien de tokens se transforme votre texte, et donc quelle part de la fenêtre de contexte et de la facture il consomme.

Comment ça marche

Un tokenizer a deux parties : un vocabulaire fixe qui associe des fragments de texte à des ID entiers, et des règles pour découper le texte en ces fragments. La documentation de Hugging Face décrit les algorithmes courants comme des méthodes en sous-mots : les mots fréquents restent entiers et les mots rares se découpent en fragments connus plus petits, si bien que « annoyingly » peut devenir « annoying » + « ly ». La plupart des LLM actuels utilisent le byte pair encoding ou une variante.

L’encodage se fait en trois étapes :

  1. Pré-tokenisation. Découper sur les espaces, la ponctuation et les chiffres.
  2. Associer les fragments à des ID. Appliquer les fusions apprises et chercher chaque fragment dans le vocabulaire.
  3. Ajouter les tokens spéciaux. Le chat template entoure les messages de marqueurs de rôle, qui comptent aussi.

Le décodage inverse l’étape 2. Pour les modèles open-weight, tout cela se trouve dans un fichier tokenizer.json du dépôt du modèle.

Pourquoi c’est important

Des tokenizers différents donnent des décomptes différents pour un même texte. Nous avons encodé les textes du jeu de données avec le tokenizer épinglé de chaque modèle (anglais : prose de Wikipédia et du Project Gutenberg ; arabe : 2,009 phrases FLORES-200 plus trois introductions d’articles Wikipédia ; mesuré le 2026-11-15 ; tokens pour 100 mots = tokens / mots x 100) :

Texte DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prose anglaise, 1,183 mots 1,507 → 127.4 1,526 → 129.0 1,561 → 132.0 1,537 → 129.9 1,501 → 126.9
Arabe standard (MSA), 39,037 mots 86,690 → 222.1 95,230 → 243.9 71,424 → 183.0 79,120 → 202.7 73,593 → 188.5

En anglais, tous sont proches. En arabe, non : GLM 5.3 a besoin de 95,230 / 71,424 = 1.33 fois les tokens dont Qwen3.8 27B a besoin pour le même texte. Avec un prix au token, cet écart est un écart de coût, et il change aussi la quantité d’arabe qui tient dans la fenêtre de contexte. La colonne Gemma utilise le tokenizer de base de Gemma 4 de Google ; le build de BroadNet est basé sur ce modèle, et nous supposons qu’il conserve le tokenizer. Les chiffres complets par modèle, avec téléchargements CSV et JSON, sont dans le jeu de données sur l’efficacité des tokenizers.

Sur BroadNet Inference

BroadNet facture le chat en paiement à l’usage aux tokens d’entrée et de sortie et indique les décomptes dans l’objet usage de chaque réponse : le chiffre qui fait foi est donc celui que renvoie l’API. Pour estimer avant l’envoi, collez votre texte dans le compteur de tokens ou le compteur de tokens arabe, qui chargent les mêmes fichiers de tokenizer épinglés. La mesure complète figure dans tokens par mot en arabe et en anglais.

Erreurs fréquentes

  • Compter avec le tokenizer d’un modèle et facturer sur un autre. Utilisez le tokenizer du modèle que vous appelez.
  • Oublier le chat template. Les marqueurs de rôle et les prompts système ajoutent des tokens que les décomptes sur texte brut ne voient pas.

Questions fréquentes

Tous les LLM utilisent-ils le même tokenizer ?

Non. Chaque famille de modèles entraîne le sien, avec son propre vocabulaire. Dans notre jeu de données de tokenizers, les mêmes 39,037 mots d’arabe faisaient 71,424 tokens sur Qwen3.8 27B et 95,230 sur GLM 5.3.

Où trouver le tokenizer d’un modèle ?

Pour les modèles open-weight, c’est le fichier tokenizer.json du dépôt Hugging Face du modèle. Chargez-le avec la bibliothèque tokenizers de Hugging Face pour compter les tokens exactement.

Un tokenizer, est-ce la même chose que la tokenisation ?

La tokenisation est le processus de découpage d’un texte en tokens. Le tokenizer est le fichier et le code qui la réalisent pour un modèle précis.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity