La taille du vocabulaire indique combien de morceaux de texte différents un modèle peut représenter avec un seul token.
Comment ça marche
Le vocabulaire d’un tokenizer BPE se compose de ses symboles de base plus chaque fusion (merge) apprise. La documentation de Hugging Face prend l’exemple du GPT original : 478 tokens de base + 40 000 fusions = 40 478. Le concepteur choisit la taille cible avant l’entraînement.
Nous avons lu les vocabulaires dans le tokenizer.json épinglé de chaque modèle sur Hugging Face le 2026-11-14 :
| Tokenizer | Entrées du vocabulaire | Total des identifiants, tokens spéciaux compris |
|---|---|---|
| DeepSeek V4.1 Flash | 128 000 | 129 280 |
| GLM 5.3 | 154 820 | 154 856 |
| Qwen3.8 27B | 248 044 | 248 077 |
| Gemma 4 26B A4B (base Google) | 262 144 | 262 144 |
| OpenAI o200k_base (référence) | 199 998 | 200 019 |
La fiche de Gemma 4 annonce un vocabulaire de 262K, ce qui concorde. La fiche de Qwen3.8 indique une taille d’embedding de 248 320 « padded » (traduction : « complétée »), supérieure aux 248 077 identifiants réellement utilisés.
Pourquoi c’est important
Pour un utilisateur d’API, la taille du vocabulaire n’est qu’un indice indirect du coût par mot. Ce qui compte, c’est le texte sur lequel les fusions ont été apprises. Comparez les tokens pour 100 mots sur les mêmes 39,037 mots d’arabe standard moderne de notre jeu de données sur les tokenizers :
- DeepSeek V4.1 Flash, 128 000 entrées : 86,690 / 39,037 x 100 = 222.1
- GLM 5.3, 154 820 entrées : 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B, 248 044 entrées : 71,424 / 39,037 x 100 = 183.0
- Gemma 4, 262 144 entrées : 79,120 / 39,037 x 100 = 202.7
GLM 5.3 a plus d’entrées que DeepSeek mais utilise plus de tokens sur ce texte. Gemma a le plus d’entrées mais n’est pas le plus compact. Pour de la prose anglaise, les cinq se situent entre 127 et 132 tokens pour 100 mots : la taille du vocabulaire y compte à peine.
La règle : mesurez votre propre texte avec le tokenizer du modèle plutôt que de déduire le coût du chiffre du vocabulaire.
Sur BroadNet Inference
BroadNet ne publie pas de tailles de vocabulaire ; les chiffres ci-dessus viennent des dépôts publics des modèles. La ligne Gemma utilise le tokenizer de base de Google, que le build Gemma 4 VL 26B de BroadNet conserve selon notre hypothèse. Pour voir l’effet sur vos propres prompts, utilisez le compteur de tokens, et pour choisir un modèle en arabe, lisez choisir un LLM pour l’arabe avec l’étude sur les tokens par mot.