Les modèles ne voient ni lettres ni mots. Ils voient une suite d’entiers, chacun représentant un morceau de texte tiré d’un vocabulaire fixe. Ces morceaux sont les tokens.
Comment ça marche
Un tokenizer découpe le texte avant que le modèle ne le lise. La plupart des modèles actuels utilisent des méthodes par sous-mots comme le byte pair encoding (BPE). Les mots courants restent entiers ; les mots rares sont découpés. Exemple de Hugging Face : annoyingly peut devenir annoying et ly.
Le BPE au niveau de l’octet part de 256 valeurs d’octet : n’importe quelle entrée peut donc être encodée, emoji et toutes les écritures compris.
Pour l’anglais, la règle approximative d’OpenAI est d’environ 4 caractères ou 0,75 mot par token, soit à peu près 75 mots pour 100 tokens. Notre propre mesure sur de la prose anglaise avec cinq tokenizers actuels donne environ 129 tokens pour 100 mots, ou 1,290 tokens pour 1 000 mots, proche de la règle approximative. Les deux ratios ne sont que des estimations :
- les autres langues, dont l’arabe, se découpent souvent en plus de tokens par mot sur des tokenizers entraînés surtout sur de l’anglais ;
- le code, les nombres et les espaces se tokenisent différemment de la prose ;
- chaque famille de modèles a son propre vocabulaire.
Pour estimer avant d’envoyer, collez le texte dans le compteur de tokens. L’API indique le nombre réel dans le bloc usage de chaque réponse :
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
Pourquoi c’est important
Les tokens sont l’unité derrière presque tous les chiffres d’une API LLM :
- Prix. Les API au token facturent par million de tokens d’entrée et de sortie, souvent à des tarifs différents.
- Limites. La fenêtre de contexte et
max_tokensse mesurent en tokens, et beaucoup de limites de débit comptent les tokens par minute. - Vitesse. La vitesse de génération s’exprime en tokens par seconde.
Le même texte peut représenter un nombre de tokens différent selon le modèle, surtout en arabe. Le jeu de données sur l’efficacité des tokenizers mesure les tokens pour 100 mots de chaque modèle en anglais, en arabe et en code.
Sur BroadNet Inference
Les modèles de chat sont facturés par million de tokens. Pour DeepSeek V4.1 Flash, l’entrée nouvelle coûte $0.175, l’entrée en cache $0.0055 et la sortie $0.52. BroadNet Gemma 4 VL 26B coûte $0.10 en entrée et $0.22 en sortie. Les tarifs de chaque modèle figurent sur la page des tarifs.
Avec un forfait, les tokens ne sont pas décomptés du tout : une session DeepSeek V4.1 Flash n’a pas de compteur de tokens, et la limite pratique est la vitesse, environ 100 tokens par seconde. Les modèles speech-to-text sont facturés à la minute d’audio, pas au token.
Erreurs fréquentes
- Estimer le coût d’un texte non anglais à partir du nombre de mots. Mesurez plutôt avec
usagesur de vrais échantillons. - Oublier que les modèles de raisonnement dépensent aussi des tokens de sortie pour réfléchir. Voir tokens de raisonnement.