BroadRouter
Commencer

Token

Mis à jour

Un token est l’unité de texte qu’un modèle de langage lit et écrit : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets produite par le tokenizer du modèle. Les API LLM comptent, limitent et facturent généralement l’usage en tokens.

Aussi appelé : tokens, jeton, jetons, token LLM, tokenisation, nombre de tokens, LLM token, tokenization

Les modèles ne voient ni lettres ni mots. Ils voient une suite d’entiers, chacun représentant un morceau de texte tiré d’un vocabulaire fixe. Ces morceaux sont les tokens.

Comment ça marche

Un tokenizer découpe le texte avant que le modèle ne le lise. La plupart des modèles actuels utilisent des méthodes par sous-mots comme le byte pair encoding (BPE). Les mots courants restent entiers ; les mots rares sont découpés. Exemple de Hugging Face : annoyingly peut devenir annoying et ly.

Le BPE au niveau de l’octet part de 256 valeurs d’octet : n’importe quelle entrée peut donc être encodée, emoji et toutes les écritures compris.

Pour l’anglais, la règle approximative d’OpenAI est d’environ 4 caractères ou 0,75 mot par token, soit à peu près 75 mots pour 100 tokens. Notre propre mesure sur de la prose anglaise avec cinq tokenizers actuels donne environ 129 tokens pour 100 mots, ou 1,290 tokens pour 1 000 mots, proche de la règle approximative. Les deux ratios ne sont que des estimations :

  • les autres langues, dont l’arabe, se découpent souvent en plus de tokens par mot sur des tokenizers entraînés surtout sur de l’anglais ;
  • le code, les nombres et les espaces se tokenisent différemment de la prose ;
  • chaque famille de modèles a son propre vocabulaire.

Pour estimer avant d’envoyer, collez le texte dans le compteur de tokens. L’API indique le nombre réel dans le bloc usage de chaque réponse :

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

Pourquoi c’est important

Les tokens sont l’unité derrière presque tous les chiffres d’une API LLM :

Le même texte peut représenter un nombre de tokens différent selon le modèle, surtout en arabe. Le jeu de données sur l’efficacité des tokenizers mesure les tokens pour 100 mots de chaque modèle en anglais, en arabe et en code.

Sur BroadNet Inference

Les modèles de chat sont facturés par million de tokens. Pour DeepSeek V4.1 Flash, l’entrée nouvelle coûte $0.175, l’entrée en cache $0.0055 et la sortie $0.52. BroadNet Gemma 4 VL 26B coûte $0.10 en entrée et $0.22 en sortie. Les tarifs de chaque modèle figurent sur la page des tarifs.

Avec un forfait, les tokens ne sont pas décomptés du tout : une session DeepSeek V4.1 Flash n’a pas de compteur de tokens, et la limite pratique est la vitesse, environ 100 tokens par seconde. Les modèles speech-to-text sont facturés à la minute d’audio, pas au token.

Erreurs fréquentes

  • Estimer le coût d’un texte non anglais à partir du nombre de mots. Mesurez plutôt avec usage sur de vrais échantillons.
  • Oublier que les modèles de raisonnement dépensent aussi des tokens de sortie pour réfléchir. Voir tokens de raisonnement.

Questions fréquentes

Combien de mots font 1 000 tokens ?

Pour de la prose anglaise, environ 775 mots selon la mesure de BroadRouter sur cinq tokenizers (1 000 mots anglais ont donné environ 1,290 tokens). La règle approximative d’OpenAI, un token vaut environ trois quarts de mot, donne 750. Les autres langues, le code et les tokenizers d’autres modèles donnent des ratios différents : comptez avec le tokenizer du modèle quand la précision compte.

Les images et l’audio comptent-ils comme des tokens ?

Les images envoyées à un modèle de vision sont converties en tokens d’entrée, et les grandes images en consomment généralement plus. Les API speech-to-text sont souvent facturées à la minute d’audio plutôt qu’au token.

Pourquoi le même texte ne donne-t-il pas le même nombre de tokens sur deux modèles ?

Chaque famille de modèles a son propre tokenizer et son propre vocabulaire : une même phrase peut donc être découpée en un nombre de morceaux différent.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity