BroadRouter

Budget de tokens d’un agent : où partent les tokens d’une boucle

Par l’équipe BroadNet Inference · 5 min de lecture · Publié

Une boucle d’agent renvoie tout son contexte à chaque appel : prompt système, définitions d’outils, historique de conversation, contenu des fichiers et sortie des outils, plus la nouvelle étape. L’entrée dépasse en général largement la sortie. Journalisez prompt_tokens, cached_tokens et completion_tokens par appel, repérez le plus gros bloc répété, puis élaguez les outils, plafonnez leur sortie et relancez les longues sessions.

Un chat coûte ce que vous tapez plus ce qu’écrit le modèle. Un agent coûte bien davantage, car il appelle le modèle des dizaines de fois et renvoie presque tout à chaque fois. Pour réduire ce coût, ou simplement ne plus buter sur la fenêtre de contexte, il faut savoir quelle partie de chaque requête pèse lourd. Cet article découpe une boucle d’agent en cinq postes, montre comment mesurer chacun avec les données d’usage de l’API et indique quoi élaguer en premier.

Pourquoi un agent renvoie-t-il tout ?

Les API de chat completions sont sans état. Le modèle ne retient rien d’un appel à l’autre : l’agent envoie donc le contexte complet à chaque étape. Une tâche de 40 étapes où chaque appel transporte 30 000 tokens lit 1,2 million de tokens d’entrée pour produire peut-être 40 000 tokens de sortie. Ce rapport de 30 pour 1 explique pourquoi les tokens d’entrée et leur prix en cache dominent la facture des agents.

Où partent les tokens ?

Poste Ce que c’est Répété à chaque appel ? Facteur typique
Prompt système Instructions de l’agent, fichiers de règles, notes de projet Oui Longs fichiers de règles
Schémas d’outils Nom, description et JSON Schema de chaque outil Oui Outils intégrés plus chaque serveur MCP
Historique Messages, appels d’outils et résultats précédents Oui, et il grossit Longues sessions
Lectures de fichiers et sortie des outils Contenu des fichiers, logs de tests, résultats de recherche Oui, jusqu’à ce qu’ils soient retirés Lecture de fichiers entiers, commandes verbeuses
Sortie Réponse visible, appels d’outils et raisonnement Non Effort de raisonnement, réécriture de fichiers entiers

Les deux premiers sont un surcoût fixe. Cursor a écrit en septembre 2026 que le prompt système et les définitions d’outils « had become one of the largest sources of spend that we fully control » (traduction : « étaient devenus l’une des plus grosses sources de dépense que nous maîtrisons entièrement »), et a qualifié les lectures de fichiers d’« another large source of token spend » (traduction : « autre grosse source de dépense en tokens »). Ses changements, dont un prompt système réduit d’environ deux tiers et des outils utilisés dans moins de 20 % des conversations chargés seulement en cas de besoin, ont réduit de 7 % le coût en tokens de ses utilisateurs. L’équipe VS Code de GitHub a pointé les deux mêmes coûts pour Copilot : le préfixe de prompt répété et le surcoût des définitions d’outils.

Comment le mesurer ?

Pas besoin d’un produit de tracing. Le bloc usage de chaque réponse suffit.

  1. Activez l’usage. En streaming, ajoutez stream_options: {"include_usage": true} ; l’usage arrive dans le dernier chunk. Voir streaming.
  2. Journalisez par appel : numéro d’étape, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens et, s’il est fourni, completion_tokens_details.reasoning_tokens.
  3. Mesurez une fois le surcoût fixe. Envoyez une requête avec seulement le prompt système, les outils et le mot « hi ». Son prompt_tokens est votre plancher.
  4. Mesurez la sortie d’un outil. Comptez les caractères de chaque résultat d’outil avant de l’ajouter. En divisant par quatre, vous obtenez un nombre approximatif de tokens pour un texte anglais ; collez un échantillon dans le compteur de tokens gratuit pour obtenir le chiffre exact avec le tokenizer de votre modèle.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Tracez prompt_tokens par étape. Une pente régulière signifie que l’historique grossit. Un saut brutal signifie qu’un gros fichier ou un log est entré dans le contexte. Un plancher élevé signifie trop d’outils.

Dans Aider, /tokens indique ce que contient le contexte actuel, et /drop en retire des fichiers.

Que faut-il élaguer en premier ?

Classez par taille multipliée par le nombre de répétitions, pas par facilité :

  1. Les outils inutilisés. Chaque schéma d’outil voyage avec chaque appel. Le guide d’OpenAI indique que les définitions de fonctions « are billed as input tokens » (traduction : « sont facturées comme des tokens d’entrée ») et recommande, comme règle souple, moins de 20 fonctions au début d’un tour. Désactivez les serveurs MCP dont cette tâche n’a pas besoin ; la documentation d’opencode dit clairement que les outils MCP consomment du contexte du modèle.
  2. La sortie des outils. Plafonnez la sortie des commandes (les 200 dernières lignes d’un log de test, pas 20 000). Renvoyez les résultats de recherche sous forme de chemins et de numéros de ligne, puis ne lisez que le nécessaire.
  3. Les lectures de fichiers. Lisez la fonction, pas le fichier. La carte du dépôt d’Aider utilise un budget par défaut de 1k tokens (--map-tokens) au lieu de fichiers entiers.
  4. L’historique. Démarrez une nouvelle tâche par modification. Quand une session doit continuer, remplacez les anciens tours par un court résumé.
  5. Le prompt système. Retirez les règles que le modèle suit déjà. Gardez le reste stable.
  6. La sortie. Demandez des diffs, pas des fichiers entiers. Réglez reasoning_effort sur low pour les étapes de routine. Les tokens de raisonnement sont facturés comme de la sortie.

Pourquoi garder le préfixe stable ?

Les fournisseurs mettent en cache un préfixe répété et le facturent à un tarif réduit. Chez BroadNet Inference, DeepSeek V4.1 Flash facture l’entrée en cache $0.0055 par million de tokens et l’entrée nouvelle $0.175. GLM 5.3 facture $0.173 contre $0.78. Un horodatage dans le prompt système, ou des outils listés dans un ordre différent à chaque appel, casse le cache à partir de cet endroit. Placez les parties stables en premier, dans un ordre fixe, et les parties variables à la fin. Plus de détails dans les tokens d’entrée en cache expliqués ; le calculateur de prompt caching montre ce que fait économiser un taux de hits donné.

Le cache réduit le prix du préfixe, pas sa taille. Les tokens en cache occupent toujours la fenêtre de contexte et prennent toujours du temps à traiter.

À quoi ressemble un budget d’agent chiffré ?

Reprenons la tâche de 40 étapes ci-dessus, avec 80 % de l’entrée en cache :

Partie Tokens Facturée au
Entrée nouvelle 240 000 Prix d’entrée
Entrée en cache 960 000 Prix de l’entrée en cache
Sortie, raisonnement compris 40 000 Prix de sortie

Retirer de chaque appel 5 000 tokens de schémas d’outils inutilisés supprime 200 000 tokens d’entrée sur cette tâche, environ un sixième du total, sans rien changer au comportement de l’agent. Pour les leviers de coût au-delà de l’élagage, comme le choix du modèle, le cache et les forfaits, voir 10 façons de réduire le coût LLM d’un agent de code. Pour les configurations multi-agents, multipliez par le nombre d’agents ; voir ce que coûtent les configurations multi-agents. Pour modéliser votre propre boucle étape par étape, utilisez l’estimateur du coût d’une exécution d’agent.

La place de BroadNet Inference

BroadNet Inference renvoie les tokens de prompt et de complétion dans le bloc usage, plus les tokens en cache et de raisonnement quand le modèle les indique : la mesure ci-dessus fonctionne donc telle quelle. Son prix bas pour l’entrée en cache sur DeepSeek V4.1 Flash récompense un préfixe stable. Si l’élagage ne vaut pas votre temps, les forfaits illimités suppriment le compteur de tokens pour DeepSeek V4.1 Flash à $60 par mois et par session ; la fenêtre de contexte s’applique toujours, et un contexte léger reste plus rapide. Les forfaits sont sur inference.broadnet.ai/plans.

Questions fréquentes

Pourquoi mon agent de code consomme-t-il autant de tokens d’entrée ?

Parce que l’API est sans état. Chaque appel renvoie le prompt système, chaque définition d’outil, la conversation jusque-là et tous les contenus de fichiers encore dans le contexte. Une longue session multiplie cela par le nombre d’étapes.

Comment voir combien de tokens consomme chaque étape de mon agent ?

Lisez le bloc usage de chaque réponse. En streaming, réglez include_usage sur true dans stream_options et lisez le dernier chunk. Journalisez prompt_tokens, prompt_tokens_details.cached_tokens et completion_tokens avec un numéro d’étape.

Les définitions d’outils comptent-elles comme tokens d’entrée ?

Oui. La liste des outils fait partie du prompt et est envoyée à chaque appel. Les serveurs MCP ajoutent leurs outils à cette liste, c’est pourquoi la documentation d’opencode conseille de n’ajouter que les serveurs dont vous avez besoin.

Le prompt caching règle-t-il le problème ?

Il réduit le prix du préfixe répété, pas sa taille. L’entrée en cache occupe toujours la fenêtre de contexte. Chez BroadNet, DeepSeek V4.1 Flash facture l’entrée en cache $0.0055 par million de tokens, contre $0.175 pour l’entrée nouvelle.

Les tokens de raisonnement font-ils partie du budget ?

Oui, côté sortie. Les modèles de raisonnement comptent la réflexion dans max_tokens et la facturent comme de la sortie en paiement à l’usage. Réglez reasoning_effort sur low pour les étapes de routine.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity