Un prompt, vous l’écrivez une fois. Le contexte, c’est tout ce que le modèle voit à chaque tour, et dans un agent il change à chaque tour.
Comment ça marche
L’article d’ingénierie d’Anthropic décrit le context engineering comme « the set of strategies for curating and maintaining the optimal set of tokens » (traduction : « l’ensemble des stratégies pour sélectionner et entretenir l’ensemble optimal de tokens ») pendant l’inférence, y compris les informations au-delà du prompt. Il fixe comme objectif de trouver le « smallest possible set of high-signal tokens » (traduction : « plus petit ensemble possible de tokens à fort signal ») qui rend le résultat voulu probable.
La raison : l’attention est limitée. Selon l’article, les modèles ont un « attention budget » (traduction : « budget d’attention »), et le rappel baisse quand le contexte grandit, ce qu’il appelle context rot. La position compte aussi : les faits situés au milieu d’un long prompt sont plus faciles à manquer (lost in the middle).
L’article cite plusieurs techniques pour les agents qui tournent longtemps :
| Technique | Ce qu’elle fait |
|---|---|
| Compaction | Résumer l’historique à l’approche de la limite et repartir du résumé |
| Nettoyage des résultats d’outils | Retirer de l’historique les anciennes sorties brutes des outils |
| Prise de notes structurée | L’agent écrit des notes dans un fichier hors du contexte et les relit plus tard |
| Sous-agents | Faire un travail ciblé dans un contexte vierge et renvoyer un court résumé |
| Récupération juste-à-temps | Garder des références (chemins de fichiers, requêtes) et ne charger les données qu’au besoin |
Un exemple chiffré du budget d’un tour dans un agent de code :
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
Pourquoi c’est important
- Qualité. Moins de bruit dans le contexte signifie en général de meilleures réponses et moins d’instructions oubliées.
- Coût. Avec une facturation au token, chaque token du contexte est facturé à chaque tour. Le contenu stable placé en tête coûte moins cher en entrée en cache ; voir structurer son prompt pour le cache.
- Durée d’exécution. Une bonne gestion du contexte permet à un agent de travailler des heures sans atteindre la fenêtre de contexte.
Sur BroadNet Inference
Le context engineering se fait dans votre code : l’API Chat Completions de BroadNet reçoit la liste de messages que vous envoyez, telle quelle. DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens, Qwen3.8 27B 262 144 et Gemma 4 VL 26B 32K : un contexte resserré compte donc surtout sur Gemma.
Quand le modèle les renvoie, usage.prompt_tokens_details.cached_tokens indique les tokens lus depuis le cache, facturés au prix de l’entrée en cache avec une clé à l’usage. La gestion du contexte pour les agents de longue durée donne cinq règles pratiques, et l’article sur le budget de tokens d’un agent montre où partent les tokens d’un agent.