L’essentiel de ce qu’un agent envoie à un LLM est identique à chaque tour : le prompt système, les définitions d’outils, les fichiers sur lesquels il travaille et la conversation jusque-là. Seul le dernier message est nouveau. Avec le prompt caching, le fournisseur ne facture pas cette partie répétée au plein tarif.
Qu’est-ce qu’un token d’entrée en cache ?
Chaque requête se compose de tokens d’entrée et de sortie. Avant de pouvoir répondre, un modèle traite tout le prompt. Si une requête précédente commençait exactement par les mêmes tokens, le système de service peut réutiliser ce travail au lieu de le refaire. La partie réutilisée est indiquée comme tokens d’entrée en cache et facturée à un tarif plus bas.
Deux points découlent de ce fonctionnement :
- Seul le préfixe est mis en cache. La comparaison part du premier token et s’arrête à la première différence.
- La réponse n’est jamais mise en cache. Le modèle génère toujours une nouvelle sortie, facturée au plein prix de la sortie.
Combien coûtent les tokens en cache chez BroadNet Inference ?
Par million de tokens, d’après le fichier de prix publié :
| Modèle | Entrée nouvelle | Entrée en cache | Sortie |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Pour DeepSeek V4.1 Flash, l’écart est grand : comparez $0.0055 par million de tokens en cache et $0.175 par million de tokens nouveaux. Pour un agent qui renvoie un dépôt de 200 000 tokens à chaque tour, le taux de cache décide de l’essentiel de la facture.
Combien le cache peut-il faire économiser ? Un exemple chiffré
Un agent de code envoie un prompt de 200 000 tokens 100 fois dans une journée de travail. Cela fait 20 millions de tokens d’entrée par jour.
| Taux de cache | Tokens d’entrée nouveaux | Tokens d’entrée en cache |
|---|---|---|
| 0 % | 20 M à $0.175 par million | 0 |
| 50 % | 10 M à $0.175 par million | 10 M à $0.0055 par million |
| 90 % | 2 M à $0.175 par million | 18 M à $0.0055 par million |
La formule de la facture d’entrée quotidienne est new tokens (M) × input price + cached tokens (M) × cached price (tokens nouveaux en millions × prix de l’entrée + tokens en cache en millions × prix du cache). À 90 %, 18 M des 20 M de tokens d’entrée sont facturés au prix du cache au lieu du plein prix de l’entrée : plus l’écart entre les deux prix est grand, plus l’économie sur la facture d’entrée est importante. La sortie ne change pas. Essayez vos propres chiffres dans le calculateur de prompt caching.
Comment voir les tokens en cache dans la réponse de l’API ?
La référence de l’API de BroadNet indique que, quand le modèle les renvoie, l’objet usage contient prompt_tokens_details.cached_tokens : les tokens du prompt lus depuis le cache, facturés au prix du cache. Dans un flux, demandez l’usage dans le dernier chunk :
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Journalisez ce taux pour chaque requête pendant une journée. Il vous dit ce que vous payez vraiment, et c’est le chiffre à saisir dans le calculateur de prompt caching. Plus de détails sur l’usage en streaming dans le guide du streaming.
En quoi le prompt caching diffère-t-il entre OpenAI, Anthropic et DeepSeek ?
Le cache n’est pas standardisé. Voici ce que disaient les documentations officielles quand nous les avons consultées le 14 novembre 2026 :
| OpenAI | Anthropic | DeepSeek (API directe) | |
|---|---|---|---|
| Activation | Par défaut pour les modèles compatibles | Sur demande, avec un champ cache_control (automatique ou par bloc) |
Par défaut pour tous les utilisateurs |
| Prompt minimum | 1 024 tokens à partir de GPT-5.6 | 512 à 4 096 tokens selon le modèle | Aucun minimum indiqué |
| Durée de vie du cache | 30 minutes par défaut à partir de GPT-5.6 ; option de 12 heures | 5 minutes par défaut, 1 heure moyennant supplément | Au mieux ; vidé quand il n’est pas utilisé, « a few hours to a few days » (traduction : « de quelques heures à quelques jours ») |
| Écritures | 1,25 × l’entrée (30 minutes) ou 2,5 × (12 heures) à partir de GPT-5.6 | 1,25 × l’entrée pour 5 minutes, 2 × pour 1 heure | Aucun coût d’écriture mentionné |
| Lectures | 0,1 × l’entrée à partir de GPT-5.6 (0,05 × sur GPT-6.1 Sol et Terra) | 0,1 × l’entrée sur la plupart des modèles, moins sur certains | Prix « cache hit » distinct (traduction : « succès de cache ») |
| Champ d’usage | cached_tokens dans le détail des tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Sources : guide du prompt caching d’OpenAI, documentation du prompt caching d’Anthropic et documentation du context caching de DeepSeek. Là où l’écriture coûte plus cher, un cache écrit mais jamais lu revient plus cher que pas de cache du tout. Le cache n’est rentable que sur les prompts que vous répétez réellement. Pour comparer les prix catalogue par modèle, voir le tableau des prix des API LLM.
Qu’est-ce qui fait baisser votre taux de cache ?
Les caches comparent un préfixe exact : tout ce qui change au début du prompt rend nouveau le reste. Les causes habituelles :
- un horodatage, un identifiant de requête ou un nom d’utilisateur en haut du prompt système ;
- des définitions d’outils ou du JSON sérialisés avec un ordre de clés différent à chaque appel, ce qui change les tokens ;
- un agent qui réécrit ou résume son historique au lieu de le compléter ;
- de longues pauses, après lesquelles le cache a expiré.
La solution est un ordre fixe des couches (prompt système, outils, documents, historique, nouveau message), chaque couche restant identique à l’octet près d’un appel à l’autre. Notre guide pour structurer ses prompts afin que le préfixe soit mis en cache montre cette organisation en code, avec un test qui prouve que le préfixe est réutilisé.
Quand le cache cesse-t-il de compter ?
Avec un forfait, la facture ne dépend plus du tout des tokens. Full Moon coûte $60 par mois et par session pour DeepSeek V4.1 Flash en illimité. Si votre agent dépasse déjà le seuil de rentabilité, le taux de cache n’est plus un problème de coût. Sur les longs prompts, les habitudes ci-dessus aident encore pour la vitesse : elles valent donc la peine d’être gardées dans tous les cas.
Pourquoi le cache compte-t-il davantage avec un long contexte ?
DeepSeek V4.1 Flash et GLM 5.3 acceptent jusqu’à 1 048 576 tokens par requête. C’est le cache qui rend les prompts très longs abordables avec une clé facturée au token, car la grande partie répétée de la fenêtre de contexte est facturée au tarif du cache. Voir quand une fenêtre de contexte d’un million de tokens vaut la peine.
La place de BroadNet Inference
BroadNet publie un prix d’entrée en cache pour chaque modèle de chat qui en a un et indique les tokens en cache dans l’usage quand le modèle les renvoie : vous pouvez donc mesurer votre taux avant de vous engager. Il ne publie ni durée de vie du cache ni longueur minimale de prompt ; mesurez-les sur votre propre trafic. Si votre agent tourne toute la journée, un forfait règle complètement la question.
