BroadRouter

Tokens d’entrée en cache (cached input tokens)

Mis à jour

Les tokens d’entrée en cache sont des tokens de prompt qu’un fournisseur de LLM a traités récemment et peut réutiliser depuis un cache au lieu de les recalculer, en général un préfixe répété comme un prompt système ou un document. Les fournisseurs les facturent moins cher que les nouveaux tokens d’entrée.

Aussi appelé : entrée en cache, tokens en cache, mise en cache du prompt, prompt caching, hits de cache, cache de contexte, cache hits, cached tokens, context caching, cache read tokens

L’essentiel de ce qu’envoie un agent est identique à chaque tour. Le prompt caching permet au fournisseur de ne pas recalculer cette partie répétée, et de la facturer moins cher.

Comment ça marche

Quand un modèle lit un prompt, il calcule un état interne pour chaque token. Un fournisseur peut conserver cet état un court moment. Si la requête suivante commence par les mêmes tokens, le fournisseur lit l’état stocké au lieu de le recalculer. Ces tokens sont des tokens d’entrée en cache.

Les caches comparent à partir du début du prompt. Le guide d’OpenAI indique que la réutilisation « requires the entire rendered prefix to match » (traduction : « exige que tout le préfixe rendu soit identique »). Un seul caractère modifié tôt dans le prompt transforme tout ce qui suit en entrée nouvelle.

Les fournisseurs diffèrent sur les détails :

  • OpenAI active la mise en cache par défaut sur les modèles compatibles et indique les hits dans le bloc usage. Il documente un préfixe minimal de 1 024 tokens sur ses modèles récents.
  • Anthropic facture les lectures de cache à 0,1 fois le prix d’entrée de base pour la plupart des modèles, facture les écritures de cache avec une majoration, et conserve les entrées 5 minutes par défaut.

Dans le format Chat Completions, les hits apparaissent dans usage.prompt_tokens_details.cached_tokens. Le taux de cache est ce nombre divisé par prompt_tokens.

Pourquoi c’est important

Pour des prompts longs et répétés, le taux de cache décide de la facture. Un agent qui renvoie un dépôt de 200 000 tokens à chaque tour paie une fois le prix d’entrée plein, puis le prix du cache, tant que le préfixe reste stable. La mise en cache peut aussi raccourcir le délai avant le premier token sur les longs prompts, car il y a moins de travail avant le début de la génération.

Pour augmenter le taux, placez le contenu stable en premier (prompt système, définitions d’outils, documents) et le contenu variable à la fin. Gardez les horodatages et les ID de requête hors du début du prompt, et conservez un ordre fixe pour la liste d’outils. La part des prix publiés qui incluent un prix d’entrée en cache, et la remise typique, figurent dans l’index des prix des API LLM.

Sur BroadNet Inference

BroadNet publie des prix d’entrée en cache pour trois modèles de chat, par million de tokens :

Modèle Entrée nouvelle Entrée en cache
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Les tokens en cache sont automatiquement facturés au prix réduit, et prompt_tokens_details.cached_tokens les indique quand le modèle les fournit. En streaming, demandez l’usage avec stream_options, comme le montre le guide du streaming.

Avec un forfait, il n’y a pas de compteur de tokens : le taux de cache ne change donc pas la facture. Le guide complet, avec du code pour journaliser votre taux, se trouve dans les tokens d’entrée en cache expliqués.

Questions fréquentes

Les tokens en cache comptent-ils toujours dans la fenêtre de contexte ?

Oui. La mise en cache change ce que vous payez pour ces tokens, pas le fait qu’ils comptent. La documentation d’Anthropic le dit explicitement.

Combien de temps dure un cache ?

Cela dépend du fournisseur. Chez Anthropic, la durée de vie par défaut est de 5 minutes, renouvelée à chaque utilisation du cache, avec une option d’une heure. D’autres fournisseurs ne publient pas toujours de durée fixe : mesurez votre taux de hits.

La mise en cache change-t-elle la réponse ?

Non. Le cache conserve le travail effectué sur le prompt, pas la réponse. Le modèle génère toujours une nouvelle réponse.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity