BroadRouter

Tokens d’entrée en cache : réduire la facture d’une API LLM

Par l’équipe BroadNet Inference · 5 min de lecture · Publié · Mis à jour

Les tokens d’entrée en cache sont des tokens de prompt que le fournisseur a déjà traités et peut réutiliser ; ils sont donc facturés à un tarif plus bas. Chez BroadNet Inference, DeepSeek V4.1 Flash facture l’entrée en cache $0.0055 par million de tokens, contre $0.175 pour l’entrée nouvelle. Pour obtenir la remise, placez la partie stable de chaque prompt en tête et gardez-la identique d’un appel à l’autre.

L’essentiel de ce qu’un agent envoie à un LLM est identique à chaque tour : le prompt système, les définitions d’outils, les fichiers sur lesquels il travaille et la conversation jusque-là. Seul le dernier message est nouveau. Avec le prompt caching, le fournisseur ne facture pas cette partie répétée au plein tarif.

Qu’est-ce qu’un token d’entrée en cache ?

Chaque requête se compose de tokens d’entrée et de sortie. Avant de pouvoir répondre, un modèle traite tout le prompt. Si une requête précédente commençait exactement par les mêmes tokens, le système de service peut réutiliser ce travail au lieu de le refaire. La partie réutilisée est indiquée comme tokens d’entrée en cache et facturée à un tarif plus bas.

Deux points découlent de ce fonctionnement :

  • Seul le préfixe est mis en cache. La comparaison part du premier token et s’arrête à la première différence.
  • La réponse n’est jamais mise en cache. Le modèle génère toujours une nouvelle sortie, facturée au plein prix de la sortie.

Combien coûtent les tokens en cache chez BroadNet Inference ?

Par million de tokens, d’après le fichier de prix publié :

Modèle Entrée nouvelle Entrée en cache Sortie
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Pour DeepSeek V4.1 Flash, l’écart est grand : comparez $0.0055 par million de tokens en cache et $0.175 par million de tokens nouveaux. Pour un agent qui renvoie un dépôt de 200 000 tokens à chaque tour, le taux de cache décide de l’essentiel de la facture.

Combien le cache peut-il faire économiser ? Un exemple chiffré

Un agent de code envoie un prompt de 200 000 tokens 100 fois dans une journée de travail. Cela fait 20 millions de tokens d’entrée par jour.

Taux de cache Tokens d’entrée nouveaux Tokens d’entrée en cache
0 % 20 M à $0.175 par million 0
50 % 10 M à $0.175 par million 10 M à $0.0055 par million
90 % 2 M à $0.175 par million 18 M à $0.0055 par million

La formule de la facture d’entrée quotidienne est new tokens (M) × input price + cached tokens (M) × cached price (tokens nouveaux en millions × prix de l’entrée + tokens en cache en millions × prix du cache). À 90 %, 18 M des 20 M de tokens d’entrée sont facturés au prix du cache au lieu du plein prix de l’entrée : plus l’écart entre les deux prix est grand, plus l’économie sur la facture d’entrée est importante. La sortie ne change pas. Essayez vos propres chiffres dans le calculateur de prompt caching.

Comment voir les tokens en cache dans la réponse de l’API ?

La référence de l’API de BroadNet indique que, quand le modèle les renvoie, l’objet usage contient prompt_tokens_details.cached_tokens : les tokens du prompt lus depuis le cache, facturés au prix du cache. Dans un flux, demandez l’usage dans le dernier chunk :

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Journalisez ce taux pour chaque requête pendant une journée. Il vous dit ce que vous payez vraiment, et c’est le chiffre à saisir dans le calculateur de prompt caching. Plus de détails sur l’usage en streaming dans le guide du streaming.

En quoi le prompt caching diffère-t-il entre OpenAI, Anthropic et DeepSeek ?

Le cache n’est pas standardisé. Voici ce que disaient les documentations officielles quand nous les avons consultées le 14 novembre 2026 :

OpenAI Anthropic DeepSeek (API directe)
Activation Par défaut pour les modèles compatibles Sur demande, avec un champ cache_control (automatique ou par bloc) Par défaut pour tous les utilisateurs
Prompt minimum 1 024 tokens à partir de GPT-5.6 512 à 4 096 tokens selon le modèle Aucun minimum indiqué
Durée de vie du cache 30 minutes par défaut à partir de GPT-5.6 ; option de 12 heures 5 minutes par défaut, 1 heure moyennant supplément Au mieux ; vidé quand il n’est pas utilisé, « a few hours to a few days » (traduction : « de quelques heures à quelques jours »)
Écritures 1,25 × l’entrée (30 minutes) ou 2,5 × (12 heures) à partir de GPT-5.6 1,25 × l’entrée pour 5 minutes, 2 × pour 1 heure Aucun coût d’écriture mentionné
Lectures 0,1 × l’entrée à partir de GPT-5.6 (0,05 × sur GPT-6.1 Sol et Terra) 0,1 × l’entrée sur la plupart des modèles, moins sur certains Prix « cache hit » distinct (traduction : « succès de cache »)
Champ d’usage cached_tokens dans le détail des tokens cache_read_input_tokens prompt_cache_hit_tokens

Sources : guide du prompt caching d’OpenAI, documentation du prompt caching d’Anthropic et documentation du context caching de DeepSeek. Là où l’écriture coûte plus cher, un cache écrit mais jamais lu revient plus cher que pas de cache du tout. Le cache n’est rentable que sur les prompts que vous répétez réellement. Pour comparer les prix catalogue par modèle, voir le tableau des prix des API LLM.

Qu’est-ce qui fait baisser votre taux de cache ?

Les caches comparent un préfixe exact : tout ce qui change au début du prompt rend nouveau le reste. Les causes habituelles :

  • un horodatage, un identifiant de requête ou un nom d’utilisateur en haut du prompt système ;
  • des définitions d’outils ou du JSON sérialisés avec un ordre de clés différent à chaque appel, ce qui change les tokens ;
  • un agent qui réécrit ou résume son historique au lieu de le compléter ;
  • de longues pauses, après lesquelles le cache a expiré.

La solution est un ordre fixe des couches (prompt système, outils, documents, historique, nouveau message), chaque couche restant identique à l’octet près d’un appel à l’autre. Notre guide pour structurer ses prompts afin que le préfixe soit mis en cache montre cette organisation en code, avec un test qui prouve que le préfixe est réutilisé.

Quand le cache cesse-t-il de compter ?

Avec un forfait, la facture ne dépend plus du tout des tokens. Full Moon coûte $60 par mois et par session pour DeepSeek V4.1 Flash en illimité. Si votre agent dépasse déjà le seuil de rentabilité, le taux de cache n’est plus un problème de coût. Sur les longs prompts, les habitudes ci-dessus aident encore pour la vitesse : elles valent donc la peine d’être gardées dans tous les cas.

Pourquoi le cache compte-t-il davantage avec un long contexte ?

DeepSeek V4.1 Flash et GLM 5.3 acceptent jusqu’à 1 048 576 tokens par requête. C’est le cache qui rend les prompts très longs abordables avec une clé facturée au token, car la grande partie répétée de la fenêtre de contexte est facturée au tarif du cache. Voir quand une fenêtre de contexte d’un million de tokens vaut la peine.

La place de BroadNet Inference

BroadNet publie un prix d’entrée en cache pour chaque modèle de chat qui en a un et indique les tokens en cache dans l’usage quand le modèle les renvoie : vous pouvez donc mesurer votre taux avant de vous engager. Il ne publie ni durée de vie du cache ni longueur minimale de prompt ; mesurez-les sur votre propre trafic. Si votre agent tourne toute la journée, un forfait règle complètement la question.

Questions fréquentes

Faut-il activer le prompt caching ?

Cela dépend du fournisseur. OpenAI et DeepSeek mettent en cache automatiquement ; Anthropic demande un champ cache_control. Chez BroadNet Inference, regardez le bloc usage : quand le modèle indique des tokens en cache, ils apparaissent dans prompt_tokens_details.cached_tokens et sont facturés au prix de l’entrée en cache.

Comment vérifier que le prompt caching fonctionne ?

Demandez l’usage à chaque requête et calculez cached_tokens divisé par prompt_tokens. Un taux proche de zéro au deuxième appel d’un long prompt répété signifie que quelque chose change au début du prompt d’un appel à l’autre.

Pourquoi mon taux de cache est-il faible ?

En général parce que quelque chose change au début du prompt à chaque appel, comme un horodatage, un identifiant de requête ou une liste d’outils réordonnée. Déplacez le contenu variable à la fin.

Quelle est la différence entre prompt caching et cache de réponses ?

Le prompt caching réutilise le travail du fournisseur sur un préfixe de prompt répété, et le modèle écrit tout de même une nouvelle réponse. Le cache de réponses, c’est vous qui le construisez : vous stockez des réponses entières et les renvoyez pour des questions identiques sans appeler le modèle.

Les tokens en cache sont-ils gratuits ?

Non. Ils sont facturés à un tarif plus bas, pas à zéro. Sur DeepSeek V4.1 Flash, l’entrée en cache coûte $0.0055 par million de tokens, et la sortie est facturée plein tarif.

Le cache compte-t-il avec un forfait illimité ?

Pas pour la facture, car les sessions de forfait n’ont pas de compteur de tokens. Dans beaucoup de systèmes de service, il réduit tout de même le délai avant le premier token sur les longs prompts, donc les mêmes habitudes restent utiles.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity