BroadRouter
Commencer

Cache KV (KV cache)

Mis à jour

Le cache KV est la mémoire où un modèle de langage transformer stocke les clés et les valeurs d’attention calculées pour chaque token déjà traité, afin que chaque nouveau token les réutilise au lieu de recalculer toute la séquence. Il grossit avec la longueur du contexte et limite souvent le nombre de requêtes qu’un GPU peut servir.

Aussi appelé : cache KV, KV cache, cache clé-valeur, cache d’attention, mémoire KV, key-value cache, past_key_values, attention cache, KV memory

Chaque fois qu’un modèle écrit un token, il regarde tous les tokens précédents. Le cache KV rend ce retour en arrière peu coûteux.

Comment ça marche

L’attention compare la requête (query) du token courant avec une clé et une valeur pour chaque token précédent. Sans cache, le modèle recalculerait toutes les clés et valeurs précédentes à chaque étape. Le guide de Hugging Face sur le cache résume le compromis : avec un cache, « attention cost per step is linear with sequence length » (traduction : « le coût de l’attention par étape est linéaire en la longueur de la séquence »), tandis que la mémoire « grows linearly » (traduction : « croît linéairement »).

L’inférence comporte donc deux phases :

  1. Prefill. Le modèle lit tout le prompt et remplit le cache. C’est l’essentiel du temps jusqu’au premier token.
  2. Decode. Chaque nouveau token ajoute une clé et une valeur par couche, puis lit tout le cache.

La taille du cache par token vaut à peu près 2 × layers × KV heads × head size × bytes per number. Les concepteurs de modèles s’attaquent à chacun de ces termes. La fiche de DeepSeek V4.1 Flash indique un cache KV global de 890 octets par token, stocké en FP4. Pour le contexte complet de 1 048 576 tokens, cela donne 890 × 1 048 576 = 933 232 640 octets, environ 890 Mio pour une seule requête.

Pourquoi c’est important

  • Concurrence et prix. L’article sur PagedAttention explique que servir de nombreuses requêtes à la fois est limité parce que la mémoire du cache KV « is huge and grows and shrinks dynamically » (traduction : « est énorme, et grossit et rétrécit dynamiquement »). vLLM gère cette mémoire par pages, comme un système d’exploitation, et annonce un débit 2 à 4 fois supérieur à latence égale.
  • Le long contexte n’est pas gratuit. Un fournisseur doit conserver le cache de tout votre prompt pendant la génération. C’est l’une des raisons pour lesquelles les requêtes à long contexte démarrent plus lentement.
  • Le prompt caching s’appuie dessus. Conserver l’état KV d’un préfixe après la fin d’une requête, c’est ce qu’un fournisseur facture comme tokens d’entrée en cache. Les préfixes stables atteignent ce cache plus souvent ; voir structurer ses prompts pour le cache.
  • La quantification s’applique aussi ici. Stocker les clés et les valeurs sur moins de bits réduit le cache, au prix d’un certain risque pour la qualité.

Sur BroadNet Inference

BroadNet ne publie pas la façon dont il gère la mémoire du cache KV. Ce que sa référence d’API documente, c’est l’effet visible : usage.prompt_tokens_details.cached_tokens indique les tokens du prompt lus depuis le cache, facturés au prix de l’entrée en cache, par exemple $0.0055 par million de tokens sur DeepSeek V4.1 Flash, contre $0.175 pour une entrée nouvelle. Ce modèle et GLM 5.3 acceptent jusqu’à 1 048 576 tokens par requête.

Erreurs courantes

  • Voir la longueur du contexte uniquement comme une question de prix. Un cache plus gros signifie aussi un prefill plus lent.
  • Réordonner le prompt système à chaque tour. Le préfixe en cache ne correspond plus, et le fournisseur le recalcule.

Questions fréquentes

Le cache KV est-il la même chose que le prompt caching ?

Pas tout à fait. Le cache KV vit à l’intérieur d’une requête, pendant que le modèle génère. Le prompt caching conserve cet état après la fin de la requête pour qu’une requête ultérieure avec le même préfixe puisse le réutiliser, et les fournisseurs facturent ces tokens comme entrée en cache.

Pourquoi un long prompt consomme-t-il autant de mémoire GPU ?

Chaque token du contexte ajoute ses clés et ses valeurs au cache, dans chaque couche. Un prompt d’un million de tokens garde un million de tokens d’état d’attention en mémoire jusqu’à la fin de la réponse.

Quelle taille fait un cache KV ?

En gros 2 × couches × têtes KV × taille de tête × octets par nombre, pour chaque token du contexte. La fiche de DeepSeek indique 890 octets par token pour DeepSeek V4.1 Flash, soit environ 890 Mio pour son contexte complet de 1 048 576 tokens.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity