BroadRouter
Inizia

KV cache (cache chiave-valore)

Aggiornato

La KV cache è la memoria in cui un modello linguistico transformer conserva le chiavi e i valori di attenzione calcolati per ogni token già elaborato, così ogni nuovo token li riusa invece di ricalcolare l’intera sequenza. Cresce con la lunghezza del contesto e spesso limita quante richieste una GPU può servire.

Detto anche: KV cache, cache chiave-valore, cache KV, cache dell’attenzione, memoria KV, key-value cache, past_key_values, attention cache, KV memory

Ogni volta che un modello scrive un token, riguarda tutti i token precedenti. La KV cache è ciò che rende economico questo sguardo all’indietro.

Come funziona

L’attenzione confronta la query del token corrente con una chiave e un valore per ogni token precedente. Senza cache, il modello ricalcolerebbe a ogni passo tutte le chiavi e i valori precedenti. La guida al caching di Hugging Face riassume il compromesso: con una cache, “attention cost per step is linear with sequence length” (traduzione: il costo dell’attenzione per passo è lineare nella lunghezza della sequenza), mentre la memoria “grows linearly” (traduzione: cresce linearmente).

L’inferenza ha quindi due fasi:

  1. Prefill. Il modello legge l’intero prompt e riempie la cache. È la parte principale del time to first token.
  2. Decode. Ogni nuovo token aggiunge una chiave e un valore per layer, poi legge l’intera cache.

La dimensione della cache per token è circa 2 × layers × KV heads × head size × bytes per number. Chi progetta i modelli interviene su ogni fattore. La scheda di DeepSeek per DeepSeek V4.1 Flash riporta una KV cache globale di 890 byte per token, con memorizzazione in FP4. Al contesto completo di 1.048.576 token fanno 890 × 1.048.576 = 933.232.640 byte, circa 890 MiB per una sola richiesta.

Perché è importante

  • Concorrenza e prezzo. L’articolo su PagedAttention dice che servire molte richieste insieme è limitato perché la memoria della KV cache “is huge and grows and shrinks dynamically” (traduzione: è enorme e cresce e si riduce dinamicamente). vLLM gestisce quella memoria a pagine, come un sistema operativo, e riporta un throughput da 2 a 4 volte più alto a parità di latenza.
  • Il contesto lungo non è gratis. Un provider deve tenere la cache di tutto il tuo prompt mentre genera. È uno dei motivi per cui le richieste a contesto lungo partono più lentamente.
  • Il prompt caching si basa su di essa. Conservare lo stato KV di un prefisso dopo la fine di una richiesta è ciò che un provider fattura come token di input in cache. I prefissi stabili colpiscono quella cache più spesso; vedi struttura del prompt per il caching.
  • Anche qui vale la quantizzazione. Salvare chiavi e valori con meno bit rimpicciolisce la cache, con qualche rischio per la qualità.

Su BroadNet Inference

BroadNet non pubblica come gestisce la memoria della KV cache. Il suo riferimento API documenta però l’effetto visibile: usage.prompt_tokens_details.cached_tokens riporta i token del prompt letti dalla cache, fatturati al prezzo dell’input in cache, per esempio $0.0055 per 1M di token su DeepSeek V4.1 Flash contro $0.175 per l’input nuovo. Quel modello e GLM 5.3 accettano fino a 1.048.576 token per richiesta.

Errori comuni

  • Considerare la lunghezza del contesto solo una questione di prezzo. Una cache più grande significa anche un prefill più lento.
  • Riordinare il system prompt a ogni turno. Il prefisso in cache non corrisponde più, quindi il provider lo ricalcola.

Domande frequenti

La KV cache è la stessa cosa del prompt caching?

Non esattamente. La KV cache vive dentro una singola richiesta mentre il modello genera. Il prompt caching conserva quello stato dopo la fine della richiesta, così una richiesta successiva con lo stesso prefisso può riusarlo, e i provider fatturano quei token come input in cache.

Perché un prompt lungo usa così tanta memoria GPU?

Ogni token del contesto aggiunge le sue chiavi e i suoi valori alla cache, in ogni layer. Un prompt da un milione di token tiene in memoria lo stato di attenzione di un milione di token finché la risposta non è finita.

Quanto è grande una KV cache?

Circa 2 × layer × head KV × dimensione della head × byte per numero, per ogni token del contesto. La scheda di DeepSeek riporta 890 byte per token per DeepSeek V4.1 Flash, circa 890 MiB con il contesto completo da 1.048.576 token.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity