Ogni volta che un modello scrive un token, riguarda tutti i token precedenti. La KV cache è ciò che rende economico questo sguardo all’indietro.
Come funziona
L’attenzione confronta la query del token corrente con una chiave e un valore per ogni token precedente. Senza cache, il modello ricalcolerebbe a ogni passo tutte le chiavi e i valori precedenti. La guida al caching di Hugging Face riassume il compromesso: con una cache, “attention cost per step is linear with sequence length” (traduzione: il costo dell’attenzione per passo è lineare nella lunghezza della sequenza), mentre la memoria “grows linearly” (traduzione: cresce linearmente).
L’inferenza ha quindi due fasi:
- Prefill. Il modello legge l’intero prompt e riempie la cache. È la parte principale del time to first token.
- Decode. Ogni nuovo token aggiunge una chiave e un valore per layer, poi legge l’intera cache.
La dimensione della cache per token è circa 2 × layers × KV heads × head size × bytes per number. Chi progetta i modelli interviene su ogni fattore. La scheda di DeepSeek per DeepSeek V4.1 Flash riporta una KV cache globale di 890 byte per token, con memorizzazione in FP4. Al contesto completo di 1.048.576 token fanno 890 × 1.048.576 = 933.232.640 byte, circa 890 MiB per una sola richiesta.
Perché è importante
- Concorrenza e prezzo. L’articolo su PagedAttention dice che servire molte richieste insieme è limitato perché la memoria della KV cache “is huge and grows and shrinks dynamically” (traduzione: è enorme e cresce e si riduce dinamicamente). vLLM gestisce quella memoria a pagine, come un sistema operativo, e riporta un throughput da 2 a 4 volte più alto a parità di latenza.
- Il contesto lungo non è gratis. Un provider deve tenere la cache di tutto il tuo prompt mentre genera. È uno dei motivi per cui le richieste a contesto lungo partono più lentamente.
- Il prompt caching si basa su di essa. Conservare lo stato KV di un prefisso dopo la fine di una richiesta è ciò che un provider fattura come token di input in cache. I prefissi stabili colpiscono quella cache più spesso; vedi struttura del prompt per il caching.
- Anche qui vale la quantizzazione. Salvare chiavi e valori con meno bit rimpicciolisce la cache, con qualche rischio per la qualità.
Su BroadNet Inference
BroadNet non pubblica come gestisce la memoria della KV cache. Il suo riferimento API documenta però l’effetto visibile: usage.prompt_tokens_details.cached_tokens riporta i token del prompt letti dalla cache, fatturati al prezzo dell’input in cache, per esempio $0.0055 per 1M di token su DeepSeek V4.1 Flash contro $0.175 per l’input nuovo. Quel modello e GLM 5.3 accettano fino a 1.048.576 token per richiesta.
Errori comuni
- Considerare la lunghezza del contesto solo una questione di prezzo. Una cache più grande significa anche un prefill più lento.
- Riordinare il system prompt a ogni turno. Il prefisso in cache non corrisponde più, quindi il provider lo ricalcola.