Cada vez que un modelo escribe un token, vuelve a mirar todos los tokens anteriores. La caché KV es lo que hace barata esa mirada atrás.
Cómo funciona
La atención compara la query del token actual con una key y un value de cada token anterior. Sin caché, el modelo recalcularía en cada paso todas las keys y values anteriores. La guía de caché de Hugging Face resume el compromiso: con caché, “attention cost per step is linear with sequence length” (traducción: el costo de atención por paso es lineal con la longitud de la secuencia), mientras que la memoria “grows linearly” (traducción: crece linealmente).
Así, la inferencia tiene dos fases:
- Prefill. El modelo lee todo el prompt y llena la caché. Es la mayor parte del tiempo hasta el primer token.
- Decode. Cada token nuevo añade una key y un value por capa y luego lee toda la caché.
El tamaño de la caché por token es aproximadamente 2 × layers × KV heads × head size × bytes per number. Los diseñadores de modelos atacan cada término. La ficha de DeepSeek para DeepSeek V4.1 Flash indica una caché KV global de 890 bytes por token, con almacenamiento en FP4. Con el contexto completo de 1,048,576 tokens, eso son 890 × 1,048,576 = 933,232,640 bytes, unos 890 MiB para una sola solicitud.
Por qué importa
- Concurrencia y precio. El artículo de PagedAttention dice que atender muchas solicitudes a la vez está limitado porque la memoria de la caché KV “is huge and grows and shrinks dynamically” (traducción: es enorme y crece y se reduce dinámicamente). vLLM pagina esa memoria como un sistema operativo y reporta un throughput de 2 a 4 veces mayor con la misma latencia.
- El contexto largo no es gratis. El proveedor tiene que mantener la caché de todo su prompt mientras genera. Es una de las razones por las que las solicitudes de contexto largo tardan más en empezar.
- El prompt caching se apoya en ella. Conservar el estado KV de un prefijo después de la solicitud es lo que el proveedor cobra como tokens de entrada en caché. Los prefijos estables aciertan en esa caché con más frecuencia; consulte estructura del prompt para caché.
- La cuantización también se aplica aquí. Guardar keys y values con menos bits reduce la caché, con cierto riesgo para la calidad.
En BroadNet Inference
BroadNet no publica cómo gestiona la memoria de la caché KV. Lo que sí documenta su referencia de la API es el efecto visible: usage.prompt_tokens_details.cached_tokens informa de los tokens del prompt leídos desde la caché, cobrados al precio de entrada en caché, por ejemplo $0.0055 por 1M de tokens en DeepSeek V4.1 Flash frente a $0.175 para la entrada nueva. Ese modelo y GLM 5.3 aceptan hasta 1,048,576 tokens por solicitud.
Errores comunes
- Tratar la longitud del contexto solo como una cuestión de precio. Una caché más grande también significa un prefill más lento.
- Reordenar el prompt de sistema en cada turno. El prefijo en caché deja de coincidir y el proveedor lo recalcula.