BroadRouter
Comenzar

Caché KV (KV cache)

Actualizado

La caché KV es la memoria donde un modelo de lenguaje transformer guarda las claves y valores de atención calculados para cada token ya procesado, de modo que cada token nuevo los reutiliza en lugar de recalcular toda la secuencia. Crece con la longitud del contexto y a menudo limita cuántas solicitudes puede atender una GPU.

También llamado: caché KV, KV cache, caché de claves y valores, caché de atención, memoria KV, key-value cache, past_key_values, attention cache, KV memory

Cada vez que un modelo escribe un token, vuelve a mirar todos los tokens anteriores. La caché KV es lo que hace barata esa mirada atrás.

Cómo funciona

La atención compara la query del token actual con una key y un value de cada token anterior. Sin caché, el modelo recalcularía en cada paso todas las keys y values anteriores. La guía de caché de Hugging Face resume el compromiso: con caché, “attention cost per step is linear with sequence length” (traducción: el costo de atención por paso es lineal con la longitud de la secuencia), mientras que la memoria “grows linearly” (traducción: crece linealmente).

Así, la inferencia tiene dos fases:

  1. Prefill. El modelo lee todo el prompt y llena la caché. Es la mayor parte del tiempo hasta el primer token.
  2. Decode. Cada token nuevo añade una key y un value por capa y luego lee toda la caché.

El tamaño de la caché por token es aproximadamente 2 × layers × KV heads × head size × bytes per number. Los diseñadores de modelos atacan cada término. La ficha de DeepSeek para DeepSeek V4.1 Flash indica una caché KV global de 890 bytes por token, con almacenamiento en FP4. Con el contexto completo de 1,048,576 tokens, eso son 890 × 1,048,576 = 933,232,640 bytes, unos 890 MiB para una sola solicitud.

Por qué importa

  • Concurrencia y precio. El artículo de PagedAttention dice que atender muchas solicitudes a la vez está limitado porque la memoria de la caché KV “is huge and grows and shrinks dynamically” (traducción: es enorme y crece y se reduce dinámicamente). vLLM pagina esa memoria como un sistema operativo y reporta un throughput de 2 a 4 veces mayor con la misma latencia.
  • El contexto largo no es gratis. El proveedor tiene que mantener la caché de todo su prompt mientras genera. Es una de las razones por las que las solicitudes de contexto largo tardan más en empezar.
  • El prompt caching se apoya en ella. Conservar el estado KV de un prefijo después de la solicitud es lo que el proveedor cobra como tokens de entrada en caché. Los prefijos estables aciertan en esa caché con más frecuencia; consulte estructura del prompt para caché.
  • La cuantización también se aplica aquí. Guardar keys y values con menos bits reduce la caché, con cierto riesgo para la calidad.

En BroadNet Inference

BroadNet no publica cómo gestiona la memoria de la caché KV. Lo que sí documenta su referencia de la API es el efecto visible: usage.prompt_tokens_details.cached_tokens informa de los tokens del prompt leídos desde la caché, cobrados al precio de entrada en caché, por ejemplo $0.0055 por 1M de tokens en DeepSeek V4.1 Flash frente a $0.175 para la entrada nueva. Ese modelo y GLM 5.3 aceptan hasta 1,048,576 tokens por solicitud.

Errores comunes

  • Tratar la longitud del contexto solo como una cuestión de precio. Una caché más grande también significa un prefill más lento.
  • Reordenar el prompt de sistema en cada turno. El prefijo en caché deja de coincidir y el proveedor lo recalcula.

Preguntas frecuentes

¿La caché KV es lo mismo que el prompt caching?

No exactamente. La caché KV vive dentro de una solicitud mientras el modelo genera. El prompt caching conserva ese estado cuando la solicitud termina para que una solicitud posterior con el mismo prefijo lo reutilice, y los proveedores cobran esos tokens como entrada en caché.

¿Por qué un prompt largo usa tanta memoria de GPU?

Cada token del contexto añade sus claves y valores a la caché, en cada capa. Un prompt de un millón de tokens mantiene en memoria el estado de atención de un millón de tokens hasta que termina la respuesta.

¿Qué tamaño tiene una caché KV?

Aproximadamente 2 × capas × cabezas KV × tamaño de cabeza × bytes por número, por cada token del contexto. La ficha de DeepSeek indica 890 bytes por token para DeepSeek V4.1 Flash, unos 890 MiB con su contexto completo de 1,048,576 tokens.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity