BroadRouter
Começar

KV cache (cache de chave-valor)

Atualizado em

KV cache é a memória em que um modelo de linguagem transformer guarda as chaves e os valores de atenção calculados para cada token já processado, de modo que cada novo token os reutiliza em vez de recalcular a sequência inteira. Ele cresce com o tamanho do contexto e muitas vezes limita quantas requisições uma GPU consegue atender.

Também chamado de: KV cache, cache KV, cache de chave-valor, cache de atenção, memória KV, key-value cache, past_key_values, attention cache, KV memory

Toda vez que um modelo escreve um token, ele olha para todos os tokens anteriores. O KV cache é o que torna esse olhar para trás barato.

Como funciona

A atenção compara a query do token atual com uma chave e um valor de cada token anterior. Sem cache, o modelo recalcularia todas as chaves e valores anteriores a cada passo. O guia de caching da Hugging Face resume a troca: com cache, “attention cost per step is linear with sequence length” (tradução: o custo de atenção por passo é linear no tamanho da sequência), enquanto a memória “grows linearly” (tradução: cresce linearmente).

Por isso a inferência tem duas fases:

  1. Prefill. O modelo lê o prompt inteiro e preenche o cache. É a maior parte do time to first token.
  2. Decode. Cada novo token adiciona uma chave e um valor por camada e depois lê o cache inteiro.

O tamanho do cache por token é aproximadamente 2 × layers × KV heads × head size × bytes per number. Quem projeta modelos ataca cada um desses termos. O card da DeepSeek para o DeepSeek V4.1 Flash informa um KV cache global de 890 bytes por token, com armazenamento em FP4. No contexto completo de 1.048.576 tokens, isso dá 890 × 1.048.576 = 933.232.640 bytes, cerca de 890 MiB para uma única requisição.

Por que importa

  • Simultaneidade e preço. O artigo do PagedAttention diz que atender muitas requisições ao mesmo tempo é limitado porque a memória do KV cache “is huge and grows and shrinks dynamically” (tradução: é enorme e cresce e encolhe dinamicamente). O vLLM pagina essa memória como um sistema operacional e relata vazão de 2 a 4 vezes maior com a mesma latência.
  • Contexto longo não é de graça. O provedor precisa manter o cache de todo o seu prompt enquanto gera. Esse é um dos motivos pelos quais requisições com contexto longo demoram mais para começar.
  • O prompt caching se apoia nele. Manter o estado KV de um prefixo depois que a requisição termina é o que o provedor cobra como tokens de entrada em cache. Prefixos estáveis acertam esse cache com mais frequência; veja estrutura do prompt para caching.
  • A quantização também vale aqui. Guardar chaves e valores com menos bits encolhe o cache, com algum risco para a qualidade.

Na BroadNet Inference

A BroadNet não publica como gerencia a memória do KV cache. O que a referência da API documenta é o efeito visível: usage.prompt_tokens_details.cached_tokens informa os tokens do prompt lidos do cache, cobrados ao preço de entrada em cache, por exemplo $0.0055 por 1M de tokens no DeepSeek V4.1 Flash contra $0.175 para entrada nova. Esse modelo e o GLM 5.3 aceitam até 1.048.576 tokens por requisição.

Erros comuns

  • Tratar o tamanho do contexto só como uma questão de preço. Um cache maior também significa um prefill mais lento.
  • Reordenar o system prompt a cada turno. O prefixo em cache deixa de bater, e o provedor o recalcula.

Perguntas frequentes

KV cache é a mesma coisa que prompt caching?

Não exatamente. O KV cache vive dentro de uma requisição enquanto o modelo gera. O prompt caching mantém esse estado depois que a requisição termina, para que uma requisição posterior com o mesmo prefixo possa reutilizá-lo, e os provedores cobram esses tokens como entrada em cache.

Por que um prompt longo usa tanta memória de GPU?

Cada token do contexto adiciona suas chaves e seus valores ao cache, em todas as camadas. Um prompt de um milhão de tokens mantém na memória o estado de atenção de um milhão de tokens até a resposta terminar.

Qual é o tamanho de um KV cache?

Cerca de 2 × camadas × heads KV × tamanho da head × bytes por número, para cada token do contexto. O card da DeepSeek informa 890 bytes por token para o DeepSeek V4.1 Flash, cerca de 890 MiB com o contexto completo de 1.048.576 tokens.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity