---
title: "O que é KV cache? Como LLMs reaproveitam a atenção | BroadRouter"
description: "O KV cache guarda as chaves e os valores de atenção dos tokens que um LLM já leu, para cada novo token sair barato. Como funciona e por que limita o contexto longo."
url: https://broadrouter.com/pt/glossary/kv-cache/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/kv-cache/) (atualizado em 2026-11-14).

# KV cache (cache de chave-valor)

Atualizado em 2026-11-14

KV cache é a memória em que um modelo de linguagem transformer guarda as chaves e os valores de atenção calculados para cada token já processado, de modo que cada novo token os reutiliza em vez de recalcular a sequência inteira. Ele cresce com o tamanho do contexto e muitas vezes limita quantas requisições uma GPU consegue atender.

Também chamado de: KV cache, cache KV, cache de chave-valor, cache de atenção, memória KV, key-value cache, past\_key\_values, attention cache, KV memory

Toda vez que um modelo escreve um token, ele olha para todos os tokens anteriores. O KV cache é o que torna esse olhar para trás barato.

## Como funciona

A atenção compara a query do token atual com uma chave e um valor de cada token anterior. Sem cache, o modelo recalcularia todas as chaves e valores anteriores a cada passo. O guia de caching da Hugging Face resume a troca: com cache, “attention cost per step is linear with sequence length” (tradução: o custo de atenção por passo é linear no tamanho da sequência), enquanto a memória “grows linearly” (tradução: cresce linearmente).

Por isso a inferência tem duas fases:

1.  **Prefill.** O modelo lê o prompt inteiro e preenche o cache. É a maior parte do [time to first token](https://broadrouter.com/pt/glossary/time-to-first-token/).
2.  **Decode.** Cada novo token adiciona uma chave e um valor por camada e depois lê o cache inteiro.

O tamanho do cache por token é aproximadamente `2 × layers × KV heads × head size × bytes per number`. Quem projeta modelos ataca cada um desses termos. O card da DeepSeek para o DeepSeek V4.1 Flash informa um KV cache global de 890 bytes por token, com armazenamento em FP4. No contexto completo de 1.048.576 tokens, isso dá 890 × 1.048.576 = 933.232.640 bytes, cerca de 890 MiB para uma única requisição.

## Por que importa

-   **Simultaneidade e preço.** O artigo do PagedAttention diz que atender muitas requisições ao mesmo tempo é limitado porque a memória do KV cache “is huge and grows and shrinks dynamically” (tradução: é enorme e cresce e encolhe dinamicamente). O vLLM pagina essa memória como um sistema operacional e relata [vazão](https://broadrouter.com/pt/glossary/throughput/) de 2 a 4 vezes maior com a mesma latência.
-   **Contexto longo não é de graça.** O provedor precisa manter o cache de todo o seu prompt enquanto gera. Esse é um dos motivos pelos quais requisições com contexto longo demoram mais para começar.
-   **O prompt caching se apoia nele.** Manter o estado KV de um prefixo depois que a requisição termina é o que o provedor cobra como [tokens de entrada em cache](https://broadrouter.com/pt/glossary/cached-input-tokens/). Prefixos estáveis acertam esse cache com mais frequência; veja [estrutura do prompt para caching](https://broadrouter.com/pt/blog/prompt-structure-for-caching/).
-   **A [quantização](https://broadrouter.com/pt/glossary/quantization/) também vale aqui.** Guardar chaves e valores com menos bits encolhe o cache, com algum risco para a qualidade.

## Na BroadNet Inference

A BroadNet não publica como gerencia a memória do KV cache. O que a referência da API documenta é o efeito visível: `usage.prompt_tokens_details.cached_tokens` informa os tokens do prompt lidos do cache, cobrados ao preço de entrada em cache, por exemplo $0.0055 por 1M de tokens no [DeepSeek V4.1 Flash](https://broadrouter.com/pt/models/deepseek-v4.1-flash/) contra $0.175 para entrada nova. Esse modelo e o GLM 5.3 aceitam até 1.048.576 tokens por requisição.

## Erros comuns

-   Tratar o tamanho do contexto só como uma questão de preço. Um cache maior também significa um prefill mais lento.
-   Reordenar o system prompt a cada turno. O prefixo em cache deixa de bater, e o provedor o recalcula.

## Perguntas frequentes

### KV cache é a mesma coisa que prompt caching?

Não exatamente. O KV cache vive dentro de uma requisição enquanto o modelo gera. O prompt caching mantém esse estado depois que a requisição termina, para que uma requisição posterior com o mesmo prefixo possa reutilizá-lo, e os provedores cobram esses tokens como entrada em cache.

### Por que um prompt longo usa tanta memória de GPU?

Cada token do contexto adiciona suas chaves e seus valores ao cache, em todas as camadas. Um prompt de um milhão de tokens mantém na memória o estado de atenção de um milhão de tokens até a resposta terminar.

### Qual é o tamanho de um KV cache?

Cerca de 2 × camadas × heads KV × tamanho da head × bytes por número, para cada token do contexto. O card da DeepSeek informa 890 bytes por token para o DeepSeek V4.1 Flash, cerca de 890 MiB com o contexto completo de 1.048.576 tokens.

## Veja também

-   [Tokens de entrada em cache (cached input)](https://broadrouter.com/pt/glossary/cached-input-tokens/) (termo)
-   [Janela de contexto (context window)](https://broadrouter.com/pt/glossary/context-window/) (termo)
-   [Time to first token (TTFT)](https://broadrouter.com/pt/glossary/time-to-first-token/) (termo)
-   [Throughput (vazão)](https://broadrouter.com/pt/glossary/throughput/) (termo)
-   [Quantização (quantization)](https://broadrouter.com/pt/glossary/quantization/) (termo)
-   [Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/) (termo)
-   [Prefill e decode](https://broadrouter.com/pt/glossary/prefill-and-decode/) (termo)
-   [vLLM](https://broadrouter.com/pt/glossary/vllm/) (termo)
-   [Streaming de chat completions e conexões que caem](https://broadrouter.com/pt/guides/streaming-chat-completions/) (guia)
-   [Quando vale a pena uma janela de contexto de 1M de tokens (ou não)](https://broadrouter.com/pt/blog/million-token-context-window-guide/) (artigo)
-   [Como estruturar prompts para o prefixo entrar em cache](https://broadrouter.com/pt/blog/prompt-structure-for-caching/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-kv-cache&utm_content=page-cta) ·

**Fontes**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention (vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, caching explicado](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, model card do DeepSeek-V4.1-Flash (bytes de KV cache por token)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
