Toda vez que um modelo escreve um token, ele olha para todos os tokens anteriores. O KV cache é o que torna esse olhar para trás barato.
Como funciona
A atenção compara a query do token atual com uma chave e um valor de cada token anterior. Sem cache, o modelo recalcularia todas as chaves e valores anteriores a cada passo. O guia de caching da Hugging Face resume a troca: com cache, “attention cost per step is linear with sequence length” (tradução: o custo de atenção por passo é linear no tamanho da sequência), enquanto a memória “grows linearly” (tradução: cresce linearmente).
Por isso a inferência tem duas fases:
- Prefill. O modelo lê o prompt inteiro e preenche o cache. É a maior parte do time to first token.
- Decode. Cada novo token adiciona uma chave e um valor por camada e depois lê o cache inteiro.
O tamanho do cache por token é aproximadamente 2 × layers × KV heads × head size × bytes per number. Quem projeta modelos ataca cada um desses termos. O card da DeepSeek para o DeepSeek V4.1 Flash informa um KV cache global de 890 bytes por token, com armazenamento em FP4. No contexto completo de 1.048.576 tokens, isso dá 890 × 1.048.576 = 933.232.640 bytes, cerca de 890 MiB para uma única requisição.
Por que importa
- Simultaneidade e preço. O artigo do PagedAttention diz que atender muitas requisições ao mesmo tempo é limitado porque a memória do KV cache “is huge and grows and shrinks dynamically” (tradução: é enorme e cresce e encolhe dinamicamente). O vLLM pagina essa memória como um sistema operacional e relata vazão de 2 a 4 vezes maior com a mesma latência.
- Contexto longo não é de graça. O provedor precisa manter o cache de todo o seu prompt enquanto gera. Esse é um dos motivos pelos quais requisições com contexto longo demoram mais para começar.
- O prompt caching se apoia nele. Manter o estado KV de um prefixo depois que a requisição termina é o que o provedor cobra como tokens de entrada em cache. Prefixos estáveis acertam esse cache com mais frequência; veja estrutura do prompt para caching.
- A quantização também vale aqui. Guardar chaves e valores com menos bits encolhe o cache, com algum risco para a qualidade.
Na BroadNet Inference
A BroadNet não publica como gerencia a memória do KV cache. O que a referência da API documenta é o efeito visível: usage.prompt_tokens_details.cached_tokens informa os tokens do prompt lidos do cache, cobrados ao preço de entrada em cache, por exemplo $0.0055 por 1M de tokens no DeepSeek V4.1 Flash contra $0.175 para entrada nova. Esse modelo e o GLM 5.3 aceitam até 1.048.576 tokens por requisição.
Erros comuns
- Tratar o tamanho do contexto só como uma questão de preço. Um cache maior também significa um prefill mais lento.
- Reordenar o system prompt a cada turno. O prefixo em cache deixa de bater, e o provedor o recalcula.