---
title: "Apakah itu KV cache? Cara LLM menggunakan semula attention"
description: "KV cache menyimpan key dan value attention bagi token yang sudah dibaca LLM, jadi setiap token baharu murah dikira. Cara ia berfungsi dan had konteks panjang."
url: https://broadrouter.com/ms/glossary/kv-cache/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/kv-cache/) (dikemas kini 2026-11-14).

# KV cache

Dikemas kini 2026-11-14

KV cache ialah memori tempat model bahasa transformer menyimpan key dan value attention yang dikira bagi setiap token yang telah diproses, supaya setiap token baharu menggunakannya semula dan tidak mengira semula keseluruhan jujukan. Ia membesar mengikut panjang konteks dan selalunya mengehadkan bilangan permintaan yang boleh dilayan oleh GPU.

Juga dikenali sebagai: key-value cache, cache key-value, past\_key\_values, attention cache, KV memory

Setiap kali model menulis token, ia melihat kembali setiap token sebelumnya. KV cache yang menjadikan tinjauan semula itu murah.

## Cara ia berfungsi

Attention membandingkan query token semasa dengan satu key dan satu value bagi setiap token terdahulu. Tanpa cache, model perlu mengira semula setiap key dan value terdahulu pada setiap langkah. Panduan caching Hugging Face meringkaskan pertukarannya: dengan cache, “attention cost per step is linear with sequence length” (Terjemahan BroadRouter: “kos attention bagi setiap langkah adalah linear dengan panjang jujukan”), manakala memori “grows linearly” (Terjemahan BroadRouter: “membesar secara linear”).

Jadi inferens mempunyai dua fasa:

1.  **Prefill.** Model membaca keseluruhan prompt dan mengisi cache. Ini sebahagian besar daripada [masa ke token pertama](https://broadrouter.com/ms/glossary/time-to-first-token/).
2.  **Decode.** Setiap token baharu menambah satu key dan satu value bagi setiap lapisan, kemudian membaca keseluruhan cache.

Saiz cache bagi setiap token kira-kira `2 × layers × KV heads × head size × bytes per number`. Pereka model menyerang setiap sebutan. Kad DeepSeek untuk DeepSeek V4.1 Flash melaporkan KV cache global sebanyak 890 bait bagi setiap token, menggunakan storan FP4. Pada konteks penuh 1,048,576 token, itu 890 × 1,048,576 = 933,232,640 bait, kira-kira 890 MiB untuk satu permintaan.

## Mengapa ia penting

-   **Keserentakan dan harga.** Kertas PagedAttention menyatakan bahawa melayan banyak permintaan serentak terhad kerana memori KV cache “is huge and grows and shrinks dynamically” (Terjemahan BroadRouter: “sangat besar dan membesar serta mengecil secara dinamik”). vLLM membahagikan memori itu kepada halaman seperti sistem pengendalian dan melaporkan [daya pemprosesan](https://broadrouter.com/ms/glossary/throughput/) 2 hingga 4 kali lebih tinggi pada kependaman yang sama.
-   **Konteks panjang tidak percuma.** Penyedia perlu memegang cache untuk keseluruhan prompt anda semasa ia menjana. Itu salah satu sebab permintaan konteks panjang lebih lambat bermula.
-   **Prompt caching dibina di atasnya.** Menyimpan keadaan KV sesuatu awalan selepas permintaan tamat ialah apa yang dibilkan oleh penyedia sebagai [token input cache](https://broadrouter.com/ms/glossary/cached-input-tokens/). Awalan yang stabil lebih kerap mengenai cache itu; lihat [struktur prompt untuk caching](https://broadrouter.com/ms/blog/prompt-structure-for-caching/).
-   **[Kuantisasi](https://broadrouter.com/ms/glossary/quantization/) juga terpakai di sini.** Menyimpan key dan value dalam bit yang lebih sedikit mengecilkan cache, dengan sedikit risiko kepada kualiti.

## Di BroadNet Inference

BroadNet tidak menerbitkan cara ia mengurus memori KV cache. Yang didokumenkan oleh rujukan API-nya ialah kesan yang kelihatan: `usage.prompt_tokens_details.cached_tokens` melaporkan token prompt yang dibaca daripada cache, dibilkan pada harga input cache, contohnya $0.0055 setiap 1M token pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) berbanding $0.175 untuk input baharu. Model itu dan GLM 5.3 menerima sehingga 1,048,576 token bagi setiap permintaan.

## Kesilapan biasa

-   Menganggap panjang konteks sebagai soal harga sahaja. Cache yang lebih besar juga bermakna prefill yang lebih perlahan.
-   Menyusun semula prompt sistem pada setiap giliran. Awalan yang dicache tidak lagi sepadan, jadi penyedia mengiranya semula.

## Soalan lazim

### Adakah KV cache sama dengan prompt caching?

Tidak sepenuhnya. KV cache wujud dalam satu permintaan semasa model menjana. Prompt caching menyimpan keadaan itu selepas permintaan tamat supaya permintaan kemudian dengan awalan yang sama boleh menggunakannya semula, dan penyedia mengebilkan token tersebut sebagai input cache.

### Mengapa prompt panjang menggunakan begitu banyak memori GPU?

Setiap token dalam konteks menambah key dan value miliknya ke dalam cache, dalam setiap lapisan. Prompt sejuta token menyimpan keadaan attention sejuta token dalam memori sehingga jawapan selesai.

### Berapa besar KV cache?

Kira-kira 2 × lapisan × KV head × saiz head × bait bagi setiap nombor, untuk setiap token dalam konteks. Kad DeepSeek melaporkan 890 bait bagi setiap token untuk DeepSeek V4.1 Flash, kira-kira 890 MiB pada konteks penuh 1,048,576 token.

## Lihat juga

-   [Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/) (istilah)
-   [Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/) (istilah)
-   [Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/) (istilah)
-   [Prefill dan decode](https://broadrouter.com/ms/glossary/prefill-and-decode/) (istilah)
-   [vLLM](https://broadrouter.com/ms/glossary/vllm/) (istilah)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/) (artikel)
-   [Cara menyusun prompt supaya prefix di-cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-kv-cache&utm_content=page-cta) ·

**Sumber**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention (vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, penerangan caching](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, kad model DeepSeek-V4.1-Flash (bait KV cache bagi setiap token)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
