Setiap kali model menulis token, ia melihat kembali setiap token sebelumnya. KV cache yang menjadikan tinjauan semula itu murah.
Cara ia berfungsi
Attention membandingkan query token semasa dengan satu key dan satu value bagi setiap token terdahulu. Tanpa cache, model perlu mengira semula setiap key dan value terdahulu pada setiap langkah. Panduan caching Hugging Face meringkaskan pertukarannya: dengan cache, “attention cost per step is linear with sequence length” (Terjemahan BroadRouter: “kos attention bagi setiap langkah adalah linear dengan panjang jujukan”), manakala memori “grows linearly” (Terjemahan BroadRouter: “membesar secara linear”).
Jadi inferens mempunyai dua fasa:
- Prefill. Model membaca keseluruhan prompt dan mengisi cache. Ini sebahagian besar daripada masa ke token pertama.
- Decode. Setiap token baharu menambah satu key dan satu value bagi setiap lapisan, kemudian membaca keseluruhan cache.
Saiz cache bagi setiap token kira-kira 2 × layers × KV heads × head size × bytes per number. Pereka model menyerang setiap sebutan. Kad DeepSeek untuk DeepSeek V4.1 Flash melaporkan KV cache global sebanyak 890 bait bagi setiap token, menggunakan storan FP4. Pada konteks penuh 1,048,576 token, itu 890 × 1,048,576 = 933,232,640 bait, kira-kira 890 MiB untuk satu permintaan.
Mengapa ia penting
- Keserentakan dan harga. Kertas PagedAttention menyatakan bahawa melayan banyak permintaan serentak terhad kerana memori KV cache “is huge and grows and shrinks dynamically” (Terjemahan BroadRouter: “sangat besar dan membesar serta mengecil secara dinamik”). vLLM membahagikan memori itu kepada halaman seperti sistem pengendalian dan melaporkan daya pemprosesan 2 hingga 4 kali lebih tinggi pada kependaman yang sama.
- Konteks panjang tidak percuma. Penyedia perlu memegang cache untuk keseluruhan prompt anda semasa ia menjana. Itu salah satu sebab permintaan konteks panjang lebih lambat bermula.
- Prompt caching dibina di atasnya. Menyimpan keadaan KV sesuatu awalan selepas permintaan tamat ialah apa yang dibilkan oleh penyedia sebagai token input cache. Awalan yang stabil lebih kerap mengenai cache itu; lihat struktur prompt untuk caching.
- Kuantisasi juga terpakai di sini. Menyimpan key dan value dalam bit yang lebih sedikit mengecilkan cache, dengan sedikit risiko kepada kualiti.
Di BroadNet Inference
BroadNet tidak menerbitkan cara ia mengurus memori KV cache. Yang didokumenkan oleh rujukan API-nya ialah kesan yang kelihatan: usage.prompt_tokens_details.cached_tokens melaporkan token prompt yang dibaca daripada cache, dibilkan pada harga input cache, contohnya $0.0055 setiap 1M token pada DeepSeek V4.1 Flash berbanding $0.175 untuk input baharu. Model itu dan GLM 5.3 menerima sehingga 1,048,576 token bagi setiap permintaan.
Kesilapan biasa
- Menganggap panjang konteks sebagai soal harga sahaja. Cache yang lebih besar juga bermakna prefill yang lebih perlahan.
- Menyusun semula prompt sistem pada setiap giliran. Awalan yang dicache tidak lagi sepadan, jadi penyedia mengiranya semula.