Setiap kali model menulis sebuah token, model melihat kembali semua token sebelumnya. KV cache-lah yang membuat proses melihat kembali itu murah.
Cara kerjanya
Attention membandingkan query token saat ini dengan key dan value dari setiap token sebelumnya. Tanpa cache, model akan menghitung ulang semua key dan value sebelumnya di setiap langkah. Panduan caching Hugging Face merangkum kompromi ini: dengan cache, “attention cost per step is linear with sequence length” (terjemahan: biaya attention per langkah linear terhadap panjang urutan), sementara memori “grows linearly” (terjemahan: bertambah secara linear).
Jadi inferensi punya dua fase:
- Prefill. Model membaca seluruh prompt dan mengisi cache. Ini adalah sebagian besar time to first token.
- Decode. Setiap token baru menambahkan satu key dan satu value per layer, lalu membaca seluruh cache.
Ukuran cache per token kira-kira 2 × layers × KV heads × head size × bytes per number (2 × layer × KV head × ukuran head × byte per angka). Perancang model berusaha memperkecil setiap sukunya. Model card DeepSeek untuk DeepSeek V4.1 Flash melaporkan KV cache global sebesar 890 byte per token, dengan penyimpanan FP4. Pada konteks penuh 1.048.576 token, itu berarti 890 × 1.048.576 = 933.232.640 byte, sekitar 890 MiB untuk satu request.
Kenapa ini penting
- Konkurensi dan harga. Makalah PagedAttention menyebut bahwa melayani banyak request sekaligus terbatas karena memori KV cache “is huge and grows and shrinks dynamically” (terjemahan: sangat besar serta membesar dan mengecil secara dinamis). vLLM membagi memori itu ke dalam page seperti sistem operasi dan melaporkan throughput 2 hingga 4 kali lebih tinggi pada latensi yang sama.
- Konteks panjang tidak gratis. Penyedia harus menyimpan cache untuk seluruh prompt Anda selama menghasilkan output. Itu salah satu alasan request berkonteks panjang lebih lambat dimulai.
- Prompt caching dibangun di atasnya. Menyimpan state KV sebuah prefix setelah request selesai adalah hal yang ditagih penyedia sebagai token input cache. Prefix yang stabil lebih sering mengenai cache itu; lihat struktur prompt untuk caching.
- Kuantisasi juga berlaku di sini. Menyimpan key dan value dalam bit yang lebih sedikit memperkecil cache, dengan sedikit risiko terhadap kualitas.
Di BroadNet Inference
BroadNet tidak memublikasikan cara mengelola memori KV cache. Yang didokumentasikan referensi API-nya adalah efek yang terlihat: usage.prompt_tokens_details.cached_tokens melaporkan token prompt yang dibaca dari cache, ditagih dengan harga input cache, misalnya $0.0055 per 1M token di DeepSeek V4.1 Flash dibanding $0.175 untuk input baru. Model itu dan GLM 5.3 menerima hingga 1.048.576 token per request.
Kesalahan umum
- Menganggap panjang konteks hanya soal harga. Cache yang lebih besar juga berarti prefill yang lebih lambat.
- Mengubah urutan system prompt di setiap giliran. Prefix yang di-cache tidak lagi cocok, sehingga penyedia menghitungnya ulang.