BroadRouter
Mulakan

KV cache

Dikemas kini

KV cache ialah memori tempat model bahasa transformer menyimpan key dan value attention yang dikira bagi setiap token yang telah diproses, supaya setiap token baharu menggunakannya semula dan tidak mengira semula keseluruhan jujukan. Ia membesar mengikut panjang konteks dan selalunya mengehadkan bilangan permintaan yang boleh dilayan oleh GPU.

Juga dikenali sebagai: key-value cache, cache key-value, past_key_values, attention cache, KV memory

Setiap kali model menulis token, ia melihat kembali setiap token sebelumnya. KV cache yang menjadikan tinjauan semula itu murah.

Cara ia berfungsi

Attention membandingkan query token semasa dengan satu key dan satu value bagi setiap token terdahulu. Tanpa cache, model perlu mengira semula setiap key dan value terdahulu pada setiap langkah. Panduan caching Hugging Face meringkaskan pertukarannya: dengan cache, “attention cost per step is linear with sequence length” (Terjemahan BroadRouter: “kos attention bagi setiap langkah adalah linear dengan panjang jujukan”), manakala memori “grows linearly” (Terjemahan BroadRouter: “membesar secara linear”).

Jadi inferens mempunyai dua fasa:

  1. Prefill. Model membaca keseluruhan prompt dan mengisi cache. Ini sebahagian besar daripada masa ke token pertama.
  2. Decode. Setiap token baharu menambah satu key dan satu value bagi setiap lapisan, kemudian membaca keseluruhan cache.

Saiz cache bagi setiap token kira-kira 2 × layers × KV heads × head size × bytes per number. Pereka model menyerang setiap sebutan. Kad DeepSeek untuk DeepSeek V4.1 Flash melaporkan KV cache global sebanyak 890 bait bagi setiap token, menggunakan storan FP4. Pada konteks penuh 1,048,576 token, itu 890 × 1,048,576 = 933,232,640 bait, kira-kira 890 MiB untuk satu permintaan.

Mengapa ia penting

  • Keserentakan dan harga. Kertas PagedAttention menyatakan bahawa melayan banyak permintaan serentak terhad kerana memori KV cache “is huge and grows and shrinks dynamically” (Terjemahan BroadRouter: “sangat besar dan membesar serta mengecil secara dinamik”). vLLM membahagikan memori itu kepada halaman seperti sistem pengendalian dan melaporkan daya pemprosesan 2 hingga 4 kali lebih tinggi pada kependaman yang sama.
  • Konteks panjang tidak percuma. Penyedia perlu memegang cache untuk keseluruhan prompt anda semasa ia menjana. Itu salah satu sebab permintaan konteks panjang lebih lambat bermula.
  • Prompt caching dibina di atasnya. Menyimpan keadaan KV sesuatu awalan selepas permintaan tamat ialah apa yang dibilkan oleh penyedia sebagai token input cache. Awalan yang stabil lebih kerap mengenai cache itu; lihat struktur prompt untuk caching.
  • Kuantisasi juga terpakai di sini. Menyimpan key dan value dalam bit yang lebih sedikit mengecilkan cache, dengan sedikit risiko kepada kualiti.

Di BroadNet Inference

BroadNet tidak menerbitkan cara ia mengurus memori KV cache. Yang didokumenkan oleh rujukan API-nya ialah kesan yang kelihatan: usage.prompt_tokens_details.cached_tokens melaporkan token prompt yang dibaca daripada cache, dibilkan pada harga input cache, contohnya $0.0055 setiap 1M token pada DeepSeek V4.1 Flash berbanding $0.175 untuk input baharu. Model itu dan GLM 5.3 menerima sehingga 1,048,576 token bagi setiap permintaan.

Kesilapan biasa

  • Menganggap panjang konteks sebagai soal harga sahaja. Cache yang lebih besar juga bermakna prefill yang lebih perlahan.
  • Menyusun semula prompt sistem pada setiap giliran. Awalan yang dicache tidak lagi sepadan, jadi penyedia mengiranya semula.

Soalan lazim

Adakah KV cache sama dengan prompt caching?

Tidak sepenuhnya. KV cache wujud dalam satu permintaan semasa model menjana. Prompt caching menyimpan keadaan itu selepas permintaan tamat supaya permintaan kemudian dengan awalan yang sama boleh menggunakannya semula, dan penyedia mengebilkan token tersebut sebagai input cache.

Mengapa prompt panjang menggunakan begitu banyak memori GPU?

Setiap token dalam konteks menambah key dan value miliknya ke dalam cache, dalam setiap lapisan. Prompt sejuta token menyimpan keadaan attention sejuta token dalam memori sehingga jawapan selesai.

Berapa besar KV cache?

Kira-kira 2 × lapisan × KV head × saiz head × bait bagi setiap nombor, untuk setiap token dalam konteks. Kad DeepSeek melaporkan 890 bait bagi setiap token untuk DeepSeek V4.1 Flash, kira-kira 890 MiB pada konteks penuh 1,048,576 token.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity