Bir model her token yazdığında, kendisinden önceki her token’a geri bakar. Bu geriye bakışı ucuz yapan şey KV önbelleğidir.
Nasıl çalışır
Dikkat mekanizması, geçerli token’ın sorgusunu (query) önceki her token’ın bir anahtarı (key) ve bir değeriyle (value) karşılaştırır. Önbellek olmasaydı model her adımda önceki tüm anahtar ve değerleri yeniden hesaplardı. Hugging Face’in önbelleğe alma rehberi bu takası şöyle özetler: önbellekle “attention cost per step is linear with sequence length” (çeviri: adım başına dikkat maliyeti dizi uzunluğuyla doğrusaldır), bellek ise “grows linearly” (çeviri: doğrusal büyür).
Bu yüzden çıkarımın iki aşaması vardır:
- Prefill. Model tüm istemi okur ve önbelleği doldurur. İlk token’a kadar geçen sürenin büyük kısmı budur.
- Decode. Her yeni token katman başına bir anahtar ve bir değer ekler, ardından tüm önbelleği okur.
Token başına önbellek boyutu kabaca 2 × layers × KV heads × head size × bytes per number (2 × katman × KV başı × baş boyutu × sayı başına bayt) şeklindedir. Model tasarımcıları her terimi küçültmeye çalışır. DeepSeek’in DeepSeek V4.1 Flash kartı, FP4 depolama kullanarak token başına 890 baytlık bir global KV önbelleği bildirir. 1.048.576 token’lık tam bağlamda bu, 890 × 1.048.576 = 933.232.640 bayt, yani tek bir istek için yaklaşık 890 MiB eder.
Neden önemli
- Eşzamanlılık ve fiyat. PagedAttention makalesi, aynı anda çok sayıda isteğe hizmet vermenin sınırlı olduğunu, çünkü KV önbelleği belleğinin “is huge and grows and shrinks dynamically” (çeviri: devasa olduğunu ve dinamik olarak büyüyüp küçüldüğünü) söyler. vLLM bu belleği bir işletim sistemi gibi sayfalara böler ve aynı gecikmede 2 ila 4 kat daha yüksek işlem hacmi bildirir.
- Uzun bağlam bedava değildir. Sağlayıcı, üretim yaparken tüm isteminizin önbelleğini tutmak zorundadır. Uzun bağlamlı isteklerin daha geç başlamasının bir nedeni budur.
- İstem önbelleğe alma bunun üzerine kurulur. Bir önekin KV durumunu istek bittikten sonra tutmak, sağlayıcının önbellekli girdi token’ları olarak faturalandırdığı şeydir. Sabit önekler bu önbelleğe daha sık isabet eder; bkz. önbelleğe alma için istem yapısı.
- Kuantizasyon burada da geçerlidir. Anahtar ve değerleri daha az bitle saklamak önbelleği küçültür, ancak kaliteye belirli bir risk getirir.
BroadNet Inference’ta
BroadNet, KV önbelleği belleğini nasıl yönettiğini yayımlamaz. API referansının belgelediği şey görünür etkidir: usage.prompt_tokens_details.cached_tokens, önbellekten okunan istem token’larını bildirir ve bunlar önbellekli girdi fiyatından faturalandırılır; örneğin DeepSeek V4.1 Flash modelinde yeni girdi için $0.175 karşısında 1M token başına $0.0055. Bu model ve GLM 5.3, istek başına 1.048.576 token’a kadar kabul eder.
Sık yapılan hatalar
- Bağlam uzunluğunu yalnızca bir fiyat meselesi olarak görmek. Daha büyük bir önbellek, daha yavaş bir prefill demektir.
- Sistem istemini her turda yeniden sıralamak. Önbellekli önek artık eşleşmez ve sağlayıcı onu yeniden hesaplar.