Tuwing magsusulat ng token ang model, binabalikan nito ang bawat token bago iyon. Ang KV cache ang nagpapamura sa pagbabalik-tanaw na iyon.
Paano ito gumagana
Ikinukumpara ng attention ang query ng kasalukuyang token sa isang key at isang value ng bawat naunang token. Kung walang cache, kukuwentahin ulit ng model ang bawat naunang key at value sa bawat hakbang. Ibinubuod ng caching guide ng Hugging Face ang trade-off: kapag may cache, “attention cost per step is linear with sequence length” (Salin ng BroadRouter: “linear sa haba ng sequence ang gastos ng attention kada hakbang”), habang ang memory ay “grows linearly” (Salin ng BroadRouter: “lumalaki nang linear”).
Kaya may dalawang phase ang inference:
- Prefill. Binabasa ng model ang buong prompt at pinupuno ang cache. Ito ang malaking bahagi ng time to first token.
- Decode. Nagdadagdag ang bawat bagong token ng isang key at isang value kada layer, saka binabasa ang buong cache.
Ang laki ng cache kada token ay humigit-kumulang 2 × layers × KV heads × head size × bytes per number. Tinitirahan ng mga nagdidisenyo ng model ang bawat term. Iniuulat ng card ng DeepSeek para sa DeepSeek V4.1 Flash ang global KV cache na 890 bytes kada token, gamit ang FP4 na storage. Sa buong 1,048,576-token na context, 890 × 1,048,576 = 933,232,640 bytes iyon, mga 890 MiB para sa iisang request.
Bakit ito mahalaga
- Concurrency at presyo. Sinasabi ng PagedAttention paper na limitado ang pag-serve ng maraming request nang sabay dahil ang memory ng KV cache ay “is huge and grows and shrinks dynamically” (Salin ng BroadRouter: “napakalaki at dynamic na lumalaki at lumiliit”). Pina-page ng vLLM ang memory na iyon gaya ng isang operating system at iniuulat ang 2 hanggang 4 na beses na mas mataas na throughput sa parehong latency.
- Hindi libre ang long context. Kailangang hawakan ng provider ang cache para sa buong prompt mo habang nagge-generate ito. Isa iyon sa mga dahilan kung bakit mas mabagal magsimula ang mga long-context na request.
- Dito nakatayo ang prompt caching. Ang pag-iingat ng KV state ng isang prefix pagkatapos ng request ang sinisingil ng provider bilang cached input tokens. Mas madalas tumama sa cache na iyon ang mga stable na prefix; tingnan ang prompt structure para sa caching.
- Ginagamit din dito ang quantization. Kapag mas kaunting bit ang ginamit sa pag-imbak ng keys at values, lumiliit ang cache, kapalit ang kaunting panganib sa kalidad.
Sa BroadNet Inference
Hindi inilalathala ng BroadNet kung paano nito mina-manage ang memory ng KV cache. Ang idinodokumento ng API reference nito ay ang nakikitang epekto: iniuulat ng usage.prompt_tokens_details.cached_tokens ang mga prompt token na binasa mula sa cache, na sinisingil sa cached input price, halimbawa $0.0055 kada 1M token sa DeepSeek V4.1 Flash laban sa $0.175 para sa bagong input. Tumatanggap ang model na iyon at ang GLM 5.3 ng hanggang 1,048,576 token kada request.
Mga karaniwang pagkakamali
- Pagturing sa context length bilang usapin lang ng presyo. Ang mas malaking cache ay nangangahulugan din ng mas mabagal na prefill.
- Pagbabago ng ayos ng system prompt sa bawat turn. Hindi na tutugma ang cached prefix, kaya kukuwentahin ulit ito ng provider.