BroadRouter
Magsimula

KV cache

Na-update

Ang KV cache ay ang memory kung saan iniimbak ng transformer language model ang attention keys at values ng bawat token na naproseso na nito, kaya nire-reuse ito ng bawat bagong token sa halip na kuwentahin ulit ang buong sequence. Lumalaki ito kasabay ng context length at madalas nitong nililimitahan kung ilang request ang kaya ng isang GPU.

Tinatawag ding: key-value cache, past_key_values, attention cache, KV memory, KV cache sa LLM

Tuwing magsusulat ng token ang model, binabalikan nito ang bawat token bago iyon. Ang KV cache ang nagpapamura sa pagbabalik-tanaw na iyon.

Paano ito gumagana

Ikinukumpara ng attention ang query ng kasalukuyang token sa isang key at isang value ng bawat naunang token. Kung walang cache, kukuwentahin ulit ng model ang bawat naunang key at value sa bawat hakbang. Ibinubuod ng caching guide ng Hugging Face ang trade-off: kapag may cache, “attention cost per step is linear with sequence length” (Salin ng BroadRouter: “linear sa haba ng sequence ang gastos ng attention kada hakbang”), habang ang memory ay “grows linearly” (Salin ng BroadRouter: “lumalaki nang linear”).

Kaya may dalawang phase ang inference:

  1. Prefill. Binabasa ng model ang buong prompt at pinupuno ang cache. Ito ang malaking bahagi ng time to first token.
  2. Decode. Nagdadagdag ang bawat bagong token ng isang key at isang value kada layer, saka binabasa ang buong cache.

Ang laki ng cache kada token ay humigit-kumulang 2 × layers × KV heads × head size × bytes per number. Tinitirahan ng mga nagdidisenyo ng model ang bawat term. Iniuulat ng card ng DeepSeek para sa DeepSeek V4.1 Flash ang global KV cache na 890 bytes kada token, gamit ang FP4 na storage. Sa buong 1,048,576-token na context, 890 × 1,048,576 = 933,232,640 bytes iyon, mga 890 MiB para sa iisang request.

Bakit ito mahalaga

  • Concurrency at presyo. Sinasabi ng PagedAttention paper na limitado ang pag-serve ng maraming request nang sabay dahil ang memory ng KV cache ay “is huge and grows and shrinks dynamically” (Salin ng BroadRouter: “napakalaki at dynamic na lumalaki at lumiliit”). Pina-page ng vLLM ang memory na iyon gaya ng isang operating system at iniuulat ang 2 hanggang 4 na beses na mas mataas na throughput sa parehong latency.
  • Hindi libre ang long context. Kailangang hawakan ng provider ang cache para sa buong prompt mo habang nagge-generate ito. Isa iyon sa mga dahilan kung bakit mas mabagal magsimula ang mga long-context na request.
  • Dito nakatayo ang prompt caching. Ang pag-iingat ng KV state ng isang prefix pagkatapos ng request ang sinisingil ng provider bilang cached input tokens. Mas madalas tumama sa cache na iyon ang mga stable na prefix; tingnan ang prompt structure para sa caching.
  • Ginagamit din dito ang quantization. Kapag mas kaunting bit ang ginamit sa pag-imbak ng keys at values, lumiliit ang cache, kapalit ang kaunting panganib sa kalidad.

Sa BroadNet Inference

Hindi inilalathala ng BroadNet kung paano nito mina-manage ang memory ng KV cache. Ang idinodokumento ng API reference nito ay ang nakikitang epekto: iniuulat ng usage.prompt_tokens_details.cached_tokens ang mga prompt token na binasa mula sa cache, na sinisingil sa cached input price, halimbawa $0.0055 kada 1M token sa DeepSeek V4.1 Flash laban sa $0.175 para sa bagong input. Tumatanggap ang model na iyon at ang GLM 5.3 ng hanggang 1,048,576 token kada request.

Mga karaniwang pagkakamali

  • Pagturing sa context length bilang usapin lang ng presyo. Ang mas malaking cache ay nangangahulugan din ng mas mabagal na prefill.
  • Pagbabago ng ayos ng system prompt sa bawat turn. Hindi na tutugma ang cached prefix, kaya kukuwentahin ulit ito ng provider.

Mga tanong

Pareho ba ang KV cache at prompt caching?

Hindi eksakto. Nasa loob ng iisang request ang KV cache habang nagge-generate ang model. Iniingatan ng prompt caching ang state na iyon pagkatapos ng request para magamit ulit ng susunod na request na may parehong prefix, at sinisingil ng mga provider ang mga token na iyon bilang cached input.

Bakit napakalaki ng GPU memory na kinakain ng mahabang prompt?

Idinadagdag ng bawat token sa context ang keys at values nito sa cache, sa bawat layer. Ang prompt na may isang milyong token ay nag-iingat ng isang milyong token na attention state sa memory hanggang matapos ang sagot.

Gaano kalaki ang KV cache?

Humigit-kumulang 2 × layers × KV heads × head size × bytes kada numero, para sa bawat token sa context. Iniuulat ng card ng DeepSeek ang 890 bytes kada token para sa DeepSeek V4.1 Flash, mga 890 MiB sa buong 1,048,576-token na context nito.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity