हर बार जब मॉडल एक टोकन लिखता है, वह अपने से पहले के हर टोकन को पीछे मुड़कर देखता है। KV cache वह चीज़ है जो इस पीछे देखने को सस्ता बनाती है।
यह कैसे काम करता है
Attention मौजूदा टोकन की query की तुलना हर पिछले टोकन के key और value से करता है। cache के बिना, मॉडल हर क़दम पर हर पिछला key और value दोबारा गिनता। Hugging Face की कैशिंग गाइड यह सौदा यूँ बताती है: cache के साथ “attention cost per step is linear with sequence length” (अनुवाद: हर क़दम पर attention की लागत sequence की लंबाई के साथ रैखिक है), जबकि मेमोरी “grows linearly” (अनुवाद: रैखिक रूप से बढ़ती है)।
इसलिए इन्फ़रेंस के दो चरण होते हैं:
- Prefill. मॉडल पूरा प्रॉम्प्ट पढ़ता है और cache भरता है। पहले टोकन तक का समय ज़्यादातर यहीं जाता है।
- Decode. हर नया टोकन हर layer में एक key और एक value जोड़ता है, फिर पूरा cache पढ़ता है।
प्रति टोकन cache का साइज़ मोटे तौर पर 2 × layers × KV heads × head size × bytes per number है। मॉडल डिज़ाइनर हर पद को घटाने की कोशिश करते हैं। DeepSeek V4.1 Flash के लिए DeepSeek का कार्ड FP4 स्टोरेज के साथ प्रति टोकन 890 बाइट का global KV cache बताता है। पूरे 1,048,576 टोकन context पर यह 890 × 1,048,576 = 933,232,640 बाइट है, यानी एक अनुरोध के लिए लगभग 890 MiB।
यह क्यों मायने रखता है
- Concurrency और कीमत. PagedAttention पेपर कहता है कि एक साथ कई अनुरोध सर्व करना सीमित है, क्योंकि KV cache मेमोरी “is huge and grows and shrinks dynamically” (अनुवाद: बहुत बड़ी है और लगातार बढ़ती-घटती रहती है)। vLLM उस मेमोरी को ऑपरेटिंग सिस्टम की तरह पेज करता है और उसी latency पर 2 से 4 गुना ज़्यादा थ्रूपुट बताता है।
- लंबा context मुफ़्त नहीं. जनरेट करते समय प्रोवाइडर को आपके पूरे प्रॉम्प्ट का cache रखना पड़ता है। यही एक वजह है कि लंबे context वाले अनुरोध धीरे शुरू होते हैं।
- Prompt caching इसी पर टिकी है. अनुरोध ख़त्म होने के बाद किसी prefix का KV स्टेट रखना ही वह चीज़ है जिसे प्रोवाइडर cached input टोकन के रूप में बिल करता है। स्थिर prefix उस cache से ज़्यादा बार मेल खाते हैं; देखें कैशिंग के लिए प्रॉम्प्ट का ढाँचा।
- क्वांटाइज़ेशन यहाँ भी लागू होता है. keys और values को कम bit में रखने से cache छोटा होता है, क्वालिटी पर कुछ जोखिम के साथ।
BroadNet Inference पर
BroadNet यह प्रकाशित नहीं करता कि वह KV cache मेमोरी कैसे संभालता है। उसका API रेफ़रंस जो दर्ज करता है वह दिखने वाला असर है: usage.prompt_tokens_details.cached_tokens cache से पढ़े गए प्रॉम्प्ट टोकन बताता है, जो cached input कीमत पर बिल होते हैं, उदाहरण के लिए DeepSeek V4.1 Flash पर नए इनपुट के $0.175 के मुक़ाबले $0.0055 प्रति 1M टोकन। यह मॉडल और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन तक लेते हैं।
आम ग़लतियाँ
- context की लंबाई को सिर्फ़ कीमत का सवाल मानना। बड़े cache का मतलब धीमा prefill भी है।
- हर टर्न पर system prompt का क्रम बदलना। तब cached prefix मेल नहीं खाता, और प्रोवाइडर उसे दोबारा गिनता है।