---
title: "KV cache क्या है? LLM attention का काम कैसे बचाते हैं"
description: "KV cache उन टोकन के attention keys और values सहेजता है जो LLM पढ़ चुका है, ताकि हर नया टोकन सस्ता पड़े। यह कैसे काम करता है और लंबे context को क्यों सीमित करता है।"
url: https://broadrouter.com/hi/glossary/kv-cache/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/kv-cache/) (2026-11-14 को अपडेट किया गया).

# KV cache (की-वैल्यू कैश)

अपडेट किया गया 2026-11-14

KV cache वह मेमोरी है जहाँ ट्रांसफ़ॉर्मर लैंग्वेज मॉडल पहले से प्रोसेस हुए हर टोकन के लिए निकाले गए attention keys और values रखता है, ताकि हर नया टोकन पूरी sequence दोबारा गिनने के बजाय उन्हें इस्तेमाल करे। यह context की लंबाई के साथ बढ़ता है और अक्सर तय करता है कि GPU कितने अनुरोध संभाले।

अन्य नाम: KV कैश, की-वैल्यू कैश, अटेंशन कैश, kv cache kya hai, kv cache kya hota hai, KV cache, key-value cache, past\_key\_values, attention cache, KV memory

हर बार जब मॉडल एक टोकन लिखता है, वह अपने से पहले के हर टोकन को पीछे मुड़कर देखता है। KV cache वह चीज़ है जो इस पीछे देखने को सस्ता बनाती है।

## यह कैसे काम करता है

Attention मौजूदा टोकन की query की तुलना हर पिछले टोकन के key और value से करता है। cache के बिना, मॉडल हर क़दम पर हर पिछला key और value दोबारा गिनता। Hugging Face की कैशिंग गाइड यह सौदा यूँ बताती है: cache के साथ “attention cost per step is linear with sequence length” (अनुवाद: हर क़दम पर attention की लागत sequence की लंबाई के साथ रैखिक है), जबकि मेमोरी “grows linearly” (अनुवाद: रैखिक रूप से बढ़ती है)।

इसलिए इन्फ़रेंस के दो चरण होते हैं:

1.  **Prefill.** मॉडल पूरा प्रॉम्प्ट पढ़ता है और cache भरता है। [पहले टोकन तक का समय](https://broadrouter.com/hi/glossary/time-to-first-token/) ज़्यादातर यहीं जाता है।
2.  **Decode.** हर नया टोकन हर layer में एक key और एक value जोड़ता है, फिर पूरा cache पढ़ता है।

प्रति टोकन cache का साइज़ मोटे तौर पर `2 × layers × KV heads × head size × bytes per number` है। मॉडल डिज़ाइनर हर पद को घटाने की कोशिश करते हैं। DeepSeek V4.1 Flash के लिए DeepSeek का कार्ड FP4 स्टोरेज के साथ प्रति टोकन 890 बाइट का global KV cache बताता है। पूरे 1,048,576 टोकन context पर यह 890 × 1,048,576 = 933,232,640 बाइट है, यानी एक अनुरोध के लिए लगभग 890 MiB।

## यह क्यों मायने रखता है

-   **Concurrency और कीमत.** PagedAttention पेपर कहता है कि एक साथ कई अनुरोध सर्व करना सीमित है, क्योंकि KV cache मेमोरी “is huge and grows and shrinks dynamically” (अनुवाद: बहुत बड़ी है और लगातार बढ़ती-घटती रहती है)। vLLM उस मेमोरी को ऑपरेटिंग सिस्टम की तरह पेज करता है और उसी latency पर 2 से 4 गुना ज़्यादा [थ्रूपुट](https://broadrouter.com/hi/glossary/throughput/) बताता है।
-   **लंबा context मुफ़्त नहीं.** जनरेट करते समय प्रोवाइडर को आपके पूरे प्रॉम्प्ट का cache रखना पड़ता है। यही एक वजह है कि लंबे context वाले अनुरोध धीरे शुरू होते हैं।
-   **Prompt caching इसी पर टिकी है.** अनुरोध ख़त्म होने के बाद किसी prefix का KV स्टेट रखना ही वह चीज़ है जिसे प्रोवाइडर [cached input टोकन](https://broadrouter.com/hi/glossary/cached-input-tokens/) के रूप में बिल करता है। स्थिर prefix उस cache से ज़्यादा बार मेल खाते हैं; देखें [कैशिंग के लिए प्रॉम्प्ट का ढाँचा](https://broadrouter.com/hi/blog/prompt-structure-for-caching/)।
-   **[क्वांटाइज़ेशन](https://broadrouter.com/hi/glossary/quantization/) यहाँ भी लागू होता है.** keys और values को कम bit में रखने से cache छोटा होता है, क्वालिटी पर कुछ जोखिम के साथ।

## BroadNet Inference पर

BroadNet यह प्रकाशित नहीं करता कि वह KV cache मेमोरी कैसे संभालता है। उसका API रेफ़रंस जो दर्ज करता है वह दिखने वाला असर है: `usage.prompt_tokens_details.cached_tokens` cache से पढ़े गए प्रॉम्प्ट टोकन बताता है, जो cached input कीमत पर बिल होते हैं, उदाहरण के लिए [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) पर नए इनपुट के $0.175 के मुक़ाबले $0.0055 प्रति 1M टोकन। यह मॉडल और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन तक लेते हैं।

## आम ग़लतियाँ

-   context की लंबाई को सिर्फ़ कीमत का सवाल मानना। बड़े cache का मतलब धीमा prefill भी है।
-   हर टर्न पर system prompt का क्रम बदलना। तब cached prefix मेल नहीं खाता, और प्रोवाइडर उसे दोबारा गिनता है।

## अक्सर पूछे जाने वाले सवाल

### क्या KV cache और prompt caching एक ही चीज़ हैं?

पूरी तरह नहीं। KV cache एक ही अनुरोध के अंदर रहता है, जब तक मॉडल जनरेट कर रहा है। Prompt caching अनुरोध ख़त्म होने के बाद भी वह स्टेट रखता है, ताकि उसी prefix वाला अगला अनुरोध उसे दोबारा इस्तेमाल कर सके, और प्रोवाइडर उन टोकन को cached input के रूप में बिल करते हैं।

### लंबा प्रॉम्प्ट इतनी GPU मेमोरी क्यों लेता है?

context का हर टोकन अपने keys और values हर layer में cache में जोड़ता है। दस लाख टोकन का प्रॉम्प्ट जवाब पूरा होने तक दस लाख टोकन का attention स्टेट मेमोरी में रखता है।

### KV cache कितना बड़ा होता है?

मोटे तौर पर context के हर टोकन के लिए 2 × layers × KV heads × head size × प्रति संख्या बाइट। DeepSeek का कार्ड DeepSeek V4.1 Flash के लिए प्रति टोकन 890 बाइट बताता है, जो उसके पूरे 1,048,576 टोकन context पर लगभग 890 MiB है।

## यह भी देखें

-   [कैश्ड इनपुट टोकन (cached input tokens)](https://broadrouter.com/hi/glossary/cached-input-tokens/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [पहले टोकन तक का समय (TTFT, time to first token)](https://broadrouter.com/hi/glossary/time-to-first-token/) (शब्द)
-   [थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/) (शब्द)
-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [स्पेक्युलेटिव डिकोडिंग (speculative decoding)](https://broadrouter.com/hi/glossary/speculative-decoding/) (शब्द)
-   [Prefill और decode](https://broadrouter.com/hi/glossary/prefill-and-decode/) (शब्द)
-   [vLLM](https://broadrouter.com/hi/glossary/vllm/) (शब्द)
-   [chat completions स्ट्रीम करें और टूटे कनेक्शन सँभालें](https://broadrouter.com/hi/guides/streaming-chat-completions/) (गाइड)
-   [1M-टोकन कॉन्टेक्स्ट विंडो कब फ़ायदेमंद है (और कब नहीं)](https://broadrouter.com/hi/blog/million-token-context-window-guide/) (लेख)
-   [प्रॉम्प्ट को कैसे बनाएँ ताकि प्रीफ़िक्स कैश हो](https://broadrouter.com/hi/blog/prompt-structure-for-caching/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-kv-cache&utm_content=page-cta) ·

**स्रोत**

-   [Kwon और साथी, Efficient Memory Management for LLM Serving with PagedAttention (vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, कैशिंग की व्याख्या](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, DeepSeek-V4.1-Flash मॉडल कार्ड (प्रति टोकन KV cache बाइट)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
