BroadRouter
شروع کریں

KV cache (کی ویلیو کیش)

اپ ڈیٹ

KV cache وہ میموری ہے جہاں ٹرانسفارمر لینگویج ماڈل پہلے سے پروسیس شدہ ہر ٹوکن کے لیے نکالی گئی attention keys اور values رکھتا ہے، تاکہ ہر نیا ٹوکن پوری sequence دوبارہ گننے کے بجائے انہیں استعمال کرے۔ یہ context کی لمبائی کے ساتھ بڑھتا ہے اور اکثر طے کرتا ہے کہ GPU کتنی درخواستیں سنبھالے۔

دوسرے نام: KV کیش، کی ویلیو کیش، اٹینشن کیش، kv cache kya hai، kv cache kya hota hai، KV cache، key-value cache، past_key_values، attention cache، KV memory

ہر بار جب ماڈل ایک ٹوکن لکھتا ہے، وہ اپنے سے پہلے کے ہر ٹوکن کو پیچھے مڑ کر دیکھتا ہے۔ KV cache وہ چیز ہے جو اس پیچھے دیکھنے کو سستا بناتی ہے۔

یہ کیسے کام کرتا ہے

Attention موجودہ ٹوکن کی query کا موازنہ ہر پچھلے ٹوکن کی key اور value سے کرتا ہے۔ cache کے بغیر، ماڈل ہر قدم پر ہر پچھلی key اور value دوبارہ گنتا۔ Hugging Face کی کیشنگ گائیڈ یہ سودا یوں بیان کرتی ہے: cache کے ساتھ “attention cost per step is linear with sequence length” (ترجمہ: ہر قدم پر attention کی لاگت sequence کی لمبائی کے ساتھ خطی ہے)، جبکہ میموری “grows linearly” (ترجمہ: خطی طور پر بڑھتی ہے)۔

اس لیے انفرنس کے دو مرحلے ہوتے ہیں:

  1. Prefill. ماڈل پورا پرامپٹ پڑھتا ہے اور cache بھرتا ہے۔ پہلے ٹوکن تک کا وقت زیادہ تر یہیں لگتا ہے۔
  2. Decode. ہر نیا ٹوکن ہر layer میں ایک key اور ایک value شامل کرتا ہے، پھر پورا cache پڑھتا ہے۔

فی ٹوکن cache کا سائز موٹے طور پر 2 × layers × KV heads × head size × bytes per number ہے۔ ماڈل ڈیزائنرز ہر جزو کو گھٹانے کی کوشش کرتے ہیں۔ DeepSeek V4.1 Flash کے لیے DeepSeek کا کارڈ FP4 اسٹوریج کے ساتھ فی ٹوکن 890 بائٹس کا global KV cache بتاتا ہے۔ پورے 1,048,576 ٹوکن context پر یہ 890 × 1,048,576 = 933,232,640 بائٹس ہے، یعنی ایک درخواست کے لیے تقریباً 890 MiB۔

یہ کیوں اہم ہے

  • Concurrency اور قیمت. PagedAttention پیپر کہتا ہے کہ ایک ساتھ کئی درخواستیں سرو کرنا محدود ہے کیونکہ KV cache میموری “is huge and grows and shrinks dynamically” (ترجمہ: بہت بڑی ہے اور مسلسل بڑھتی گھٹتی رہتی ہے)۔ vLLM اس میموری کو آپریٹنگ سسٹم کی طرح پیج کرتا ہے اور اسی latency پر 2 سے 4 گنا زیادہ تھروپٹ بتاتا ہے۔
  • لمبا context مفت نہیں. جنریٹ کرتے وقت فراہم کنندہ کو آپ کے پورے پرامپٹ کا cache رکھنا پڑتا ہے۔ یہی ایک وجہ ہے کہ لمبے context والی درخواستیں دیر سے شروع ہوتی ہیں۔
  • Prompt caching اسی پر کھڑی ہے. درخواست ختم ہونے کے بعد کسی prefix کا KV اسٹیٹ رکھنا ہی وہ چیز ہے جسے فراہم کنندہ cached input ٹوکنز کے طور پر بل کرتا ہے۔ مستحکم prefixes اس cache سے زیادہ بار ملتے ہیں؛ دیکھیں کیشنگ کے لیے پرامپٹ کا ڈھانچہ۔
  • کوانٹائزیشن یہاں بھی لاگو ہوتی ہے. keys اور values کو کم bits میں رکھنے سے cache چھوٹا ہوتا ہے، معیار پر کچھ خطرے کے ساتھ۔

BroadNet Inference پر

BroadNet یہ شائع نہیں کرتا کہ وہ KV cache میموری کیسے سنبھالتا ہے۔ اس کا API ریفرنس جو درج کرتا ہے وہ نظر آنے والا اثر ہے: usage.prompt_tokens_details.cached_tokens cache سے پڑھے گئے پرامپٹ ٹوکنز بتاتا ہے، جو cached input قیمت پر بل ہوتے ہیں، مثال کے طور پر DeepSeek V4.1 Flash پر نئے ان پٹ کے $0.175 کے مقابلے میں $0.0055 فی 1M ٹوکنز۔ یہ ماڈل اور GLM 5.3 فی درخواست 1,048,576 ٹوکنز تک لیتے ہیں۔

عام غلطیاں

  • context کی لمبائی کو صرف قیمت کا سوال سمجھنا۔ بڑے cache کا مطلب سست prefill بھی ہے۔
  • ہر ٹرن پر system prompt کی ترتیب بدلنا۔ تب cached prefix نہیں ملتا، اور فراہم کنندہ اسے دوبارہ گنتا ہے۔

عام سوالات

کیا KV cache اور prompt caching ایک ہی چیز ہیں؟

پوری طرح نہیں۔ KV cache ایک ہی درخواست کے اندر رہتا ہے، جب تک ماڈل جنریٹ کر رہا ہو۔ Prompt caching درخواست ختم ہونے کے بعد بھی وہ اسٹیٹ رکھتی ہے، تاکہ اسی prefix والی اگلی درخواست اسے دوبارہ استعمال کر سکے، اور فراہم کنندگان ان ٹوکنز کو cached input کے طور پر بل کرتے ہیں۔

لمبا پرامپٹ اتنی GPU میموری کیوں لیتا ہے؟

context کا ہر ٹوکن اپنی keys اور values ہر layer میں cache میں شامل کرتا ہے۔ دس لاکھ ٹوکنز کا پرامپٹ جواب مکمل ہونے تک دس لاکھ ٹوکنز کا attention اسٹیٹ میموری میں رکھتا ہے۔

KV cache کتنا بڑا ہوتا ہے؟

موٹے طور پر context کے ہر ٹوکن کے لیے 2 × layers × KV heads × head size × فی عدد بائٹس۔ DeepSeek کا کارڈ DeepSeek V4.1 Flash کے لیے فی ٹوکن 890 بائٹس بتاتا ہے، جو اس کے پورے 1,048,576 ٹوکن context پر تقریباً 890 MiB ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں