ہر بار جب ماڈل ایک ٹوکن لکھتا ہے، وہ اپنے سے پہلے کے ہر ٹوکن کو پیچھے مڑ کر دیکھتا ہے۔ KV cache وہ چیز ہے جو اس پیچھے دیکھنے کو سستا بناتی ہے۔
یہ کیسے کام کرتا ہے
Attention موجودہ ٹوکن کی query کا موازنہ ہر پچھلے ٹوکن کی key اور value سے کرتا ہے۔ cache کے بغیر، ماڈل ہر قدم پر ہر پچھلی key اور value دوبارہ گنتا۔ Hugging Face کی کیشنگ گائیڈ یہ سودا یوں بیان کرتی ہے: cache کے ساتھ “attention cost per step is linear with sequence length” (ترجمہ: ہر قدم پر attention کی لاگت sequence کی لمبائی کے ساتھ خطی ہے)، جبکہ میموری “grows linearly” (ترجمہ: خطی طور پر بڑھتی ہے)۔
اس لیے انفرنس کے دو مرحلے ہوتے ہیں:
- Prefill. ماڈل پورا پرامپٹ پڑھتا ہے اور cache بھرتا ہے۔ پہلے ٹوکن تک کا وقت زیادہ تر یہیں لگتا ہے۔
- Decode. ہر نیا ٹوکن ہر layer میں ایک key اور ایک value شامل کرتا ہے، پھر پورا cache پڑھتا ہے۔
فی ٹوکن cache کا سائز موٹے طور پر 2 × layers × KV heads × head size × bytes per number ہے۔ ماڈل ڈیزائنرز ہر جزو کو گھٹانے کی کوشش کرتے ہیں۔ DeepSeek V4.1 Flash کے لیے DeepSeek کا کارڈ FP4 اسٹوریج کے ساتھ فی ٹوکن 890 بائٹس کا global KV cache بتاتا ہے۔ پورے 1,048,576 ٹوکن context پر یہ 890 × 1,048,576 = 933,232,640 بائٹس ہے، یعنی ایک درخواست کے لیے تقریباً 890 MiB۔
یہ کیوں اہم ہے
- Concurrency اور قیمت. PagedAttention پیپر کہتا ہے کہ ایک ساتھ کئی درخواستیں سرو کرنا محدود ہے کیونکہ KV cache میموری “is huge and grows and shrinks dynamically” (ترجمہ: بہت بڑی ہے اور مسلسل بڑھتی گھٹتی رہتی ہے)۔ vLLM اس میموری کو آپریٹنگ سسٹم کی طرح پیج کرتا ہے اور اسی latency پر 2 سے 4 گنا زیادہ تھروپٹ بتاتا ہے۔
- لمبا context مفت نہیں. جنریٹ کرتے وقت فراہم کنندہ کو آپ کے پورے پرامپٹ کا cache رکھنا پڑتا ہے۔ یہی ایک وجہ ہے کہ لمبے context والی درخواستیں دیر سے شروع ہوتی ہیں۔
- Prompt caching اسی پر کھڑی ہے. درخواست ختم ہونے کے بعد کسی prefix کا KV اسٹیٹ رکھنا ہی وہ چیز ہے جسے فراہم کنندہ cached input ٹوکنز کے طور پر بل کرتا ہے۔ مستحکم prefixes اس cache سے زیادہ بار ملتے ہیں؛ دیکھیں کیشنگ کے لیے پرامپٹ کا ڈھانچہ۔
- کوانٹائزیشن یہاں بھی لاگو ہوتی ہے. keys اور values کو کم bits میں رکھنے سے cache چھوٹا ہوتا ہے، معیار پر کچھ خطرے کے ساتھ۔
BroadNet Inference پر
BroadNet یہ شائع نہیں کرتا کہ وہ KV cache میموری کیسے سنبھالتا ہے۔ اس کا API ریفرنس جو درج کرتا ہے وہ نظر آنے والا اثر ہے: usage.prompt_tokens_details.cached_tokens cache سے پڑھے گئے پرامپٹ ٹوکنز بتاتا ہے، جو cached input قیمت پر بل ہوتے ہیں، مثال کے طور پر DeepSeek V4.1 Flash پر نئے ان پٹ کے $0.175 کے مقابلے میں $0.0055 فی 1M ٹوکنز۔ یہ ماڈل اور GLM 5.3 فی درخواست 1,048,576 ٹوکنز تک لیتے ہیں۔
عام غلطیاں
- context کی لمبائی کو صرف قیمت کا سوال سمجھنا۔ بڑے cache کا مطلب سست prefill بھی ہے۔
- ہر ٹرن پر system prompt کی ترتیب بدلنا۔ تب cached prefix نہیں ملتا، اور فراہم کنندہ اسے دوبارہ گنتا ہے۔