BroadRouter
ابدأ الآن

ذاكرة KV المؤقتة (KV cache)

آخر تحديث

ذاكرة KV المؤقتة (KV cache) هي الذاكرة التي يخزّن فيها نموذج لغة من نوع transformer مفاتيح الانتباه وقيمه المحسوبة لكل رمز عالجه، فيعيد كل رمز جديد استخدامها بدل إعادة حساب التسلسل كله. وتكبر مع طول السياق، وكثيرًا ما تحدّ من عدد الطلبات التي تخدمها وحدة GPU.

يُسمّى أيضًا: ذاكرة KV المؤقتة، كاش KV، ذاكرة المفاتيح والقيم، ذاكرة الانتباه المؤقتة، KV cache، key-value cache، past_key_values، attention cache، KV memory

في كل مرة يكتب فيها النموذج رمزًا، ينظر إلى كل الرموز التي سبقته. وذاكرة KV المؤقتة هي ما يجعل هذه النظرة إلى الخلف رخيصة.

كيف تعمل

يقارن الانتباه استعلام (query) الرمز الحالي بمفتاح (key) وقيمة (value) لكل رمز سابق. ودون ذاكرة مؤقتة، سيعيد النموذج حساب كل مفتاح وقيمة سابقين في كل خطوة. ويلخّص دليل التخزين المؤقت في Hugging Face المقايضة: مع الذاكرة المؤقتة، “attention cost per step is linear with sequence length” (ترجمة: تكلفة الانتباه في كل خطوة خطية مع طول التسلسل)، بينما الذاكرة “grows linearly” (ترجمة: تنمو خطيًا).

لذا للاستدلال مرحلتان:

  1. التعبئة المسبقة (prefill). يقرأ النموذج الأمر كله ويملأ الذاكرة المؤقتة. وهذه هي معظم مدة ظهور أول رمز.
  2. فك الترميز (decode). كل رمز جديد يضيف مفتاحًا واحدًا وقيمة واحدة لكل طبقة، ثم يقرأ الذاكرة المؤقتة كلها.

حجم الذاكرة المؤقتة لكل رمز تقريبًا 2 × layers × KV heads × head size × bytes per number. ومصممو النماذج يهاجمون كل حدّ فيها. فبطاقة DeepSeek لنموذج DeepSeek V4.1 Flash تذكر ذاكرة KV مؤقتة عامة قدرها 890 بايتًا لكل رمز، باستخدام تخزين FP4. وعند السياق الكامل البالغ 1,048,576 رمزًا يصبح ذلك 890 × 1,048,576 = 933,232,640 بايتًا، أي نحو 890 MiB لطلب واحد.

لماذا تهم

  • التزامن والسعر. تقول ورقة PagedAttention إن خدمة طلبات كثيرة في وقت واحد محدودة لأن ذاكرة KV المؤقتة “is huge and grows and shrinks dynamically” (ترجمة: ضخمة وتكبر وتصغر ديناميكيًا). ويدير vLLM هذه الذاكرة بصفحات كما يفعل نظام التشغيل، ويفيد بـ إنتاجية أعلى من ضعفين إلى 4 أضعاف بزمن الاستجابة نفسه.
  • السياق الطويل ليس مجانيًا. على المزوّد أن يحتفظ بالذاكرة المؤقتة لأمرك كله أثناء التوليد. وهذا أحد أسباب بطء بدء الطلبات ذات السياق الطويل.
  • التخزين المؤقت للأوامر مبني عليها. الاحتفاظ بحالة KV لبادئة ما بعد انتهاء الطلب هو ما يحاسب عليه المزوّد بوصفه رموز إدخال مخزّنة مؤقتًا. والبادئات الثابتة تصيب تلك الذاكرة أكثر؛ راجع هيكلة الأوامر للتخزين المؤقت.
  • التكميم ينطبق هنا أيضًا. تخزين المفاتيح والقيم ببتات أقل يصغّر الذاكرة المؤقتة، مع بعض المخاطرة على الجودة.

في BroadNet Inference

لا تنشر BroadNet طريقة إدارتها لذاكرة KV المؤقتة. أما ما يوثّقه مرجعها التقني فهو الأثر الظاهر: يُبلغ usage.prompt_tokens_details.cached_tokens عن رموز الأمر المقروءة من الذاكرة المؤقتة، وتُحاسَب بسعر الإدخال المخزّن مؤقتًا، مثلًا $0.0055 لكل مليون رمز على DeepSeek V4.1 Flash مقابل $0.175 للإدخال الجديد. ويقبل هذا النموذج وGLM 5.3 حتى 1,048,576 رمزًا في الطلب.

أخطاء شائعة

  • التعامل مع طول السياق على أنه مسألة سعر فقط. فالذاكرة المؤقتة الأكبر تعني أيضًا تعبئة مسبقة أبطأ.
  • إعادة ترتيب أمر النظام في كل دورة. عندها لا تعود البادئة المخزّنة مطابقة، فيعيد المزوّد حسابها.

أسئلة شائعة

هل ذاكرة KV المؤقتة هي نفسها التخزين المؤقت للأوامر؟

ليس تمامًا. تعيش ذاكرة KV المؤقتة داخل طلب واحد أثناء توليد النموذج. أما التخزين المؤقت للأوامر فيحتفظ بتلك الحالة بعد انتهاء الطلب حتى يعيد طلب لاحق بالبادئة نفسها استخدامها، ويحاسب المزوّدون على تلك الرموز بوصفها إدخالًا مخزّنًا مؤقتًا.

لماذا يستهلك الأمر الطويل كل هذه الذاكرة من GPU؟

كل رمز في السياق يضيف مفاتيحه وقيمه إلى الذاكرة المؤقتة، في كل طبقة. فالأمر الذي يبلغ مليون رمز يُبقي حالة الانتباه لمليون رمز في الذاكرة حتى ينتهي الرد.

ما حجم ذاكرة KV المؤقتة؟

تقريبًا 2 × عدد الطبقات × عدد رؤوس KV × حجم الرأس × البايتات لكل رقم، لكل رمز في السياق. وتذكر بطاقة DeepSeek أن DeepSeek V4.1 Flash يحتاج إلى 890 بايتًا لكل رمز، أي نحو 890 MiB عند سياقه الكامل البالغ 1,048,576 رمزًا.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity