معظم ما يرسله الوكيل يتكرر في كل دور. يتيح التخزين المؤقت للأوامر للمزوّد أن يتخطى إعادة حساب هذا الجزء المتكرر، وأن يحتسبه بسعر أقل.
كيف يعمل
حين يقرأ النموذج أمرًا، يحسب حالة داخلية لكل رمز. ويستطيع المزوّد الاحتفاظ بهذه الحالة لمدة قصيرة. فإذا بدأ الطلب التالي بالرموز نفسها، يقرأ المزوّد الحالة المخزّنة بدل إعادة حسابها. هذه الرموز هي رموز الإدخال المخزّنة مؤقتًا.
تتطابق الذاكرة المؤقتة بدءًا من أول الأمر. يقول دليل OpenAI إن إعادة الاستخدام “requires the entire rendered prefix to match” (ترجمة: تتطلب تطابق البادئة المُصيَّرة بالكامل). وتغيير حرف واحد في بداية الأمر يجعل كل ما بعده إدخالًا جديدًا.
تختلف التفاصيل بين المزوّدين:
- OpenAI تفعّل التخزين المؤقت افتراضيًا في النماذج المدعومة وتُبلغ عن الإصابات في كتلة الاستهلاك. وتوثّق حدًا أدنى للبادئة قدره 1,024 رمزًا في نماذجها الأحدث.
- Anthropic تحتسب القراءة من الذاكرة المؤقتة بـ 0.1 من سعر الإدخال الأساسي لمعظم النماذج، وتحتسب الكتابة فيها بسعر أعلى، وتحتفظ بالمدخلات خمس دقائق افتراضيًا.
في صيغة Chat Completions تظهر الإصابات في usage.prompt_tokens_details.cached_tokens. ونسبة التخزين المؤقت هي هذا العدد مقسومًا على prompt_tokens.
لماذا تهم
في الأوامر الطويلة المتكررة، تحدّد نسبة التخزين المؤقت الفاتورة. فالوكيل الذي يعيد إرسال مستودع من 200,000 رمز في كل دور يدفع سعر الإدخال الكامل مرة واحدة، ثم السعر المخزّن مؤقتًا بعد ذلك، ما دامت البادئة ثابتة. وقد يقصّر التخزين المؤقت أيضًا الوقت حتى أول رمز في الأوامر الطويلة، لأن العمل المطلوب قبل بدء التوليد يقل.
لرفع النسبة، ضع المحتوى الثابت أولًا (أمر النظام، وتعريفات الأدوات، والمستندات) والمحتوى المتغير أخيرًا. أبعد الطوابع الزمنية ومعرّفات الطلبات عن أعلى الأمر، واحتفظ بقوائم الأدوات بترتيب ثابت. وتجد نسبة المزوّدين الذين تتضمّن أسعارهم المنشورة سعرًا للإدخال المخزّن مؤقتًا، والخصم المعتاد، في مؤشر أسعار LLM API.
في BroadNet Inference
تنشر BroadNet أسعار الإدخال المخزّن مؤقتًا لثلاثة نماذج محادثة، لكل مليون رمز:
| النموذج | الإدخال الجديد | الإدخال المخزّن مؤقتًا |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
تُحتسب الرموز المخزّنة مؤقتًا بالسعر الأقل تلقائيًا، ويعرضها prompt_tokens_details.cached_tokens حين يُبلغ النموذج عنها. وفي البث المتدفق، اطلب الاستهلاك عبر stream_options كما يوضّح دليل البث المتدفق.
أما في الخطة ثابتة السعر فلا يوجد عدّاد للرموز، لذا لا تغيّر نسبة التخزين المؤقت الفاتورة. وتجد الشرح الكامل، مع شيفرة لتسجيل نسبتك، في شرح رموز الإدخال المخزّنة مؤقتًا.