BroadRouter

كيف تبني الأوامر لتُخزَّن بادئتها مؤقتًا؟

بقلم فريق BroadNet Inference · قراءة في 4 دقائق · تاريخ النشر · آخر تحديث

رتّب كل طلب من الأكثر ثباتًا إلى الأقل ثباتًا: أمر النظام، ثم تعريفات الأدوات، ثم المستندات المرجعية، ثم سجل المحادثة، ثم الرسالة الجديدة. واجعل كل طبقة متطابقة بايتًا ببايت بين الاستدعاءات: لا طوابع زمنية ولا معرّفات في الأعلى، والأدوات مرتّبة، وJSON مسلسل بطريقة حتمية، والسجل يُضاف إليه فقط. ثم قِس cached_tokens لتتأكد أن البادئة يُعاد استخدامها فعلًا.

رموز الإدخال المخزّنة مؤقتًا رخيصة، وفي BroadNet Inference يحتسبها DeepSeek V4.1 Flash بسعر $0.0055 لكل مليون بدل $0.175. ويغطي شرح الرموز المخزّنة مؤقتًا السعر وكيفية قراءة حقل الاستخدام. أما هذا المقال فيتناول عمل التصميم: كيف ترتّب الأمر لتصيب الذاكرة المؤقتة فعلًا، وكيف تثبت ذلك.

لماذا يحدد ترتيب الأمر نسبة الإصابة في الذاكرة المؤقتة؟

كل المزوّدين الكبار يخزّنون مؤقتًا حسب البادئة. يقول دليل OpenAI إن إعادة الاستخدام تتطلب أن تتطابق البادئة كاملة بعد تطبيق القالب. وتصف وثائق DeepSeek القاعدة نفسها: الطلب يصيب الذاكرة المؤقتة فقط إذا طابق بادئة مخزّنة بالكامل، والطلب الذي يتباعد عنها في منتصفها لا يصيب. وتبني Anthropic ذاكرتها المؤقتة بترتيب: الأدوات، ثم النظام، ثم الرسائل.

في الداخل، يعيد الخادم استخدام ذاكرة KV المؤقتة التي بناها لتلك البادئة. لذا فالذاكرة المؤقتة خط مستقيم يبدأ من الرمز الأول. وأول بايت يختلف عن الاستدعاء السابق ينهي الجزء القابل لإعادة الاستخدام. فطابع زمني من سطر واحد في أعلى أمر من 50,000 رمز يكلّفك الـ 50,000 رمز كلها بالسعر الكامل.

ما الترتيب الصحيح للطبقات؟

الطبقة تتغيّر مثال القاعدة
1. أمر النظام مع كل نشر الدور والقواعد وصيغة الإخراج لا تواريخ ولا معرّفات ولا أسماء مستخدمين
2. تعريفات الأدوات مع كل نشر مخططات الدوال JSON مرتّب وحتمي
3. المادة المرجعية مع كل جلسة أو مهمة ملفات المستودع والعقود ووثائق المنتج ترتيب ثابت وعناوين ثابتة
4. سجل المحادثة مع كل دور، بالإضافة فقط أدوار المستخدم والمساعد السابقة لا تعدّل أبدًا؛ أضف فقط
5. الرسالة الجديدة في كل استدعاء السؤال، مع الوقت الحالي إن لزم البيانات المتغيّرة مكانها هنا

الطبقة 5 هي مكان كل ما هو متغيّر: التاريخ الحالي، ولغة المستخدم وإعداداته المحلية، ومعرّف الطلب، والمقتطفات المسترجعة التي تختلف من سؤال إلى آخر.

ما الذي يكسر البادئة دون أن تلاحظ؟

  1. ترتيب القاموس. كثيرًا ما تبني أطر العمل مصفوفة tools من قاموس أو سجل. فإذا حُمّلت الإضافات بترتيب مختلف، تتغيّر البايتات.
  2. تنسيق JSON. json.dumps(x) وjson.dumps(x, indent=2) بادئتان مختلفتان. وكذلك أداتا تسلسل بترتيبين مختلفين للمفاتيح.
  3. المسافات في القوالب. مسافة زائدة في نهاية السطر، أو \r\n من مسار في الشيفرة و\n من مسار آخر.
  4. قوائم الأدوات الديناميكية. حذف الأدوات التي لا يستطيع المستخدم استخدامها يغيّر البادئة. وينصح دليل OpenAI بإبقاء التعريفات ثابتة وتقييد الاستخدام عبر tool_choice أو إعداد للأدوات المسموحة.
  5. تلخيص السجل في مكانه. إعادة كتابة الأدوار القديمة في ملخص تعيد ضبط كل ما بعد أمر النظام. لخّص نادرًا وعلى خطوات كبيرة.
  6. الاسترجاع قبل التعليمات. مقتطفات RAG الموضوعة بين أمر النظام والأدوات تختلف مع كل استعلام، فتكسر طبقة الأدوات أيضًا.

كيف تبني طلبًا ملائمًا للتخزين المؤقت في الشيفرة؟

اجعل كل طبقة دالة في مدخلات ثابتة فقط، وسلسلها بطريقة حتمية:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

تفصيلان. الوقت الحالي يوضع في الرسالة الأخيرة، لا في أمر النظام. والسجل يخزّن رسالة المساعد كما عادت تمامًا، فيعيد الاستدعاء التالي إرسال البايتات نفسها.

كيف تثبت أن البادئة مخزّنة مؤقتًا؟

شغّل اختبارًا من استدعاءين في CI أو في دفتر ملاحظات (notebook):

  1. ابنِ طلبًا بأمر النظام والأدوات والمستندات الحقيقية لديك.
  2. أرسله. ودوّن usage.prompt_tokens.
  3. غيّر رسالة المستخدم الأخيرة فقط وأرسله مجددًا.
  4. اقرأ usage.prompt_tokens_details.cached_tokens في الاستدعاء الثاني. يجب أن يغطي البادئة المشتركة كلها تقريبًا.
  5. إذا كان صفرًا أو صغيرًا، فقارن جسمي الطلبين المسلسلين بايتًا ببايت. أول اختلاف هو ما يكسر ذاكرتك المؤقتة.

التخزين المؤقت لدى معظم المزوّدين بأفضل جهد، وتقول وثائق DeepSeek ذلك صراحة، لذا فإن إخفاقًا واحدًا ليس دليلًا على خلل. أما الإخفاق المتكرر فهو كذلك. تابع نسبة الرموز المخزّنة مؤقتًا إلى رموز الأمر لكل طلب في سجلات الاستخدام لديك، واستخدم حاسبة التخزين المؤقت للأوامر لترى ما توفّره نسبة إصابة أعلى.

كيف يتغيّر هذا مع الوكلاء والسياق الطويل؟

الوكلاء هم أكثر المستفيدين لأنهم يعيدون إرسال البادئة الكبيرة نفسها عشرات المرات في كل مهمة. وهناك عادتان مهمتان:

  • محادثة واحدة لكل مهمة. بدء محادثة جديدة لكل خطوة فرعية يرمي البادئة.
  • اقرأ الملفات مرة واحدة، قرب البداية. إذا أعاد الوكيل قراءة ملف، فأضف النسخة الجديدة بدل استبدال القديمة، ما لم يكن الملف قد تغيّر.

ومع نافذة سياق من مليون رمز، تستطيع الطبقة 3 أن تحمل مستودعًا كاملًا. وهذا معقول التكلفة بمفتاح الدفع لكل رمز فقط حين يُخزَّن مؤقتًا، ولهذا يزداد ترتيب الطبقات أهمية كلما كبرت الأوامر. والبادئات المخزّنة مؤقتًا تميل أيضًا إلى تقليص الوقت حتى أول رمز؛ راجع TTFT مقابل الإنتاجية.

أين تقع BroadNet Inference من هذا؟

في BroadNet Inference، تبلّغ كتلة usage عن prompt_tokens_details.cached_tokens حين يبلّغ عنه النموذج، ويُحتسب الإدخال المخزّن مؤقتًا في DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B بالسعر الأقل المذكور في صفحة الأسعار. ولا تقدّم BroadNet في وثائقها نقاط فصل صريحة للذاكرة المؤقتة ولا معامل مفتاح للذاكرة المؤقتة، لذا فالترتيب أعلاه هو الأسلوب كله. وفي الخطة غير المحدودة لا تغيّر الذاكرة المؤقتة الفاتورة، لأن الجلسات بلا عدّاد رموز، لكن البنية نفسها تظل تساعد في زمن الاستجابة.

أسئلة شائعة

لماذا نسبة الإصابة في الذاكرة المؤقتة للأوامر لديّ منخفضة؟

شيء قرب بداية الأمر يتغيّر في كل استدعاء. والأسباب المعتادة طابع زمني أو معرّف طلب في أمر النظام، أو أدوات تُسلسَل بترتيب مختلف، أو مستندات مسترجعة موضوعة قبل التعليمات، أو سجل يُلخَّص ويُعاد كتابته.

هل يأتي سؤال المستخدم قبل المستندات الطويلة أم بعدها؟

بعدها. ضع المستندات أولًا والسؤال أخيرًا. فتشكّل المستندات حينئذ بادئة قابلة لإعادة الاستخدام، وكثير من النماذج تجيب أيضًا بشكل أفضل حين يأتي السؤال بعد المادة.

هل تُفسد تعريفات الأدوات التخزين المؤقت للأوامر؟

فقط إذا تغيّرت. الأدوات جزء من البادئة، فأبقِ المجموعة نفسها بالترتيب نفسه وبصيغة JSON نفسها. ولتقييد الأدوات في استدعاء واحد، استخدم tool_choice بدل تعديل القائمة.

هل يهم ترتيب أمثلة few-shot للتخزين المؤقت؟

نعم. الأمثلة المخلوطة عشوائيًا تنتج بادئة مختلفة في كل مرة. ثبّت الترتيب، أو ضع الأمثلة التي تتغيّر مع كل طلب بعد الجزء الثابت.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity