ضع الإجابة في منتصف أمر طويل، وسيكون كثير من النماذج أكثر عرضة لتفويتها مما لو كانت في البداية أو النهاية.
كيف يحدث
اختبر Liu وآخرون (2023) النماذج على مهمتين. في الإجابة عن الأسئلة من مستندات متعددة، تلقّى النموذج سؤالًا وعدة مستندات مسترجعة، واحد منها فقط يحوي الإجابة. وفي استرجاع المفتاح والقيمة، كان عليه أن يجد قيمة واحدة في قائمة طويلة من الأزواج. وغيّر الباحثون موضع العنصر ذي الصلة.
ونتيجتهم: الأداء “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (ترجمة: يكون غالبًا في أعلى مستوياته حين تقع المعلومات ذات الصلة في بداية سياق المُدخل أو نهايته، ويتراجع كثيرًا حين يتعين على النماذج الوصول إلى معلومات في منتصف السياقات الطويلة، حتى في النماذج المصممة صراحةً للسياق الطويل). وإذا رُسمت الدقة بحسب الموضع، اتخذت شكل حرف U.
والقراءة العملية بسيطة. نافذة السياق الطويلة تخبرك بمقدار ما يقبله النموذج، لا بمدى تساوي استخدامه له.
لماذا يهم
- الترتيب في RAG. في التوليد المعزّز بالاسترجاع، يرتّب المسترجِع المقاطع. فإن وضعت أفضلها في وسط 20 مقطعًا، أهدرت الترتيب. ضعه أولًا، أو أولًا وأخيرًا.
- المستندات الطويلة. السؤال عن بند في الصفحة 40 من 80 أصعب من السؤال عن الصفحة 1. وجّه النموذج إلى القسم، أو استخرجه أولًا.
- الوكلاء. في سجل وكيل طويل، تحظى التعليمات المبكرة والدورة الأخيرة بالانتباه؛ أما مخرجات الأدوات في منتصف التشغيل فهي الجزء الأكثر عرضة لقلة الاستخدام.
والضياع في المنتصف جزء من ظاهرة أوسع تُسمّى تآكل السياق، تنخفض فيها الدقة مع الطول والمشتّتات، لا مع الموضع وحده.
في BroadNet Inference
يقبل DeepSeek V4.1 Flash وGLM 5.3 لدى BroadNet حتى 1,048,576 رمزًا في الطلب. وهذا يجعل الموضع أهم لا أقل، لأن المنتصف أكبر. وهذا ترتيب يراعي تأثيرات الموضع والإدخال المخزّن مؤقتًا معًا:
[stable system prompt and instructions] -> cached prefix
[documents, best-ranked first]
[the question, restated in full] -> end of prompt
ويتعمق كلٌّ من دليل سياق المليون رمز وهيكلة الأوامر للتخزين المؤقت أكثر في الموضوع.