BroadRouter

Lost in the middle (درمیان میں کھو جانا)

اپ ڈیٹ

Lost in the middle لینگویج ماڈلز کا مشاہدہ شدہ رجحان ہے کہ وہ متعلقہ معلومات کا سب سے اچھا استعمال تب کرتے ہیں جب وہ لمبے ان پٹ کے شروع یا آخر کے قریب ہو، اور سب سے برا تب جب وہ درمیان میں ہو۔ یہ نام Liu اور ساتھیوں کی 2023 کی تحقیق نے دیا۔

دوسرے نام: درمیان میں کھو جانا، لمبے context میں position bias، lost in the middle kya hai، lost in the middle problem، lost in the middle، lost-in-the-middle effect، middle-of-context problem، long-context position bias، U-shaped context performance

لمبے پرامپٹ کے درمیان میں جواب رکھ دیں تو کئی ماڈلز اسے شروع یا آخر میں رکھے جواب کے مقابلے میں زیادہ چوکتے ہیں۔

یہ کیسے کام کرتا ہے

Liu اور ساتھیوں (2023) نے ماڈلز کو دو کاموں پر پرکھا۔ multi-document question answering میں ماڈل کو ایک سوال اور کئی نکالی گئی دستاویزات ملیں، جن میں سے صرف ایک میں جواب تھا۔ key-value retrieval میں اسے جوڑوں کی لمبی فہرست میں ایک value ڈھونڈنی تھی۔ محققین نے بدل بدل کر دیکھا کہ متعلقہ چیز کہاں رکھی ہے۔

ان کا نتیجہ: کارکردگی “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (ترجمہ: اکثر تب سب سے بہتر ہوتی ہے جب متعلقہ معلومات ان پٹ context کے شروع یا آخر میں ہو، اور نمایاں طور پر گر جاتی ہے جب ماڈلز کو لمبے context کے درمیان کی معلومات تک پہنچنا ہو، واضح طور پر لمبے context کے لیے بنے ماڈلز میں بھی۔) position کے لحاظ سے پلاٹ کریں تو درستی U کی شکل بناتی ہے۔

عملی مطلب سیدھا ہے۔ لمبی context window بتاتی ہے کہ ماڈل کتنا لیتا ہے، یہ نہیں کہ وہ اسے کتنی برابری سے استعمال کرتا ہے۔

یہ کیوں اہم ہے

  • RAG میں ترتیب. Retrieval-augmented generation میں retriever passages کو رینک کرتا ہے۔ اگر آپ سب سے اچھے کو 20 کے درمیان رکھ دیں تو رینکنگ ضائع ہو گئی۔ اسے پہلے رکھیں، یا پہلے اور آخر دونوں میں۔
  • لمبی دستاویزات. 80 صفحات میں سے صفحہ 40 کی کسی شق کے بارے میں پوچھنا صفحہ 1 کے بارے میں پوچھنے سے مشکل ہے۔ ماڈل کو سیکشن کی طرف اشارہ کریں، یا پہلے اسے نکال لیں۔
  • Agents. کسی لمبی agent ہسٹری میں ابتدائی ہدایات اور آخری ٹرن پر توجہ جاتی ہے؛ رن کے درمیان کا ٹول آؤٹ پٹ وہ حصہ ہے جس کے کم استعمال ہونے کا سب سے زیادہ امکان ہے۔

Lost in the middle ایک وسیع اثر، context rot، کا ایک حصہ ہے، جس میں درستی صرف position سے نہیں بلکہ لمبائی اور توجہ ہٹانے والی چیزوں سے بھی گرتی ہے۔

BroadNet Inference پر

BroadNet کے DeepSeek V4.1 Flash اور GLM 5.3 فی درخواست 1,048,576 ٹوکنز تک لیتے ہیں۔ اس سے position کی اہمیت کم نہیں، زیادہ ہوتی ہے، کیونکہ درمیان کا حصہ اور بڑا ہو جاتا ہے۔ ایک لے آؤٹ جو position کے اثرات اور cached input دونوں کے ساتھ کام کرتا ہے:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

1M ٹوکن context گائیڈ اور کیشنگ کے لیے پرامپٹ کا ڈھانچہ اس سے آگے جاتے ہیں۔

عام سوالات

کیا نئے لمبے context والے ماڈلز بھی درمیان میں کھو جاتے ہیں؟

اصل تحقیق نے یہ کمی لمبے context کے لیے بنے ماڈلز میں بھی پائی۔ Chroma کی 2025 کی context rot رپورٹ جیسے بعد کے کام میں بھی لمبائی کے ساتھ درستی گرتی دکھائی دیتی ہے۔ اپنے ماڈل اور پرامپٹ لے آؤٹ کو ٹیسٹ کریں۔

پرامپٹ میں سب سے اہم دستاویز کہاں رکھوں؟

شروع یا آخر کے قریب، درمیان میں دبا کر نہیں۔ RAG کے لیے سب سے اونچے رینک والا passage پہلے رکھیں اور دستاویزات کے بعد سوال دوبارہ لکھیں۔

کیا یہ prompt caching سے ٹکراتا ہے؟

ٹکرا سکتا ہے۔ Caching مستحکم prefix کو ترجیح دیتی ہے، جبکہ position کا اثر سب سے متعلقہ ٹیکسٹ کو کناروں کے قریب چاہتا ہے۔ مستحکم ہدایات پہلے رکھیں، اور سوال اور اہم passages آخر میں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں