جو ماڈل دس لاکھ ٹوکن لے سکتا ہے، وہ دس لاکھویں ٹوکن کو اتنی اچھی طرح استعمال نہیں کرتا جتنا پہلے ہزار کو۔ یہی فرق کانٹیکسٹ روٹ ہے۔
یہ کیسے کام کرتا ہے
Chroma کی رپورٹ (Hong، Troynikov اور Huber، جولائی 2025) نے 18 ماڈلز، جن میں GPT-4.1، Claude 4، Gemini 2.5 اور Qwen3 شامل تھے، ایسے کاموں پر ٹیسٹ کیے جن کی مشکل وہی رہی جبکہ ان پٹ بڑھتا گیا۔ اس کا مرکزی نتیجہ: “model performance consistently degrades with increasing input length.” (ترجمہ: ان پٹ کی لمبائی بڑھنے کے ساتھ ماڈل کی کارکردگی مسلسل گرتی ہے۔)
تین اثرات نمایاں تھے:
- کمزور مطابقت کو سب سے زیادہ نقصان۔ جب سوال اور متعلقہ عبارت میں کم الفاظ مشترک تھے تو لمبائی بڑھنے پر درستگی زیادہ تیزی سے گری۔
- بھٹکانے والے حصے (distractors) نقصان دیتے ہیں۔ “Even a single distractor reduces performance relative to the baseline” (ترجمہ: ایک اکیلا distractor بھی بیس لائن کے مقابلے میں کارکردگی کم کر دیتا ہے)، اور چار ہونے پر حالت مزید خراب ہوئی۔ Distractor اسی موضوع کی ایسی عبارت ہے جو سوال کا جواب نہیں دیتی۔
- ساخت عجیب طرح سے اہم ہے۔ مربوط فلر متن نے انہی جملوں کی بے ترتیب شکل سے زیادہ نقصان کیا۔ مصنفین نے پایا کہ “structural coherence consistently hurts model performance.” (ترجمہ: ساخت کا ربط مسلسل ماڈل کی کارکردگی کو نقصان پہنچاتا ہے۔)
یہ پہلے کے کام پر مبنی ہے، جیسے lost in the middle، جس نے جگہ کے اثرات دکھائے تھے۔ کانٹیکسٹ روٹ بات کو وسیع کرتا ہے: صرف جگہ نہیں، لمبائی خود بھی درستگی کم کرتی ہے۔
یہ کیوں اہم ہے
- ایجنٹس۔ کوڈنگ یا ریسرچ ایجنٹ میں فائل ریڈز، لاگز اور پرانے ٹول نتائج جمع ہوتے جاتے ہیں۔ ہر ایک ممکنہ distractor ہے۔ کانٹیکسٹ ونڈو بھرنے سے بہت پہلے ہی درستگی پھسل سکتی ہے۔
- لاگت اور تاخیر۔ لمبے پرامپٹس میں زیادہ ان پٹ ٹوکن لگتے ہیں اور پروسیسنگ میں زیادہ وقت لگتا ہے، اس لیے کٹائی تینوں محاذوں پر ایک ساتھ مدد کرتی ہے۔
- لمبا کانٹیکسٹ بمقابلہ ریٹریول۔ پورا کارپس بھیجنا آسان ہے، لیکن RAG صرف متعلقہ چنکس بھیج کر distractors کو باہر رکھتا ہے۔
BroadNet Inference پر
BroadNet پر DeepSeek V4.1 Flash اور GLM 5.3 زیادہ سے زیادہ 1,048,576 ٹوکن، اور Qwen3.8 27B زیادہ سے زیادہ 262,144 ٹوکن لیتے ہیں۔ BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا، اس لیے آپ جو بھیجتے ہیں ماڈل وہی پڑھتا ہے۔ حد کو چھت سمجھیں، ہدف نہیں۔ 1M ٹوکن کانٹیکسٹ ونڈو گائیڈ بتاتی ہے کہ پوری ونڈو کب فائدہ دیتی ہے، اور دیر تک چلنے والے ایجنٹس کے لیے کانٹیکسٹ مینجمنٹ خلاصہ بنانے اور کٹائی کے طریقے دکھاتی ہے۔ کانٹیکسٹ ونڈو کیلکولیٹر بھیجنے سے پہلے پرامپٹ کا سائز جانچنے میں مدد کرتا ہے۔
عام غلطیاں
- “شاید کام آ جائے” سوچ کر ہر فائل چپکا دینا۔ متعلقہ لیکن غیر ضروری متن بالکل وہی ہے جسے Chroma کے distractor ٹیسٹس نے استعمال کیا۔
- ایسی needle سے ٹیسٹ کرنا جو سوال سے لفظ بہ لفظ ملتی ہو۔ حقیقی سوال شاذ و نادر ہی ایسے ہوتے ہیں۔