پرامپٹ وہ ہے جو آپ ایک بار لکھتے ہیں۔ کانٹیکسٹ وہ سب ہے جو ماڈل ہر باری میں دیکھتا ہے، اور ایجنٹ میں یہ ہر باری بدلتا ہے۔
یہ کیسے کام کرتی ہے
Anthropic کی انجینئرنگ پوسٹ کانٹیکسٹ انجینئرنگ کو “the set of strategies for curating and maintaining the optimal set of tokens” (ترجمہ: ٹوکنز کے موزوں ترین مجموعے کو چننے اور برقرار رکھنے کی حکمتِ عملیوں کا مجموعہ) کہتی ہے، جو انفرینس کے دوران لاگو ہوتی ہیں اور پرامپٹ سے آگے کی معلومات بھی شامل کرتی ہیں۔ پوسٹ کا ہدف “smallest possible set of high-signal tokens” (ترجمہ: کارآمد اشارے والے ٹوکنز کا سب سے چھوٹا ممکن مجموعہ) تلاش کرنا ہے، جس سے مطلوبہ نتیجے کا امکان بڑھے۔
وجہ محدود توجہ ہے۔ پوسٹ کہتی ہے کہ ماڈلز کا ایک “attention budget” (ترجمہ: توجہ کا بجٹ) ہوتا ہے، اور کانٹیکسٹ بڑھنے پر ریکال گرتا ہے، جسے وہ context rot کہتی ہے۔ جگہ بھی اہم ہے: لمبے پرامپٹ کے بیچ میں رکھے حقائق آسانی سے چھوٹ جاتے ہیں (lost in the middle)۔
پوسٹ دیر تک چلنے والے ایجنٹس کے لیے کئی تکنیکیں گنواتی ہے:
| تکنیک | یہ کیا کرتی ہے |
|---|---|
| کمپیکشن | حد کے قریب تاریخ کا خلاصہ بنا کر اسی خلاصے سے آگے بڑھنا |
| ٹول نتائج ہٹانا (tool result clearing) | تاریخ سے پرانے خام ٹول آؤٹ پٹ ہٹا دینا |
| منظم نوٹس (structured note-taking) | ایجنٹ کانٹیکسٹ سے باہر ایک فائل میں نوٹس لکھتا ہے اور بعد میں انہیں دوبارہ پڑھتا ہے |
| سب ایجنٹس | صاف کانٹیکسٹ میں مرکوز کام کر کے مختصر خلاصہ لوٹانا |
| ضرورت کے وقت ریٹریول (just-in-time retrieval) | صرف حوالے (فائل پاتھ، کوئریز) رکھنا اور ڈیٹا تبھی لوڈ کرنا جب ضرورت ہو |
ایک کوڈنگ ایجنٹ میں ایک باری کے بجٹ کی مثال:
System prompt + rules 4,000 tokens
Tool definitions 6,000 tokens
Notes file 1,500 tokens
History (compacted) 20,000 tokens
Latest tool output 8,000 tokens <- largest single item
یہ کیوں اہم ہے
- معیار۔ کانٹیکسٹ میں کم شور کا مطلب عموماً بہتر جواب اور کم چھوٹی ہوئی ہدایات ہوتا ہے۔
- لاگت۔ فی ٹوکن بلنگ میں کانٹیکسٹ کے ہر ٹوکن کا بل ہر باری میں بنتا ہے۔ مستقل مواد کو شروع میں رکھنے سے وہ کیش شدہ ان پٹ کے طور پر سستا پڑتا ہے؛ دیکھیں کیشنگ کے لیے پرامپٹ کی ساخت۔
- رن کی طوالت۔ اچھا کانٹیکسٹ مینجمنٹ ایجنٹ کو کانٹیکسٹ ونڈو تک پہنچے بغیر گھنٹوں کام کرنے دیتا ہے۔
BroadNet Inference پر
کانٹیکسٹ انجینئرنگ آپ کے کوڈ میں ہوتی ہے: BroadNet کا Chat Completions API وہی پیغامات کی فہرست لیتا ہے جو آپ بھیجتے ہیں۔ DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 ٹوکن لیتے ہیں، Qwen3.8 27B 262,144 اور Gemma 4 VL 26B 32K، اس لیے مختصر کانٹیکسٹ سب سے زیادہ Gemma پر اہم ہے۔
جب ماڈل انہیں رپورٹ کرتا ہے تو usage.prompt_tokens_details.cached_tokens کیش سے پڑھے گئے ٹوکن دکھاتا ہے، جن کا بل استعمال کے مطابق ادائیگی پر کیش شدہ ان پٹ کی قیمت سے بنتا ہے۔ دیر تک چلنے والے ایجنٹس کے لیے کانٹیکسٹ مینجمنٹ پانچ عملی اصول دیتی ہے، اور ایجنٹ ٹوکن بجٹ والی پوسٹ دکھاتی ہے کہ ایجنٹ کے ٹوکن کہاں خرچ ہوتے ہیں۔