دوپہر بھر کام کرنے والا کوڈنگ ایجنٹ بہت سی ہسٹری جمع کر لیتا ہے: پڑھی گئی فائلیں، چلائی گئی کمانڈز، ٹیسٹ آؤٹ پٹ، پلان، اصلاحات۔ ہر ٹرن یہ سب ماڈل کو واپس بھیجتا ہے۔ آپ اس بڑھتے کانٹیکسٹ کو کیسے مینج کرتے ہیں، یہ ایک ساتھ تین چیزیں طے کرتا ہے: ہر ٹرن کی لاگت، جواب کی رفتار، اور یہ کہ ایجنٹ کو اب بھی یاد ہے یا نہیں کہ وہ کیا کر رہا تھا۔
1M ٹوکن ونڈو ان سمجھوتوں کو بدلتی ہے۔ انہیں ختم نہیں کرتی۔
1M ٹوکن ونڈو طویل چلنے والے ایجنٹ کو کیا دیتی ہے؟
BroadNet Inference پر DeepSeek V4.1 Flash اور GLM 5.3 فی درخواست 1,048,576 ٹوکن تک قبول کرتے ہیں، پرامپٹ اور جواب ملا کر۔ Qwen3.8 27B 262,144 قبول کرتا ہے۔ چھوٹی ونڈو میں ایجنٹ کو ایک دو گھنٹے کے کام کے بعد خلاصہ بنانا پڑتا ہے۔ دس لاکھ ٹوکن کے ساتھ وہ عموماً پورے سیشن کی خام ہسٹری رکھ سکتا ہے اور صرف بہت لمبے رن کے آخر کے قریب compact کرتا ہے۔
یہ حقیقی فائدہ ہے: خلاصوں میں معلومات ضائع ہوتی ہیں، اور ہر خلاصہ اس ایک تفصیل کو بھولنے کا موقع ہے جو سب سے اہم تھی۔ لیکن تین لاگتیں پھر بھی پرامپٹ کے ساتھ بڑھتی ہیں:
- پیسہ، فی ٹوکن کلید پر، کیونکہ ہر ٹرن پورا پرامپٹ دوبارہ بھیجتا ہے۔
- لیٹنسی، کیونکہ سرور کو پہلا آؤٹ پٹ ٹوکن دینے سے پہلے ہر ان پٹ ٹوکن پروسیس کرنا ہوتا ہے۔
- توجہ۔ ان پٹ بڑھنے پر معیار گر سکتا ہے، جسے context rot کہتے ہیں۔ “Lost in the Middle” مقالے نے پایا کہ ماڈل لمبے ان پٹ کے شروع اور آخر کی معلومات درمیان کی معلومات سے زیادہ بھروسے سے استعمال کرتے ہیں۔ نئے ماڈل بہتر ہیں، لیکن اہم حقائق کناروں کے قریب رکھنے کی عادت اب بھی فائدہ دیتی ہے۔
اصول 1: ہسٹری append-only کیوں ہونی چاہیے؟
پرامپٹ کیشنگ پرامپٹ کے آغاز سے میچ کرتی ہے۔ اگر اس ٹرن کے پہلے 300,000 ٹوکن پچھلے ٹرن جیسے ہی ہیں تو وہ کیش سے دیے جا سکتے ہیں؛ پہلا بدلا ہوا ٹوکن میچ ختم کر دیتا ہے۔ جب ماڈل رپورٹ کرتا ہے تو BroadNet کا API اسے usage.prompt_tokens_details.cached_tokens میں دکھاتا ہے اور کیش شدہ ان پٹ کم ریٹ پر بل کرتا ہے: DeepSeek V4.1 Flash پر $0.0055 فی 1M ٹوکن، جبکہ نئے ان پٹ کے لیے $0.175۔
اس لیے ہر درخواست ایک ہی ترتیب میں بنائیں اور ہمیشہ صرف آخر میں اضافہ کریں:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
پری فکس توڑنے والی عام چیزیں یہ ہیں: سسٹم پرامپٹ میں ٹائم اسٹیمپ، بدلتی ترتیب میں ٹول کی تعریفیں، اور پرانے ٹول نتائج کو دوبارہ رینڈر کرنا۔ ایجنٹس کے لیے ایک اور شامل کریں: “sliding window” کٹائی، جو ہر بار سب سے پرانا ٹرن ہٹاتی ہے اور اس کے بعد کا سب کچھ کھسکا دیتی ہے۔ ان میں سے ہر چیز کیش شدہ پرامپٹ کو نیا پرامپٹ بنا دیتی ہے؛ کیشنگ کے لیے پرامپٹ کی ساخت باقی وجوہات گنواتی ہے، ایک ٹیسٹ کے ساتھ جو ثابت کرتا ہے کہ پری فکس کیش ہوا۔ لمبے سیشن میں فرق بڑا ہے: پرامپٹ کا زیادہ تر حصہ نئے ان پٹ کی بجائے کیش شدہ ان پٹ ہو سکتا ہے۔ کیش شدہ ان پٹ کا بل کیسے بنتا ہے۔
اصول 2: کیش ریٹ کیسے ناپیں؟
اسے ہر درخواست پر لاگ کریں۔ OpenAI SDK کے ساتھ، کال کے بعد تین لائنیں یہ کام کر دیتی ہیں:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
ایک صحت مند append-only ایجنٹ پہلے ٹرن کے بعد ہر ٹرن پر کیش شدہ حصہ زیادہ دکھاتا ہے۔ اچانک تقریباً صفر پر گرنے کا مطلب ہے کہ پرامپٹ کے شروع میں کچھ بدلا ہے۔ اسے ڈھونڈیں اور مستحکم کریں۔ پرامپٹ کیشنگ کیلکولیٹر کیش ریٹ کو فی سیشن رقم میں بدل دیتا ہے۔
اصول 3: کانٹیکسٹ بڑھے تو پہلے کیا کاٹیں؟
جب کانٹیکسٹ واقعی چھوٹا کرنا پڑے تو یہ اہم ہے کہ آپ کیا ہٹاتے ہیں۔ زیادہ تر ایجنٹ ٹرانسکرپٹس میں بڑا حصہ ٹول آؤٹ پٹ ہوتا ہے: 4,000 لائنوں کا ٹیسٹ لاگ، ایک فنکشن ڈھونڈنے کے لیے پڑھی گئی پوری فائل، ڈائریکٹری لسٹنگ۔ قیمتی حصہ چھوٹا ہوتا ہے: پلان، فیصلے اور ان کی وجوہات، جو ایررز درست کیے گئے۔
کاٹنے کی ترتیب، پہلے سے آخر تک:
- پرانا ٹول آؤٹ پٹ۔ پرانے ٹول نتائج کا اصل حصہ ایک لائن کے stub سے بدلیں: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”۔
- پرانا ہو چکا فائل مواد۔ اگر ایجنٹ نے
api.pyپڑھی، اس میں ترمیم کی، پھر دوبارہ پڑھی، تو پہلی بار پڑھا گیا حصہ فضول بوجھ ہے۔ - بے نتیجہ تلاش۔ وہ تلاشیں اور ریڈز جن سے کوئی تبدیلی نہیں ہوئی۔
- استدلال اور پلان۔ انہیں سب سے دیر تک رکھیں۔ یہ بتاتے ہیں کہ کوڈ ایسا کیوں ہے۔
ٹول آؤٹ پٹ کو بنتے ہی مختصر کر دینا اور بھی بہتر ہے۔ ہر ٹول نتیجے کی حد مقرر کریں (مثلاً لاگ کی آخری 200 لائنیں اور کل لائنوں کی گنتی) اور ضرورت ہو تو ایجنٹ کو مزید مانگنے دیں۔ اس سے ہسٹری append-only اور مختصر رہتی ہے۔
اصول 4: ایجنٹ کو اپنی ہسٹری کب compact کرنی چاہیے؟
Compaction (پرانی ہسٹری کا خلاصہ بنا کر اسے چھوٹے بلاک میں بدلنا) بھاری اوزار ہے۔ یہ پری فکس دوبارہ لکھتا ہے، اس لیے compaction کے بعد والا ٹرن سسٹم پرامپٹ کے بعد کی ہر چیز کے لیے پوری ان پٹ قیمت ادا کرتا ہے۔ ہر چند ٹرن پر تھوڑا تھوڑا compact کرنے کا مطلب ہے یہ قیمت بار بار ادا کرنا۔
بہتر طریقہ:
- اونچی حد چنیں۔ 1M ونڈو کے ساتھ، مثلاً 60–70% بھرنے پر compact کرنا خلاصے والے ٹرن اور نئے کام کے لمبے سلسلے کے لیے جگہ چھوڑتا ہے۔
- حالیہ حصہ جوں کا توں رکھیں۔ پرانے حصے کا خلاصہ بنائیں اور آخری ٹرنز کا سلسلہ برقرار رکھیں۔ opencode کے compaction ڈاکس یہی بتاتے ہیں: یہ گفتگو کا خلاصہ بناتا ہے اور سب سے حالیہ حصہ رکھتا ہے، پہلے سے طے شدہ طور پر تقریباً 15,000 ٹوکن۔
- پورے پرامپٹ کے ساتھ خلاصہ بنائیں۔ خلاصے کی درخواست میں پوری گفتگو بھیجنے سے وہ پچھلے ٹرن کا کیش دوبارہ استعمال کر پاتی ہے۔
- ایک بار compact کریں، پھر دوبارہ append کریں۔ compaction کے بعد نیا پری فکس مستحکم رہتا ہے، اور کیشنگ وہیں سے دوبارہ شروع ہوتی ہے۔
اصول 5: نوٹس فائل میں کیا ہونا چاہیے؟
کچھ حقائق کو کتنے بھی compaction کے بعد باقی رہنا چاہیے: مقصد، پابندیاں، کیے گئے فیصلے، پروجیکٹ کو build اور test کرنے والی کمانڈز۔ انہیں ایک مختصر نوٹس فائل (NOTES.md یا کوئی ٹاسک فائل) میں رکھیں، جس میں ایجنٹ اضافہ کرتا ہے اور جسے دوبارہ پڑھتا ہے۔ یہ پرامپٹ کے اوپری حصے کے قریب رہتی ہے، کبھی کبھار بدلتی ہے، اور رن دوبارہ شروع ہونے پر نیا سیشن سب سے پہلے اسی کو پڑھتا ہے۔
یہ میموری کی سب سے سستی شکل بھی ہے: چند ہزار ٹوکن، جو ایجنٹ کو ہر خلاصے کے بعد وہی حقائق دوبارہ دریافت کرنے سے بچاتے ہیں۔
ریزننگ ٹوکن بجٹ پر کیا اثر ڈالتے ہیں؟
DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور ریزننگ max_tokens میں گنی جاتی ہے۔ لمبا سیشن اسے نہیں بدلتا، لیکن بڑے پرامپٹ لوگوں کو “جگہ بچانے” کے لیے max_tokens کم کرنے پر اکساتے ہیں۔ ایسا نہ کریں۔ تنگ آؤٹ پٹ بجٹ خالی جواب پیدا کرتا ہے، جن پر ایجنٹ پھر دوبارہ کوشش کرتا ہے۔ جواب خالی کیوں آتے ہیں۔
یہ بھی یاد رکھیں کہ ونڈو پرامپٹ اور جواب دونوں کو ملا کر گنتی ہے۔ پرامپٹ 1,048,576 ٹوکن کے قریب پہنچے تو جواب کے لیے کوئی جگہ نہیں بچتی۔ وہاں پہنچنے سے پہلے compact کریں؛ کانٹیکسٹ ونڈو کیلکولیٹر دکھاتا ہے کہ کوئی پرامپٹ کتنی جگہ چھوڑتا ہے۔
کیا فلیٹ پلان پر یہ اہم ہے؟
BroadNet پلان سیشن پر DeepSeek V4.1 Flash کا کوئی ٹوکن میٹر نہیں: Full Moon سیشن $60 ماہانہ ہے، پرامپٹ کتنے بھی لمبے ہوں۔ کیشنگ کی مالی دلیل ختم ہو جاتی ہے۔ باقی دو نہیں۔ کئی سرونگ سسٹمز میں کیش شدہ پری فکس عموماً تیزی سے پروسیس ہوتا ہے، اور اچھی طرح مینج کیا گیا کانٹیکسٹ بہتر جواب دیتا ہے۔ عادتیں وہی ہیں؛ صرف وجہ بدلتی ہے۔ پلان سیشن کیسے کام کرتے ہیں۔
کانٹیکسٹ مینجمنٹ چیک لسٹ
- پورے سیشن کے لیے سسٹم پرامپٹ اور ٹول لسٹ مستقل۔
- ہسٹری میں صرف اضافہ؛ پرانے ٹرنز کبھی دوبارہ فارمیٹ نہیں ہوتے۔
- ہر درخواست پر کیش ریٹ لاگ۔
- ٹول آؤٹ پٹ بنتے وقت محدود؛ پرانا آؤٹ پٹ بعد میں stub سے تبدیل۔
- اونچی حد پر compaction، حالیہ حصہ جوں کا توں۔
- مقصد، پابندیوں اور فیصلوں والی ایک نوٹس فائل۔
- ریزننگ کے لیے کافی بڑا آؤٹ پٹ بجٹ۔
دس لاکھ ٹوکن کی ونڈو کب استعمال کرنا فائدہ مند ہے، اس پر مزید کے لیے 1M کانٹیکسٹ ونڈو گائیڈ دیکھیں۔ بغیر پیش رفت کے بڑھتے سیشن روکنے کے لیے ایجنٹ لوپ کی لاگت پر قابو دیکھیں۔
