چیٹ کی لاگت ہوتی ہے جو آپ ٹائپ کرتے ہیں، اور جو ماڈل لکھتا ہے۔ ایجنٹ کی لاگت اس سے کہیں زیادہ ہوتی ہے، کیونکہ وہ ماڈل کو درجنوں بار کال کرتا ہے اور ہر بار تقریباً سب کچھ دوبارہ بھیجتا ہے۔ اگر آپ یہ لاگت کم کرنا چاہتے ہیں، یا بس کانٹیکسٹ ونڈو کی حد سے ٹکرانا بند کرنا چاہتے ہیں، تو آپ کو معلوم ہونا چاہیے کہ ہر درخواست کا کون سا حصہ بڑا ہے۔ یہ پوسٹ ایجنٹ لوپ کو پانچ حصوں میں بانٹتی ہے، API کے اپنے usage ڈیٹا سے ہر حصہ ناپنے کا طریقہ دکھاتی ہے، اور بتاتی ہے کہ پہلے کیا کم کریں۔
ایجنٹ سب کچھ دوبارہ کیوں بھیجتا ہے؟
چیٹ کمپلیشنز APIs اسٹیٹ لیس ہیں۔ ماڈل کو کالز کے درمیان کچھ یاد نہیں رہتا، اس لیے ایجنٹ ہر مرحلے پر پورا کانٹیکسٹ بھیجتا ہے۔ 40 مراحل والا ٹاسک، جس میں ہر کال 30,000 ٹوکن لے جاتی ہے، شاید 40,000 آؤٹ پٹ ٹوکن بنانے کے لیے 12 لاکھ ان پٹ ٹوکن پڑھتا ہے۔ یہی 30 سے 1 کا تناسب وجہ ہے کہ ایجنٹ کے بلوں میں ان پٹ ٹوکن اور ان کی کیش قیمت حاوی رہتی ہے۔
ٹوکن کہاں جاتے ہیں؟
| حصہ | یہ کیا ہے | ہر کال پر دہرایا جاتا ہے؟ | عام وجہ |
|---|---|---|---|
| سسٹم پرامپٹ | ایجنٹ کی ہدایات، rules فائلیں، پروجیکٹ نوٹس | ہاں | لمبی rules فائلیں |
| ٹول اسکیما | ہر ٹول کا نام، وضاحت اور JSON Schema | ہاں | بلٹ اِن ٹولز اور ہر MCP سرور |
| ہسٹری | پچھلے پیغامات، ٹول کالز اور نتائج | ہاں، اور بڑھتی ہے | لمبے سیشن |
| فائلیں پڑھنا اور ٹول آؤٹ پٹ | فائلوں کا مواد، ٹیسٹ لاگز، تلاش کے نتائج | ہاں، ہٹائے جانے تک | پوری فائلیں پڑھنا، لمبا آؤٹ پٹ دینے والی کمانڈز |
| آؤٹ پٹ | نظر آنے والا جواب، ٹول کالز اور ریزننگ | نہیں | ریزننگ effort، پوری فائلیں دوبارہ لکھنا |
پہلے دو مقررہ اوور ہیڈ ہیں۔ Cursor نے ستمبر 2026 میں لکھا کہ سسٹم پرامپٹ اور ٹول کی تعریفیں “had become one of the largest sources of spend that we fully control” (ترجمہ: ہمارے مکمل اختیار والے خرچ کے سب سے بڑے ذرائع میں سے ایک بن گئی تھیں)، اور فائلیں پڑھنے کو “another large source of token spend” (ترجمہ: ٹوکن خرچ کا ایک اور بڑا ذریعہ) کہا۔ اس کی تبدیلیوں نے، جن میں سسٹم پرامپٹ کا تقریباً دو تہائی حصہ ہٹانا اور 20% سے کم گفتگو میں استعمال ہونے والے ٹولز کو صرف ضرورت پر لوڈ کرنا شامل تھا، صارفین کی ٹوکن لاگت 7% کم کی۔ GitHub کی VS Code ٹیم نے Copilot کے لیے یہی دو لاگتیں بتائیں: دہرایا جانے والا پرامپٹ پری فکس اور ٹول کی تعریفوں کا اوور ہیڈ۔
اسے کیسے ناپیں؟
آپ کو کسی ٹریسنگ پروڈکٹ کی ضرورت نہیں۔ ہر جواب کا usage بلاک کافی ہے۔
- usage آن کریں۔ اسٹریمنگ میں
stream_options: {"include_usage": true}شامل کریں؛ usage آخری چنک میں آتا ہے۔ دیکھیں اسٹریمنگ۔ - ہر کال پر لاگ کریں: مرحلے کا نمبر،
prompt_tokens،prompt_tokens_details.cached_tokens،completion_tokensاور، جب بتایا جائے،completion_tokens_details.reasoning_tokens۔ - مقررہ اوور ہیڈ ایک بار ناپیں۔ صرف سسٹم پرامپٹ، ٹولز اور لفظ “hi” کے ساتھ ایک درخواست بھیجیں۔ اس کا
prompt_tokensآپ کی کم از کم سطح ہے۔ - ٹول کا آؤٹ پٹ ناپیں۔ ہر ٹول نتیجہ شامل کرنے سے پہلے اس کے حروف گنیں۔ چار سے تقسیم کرنے پر انگریزی ٹوکنز کی موٹی گنتی ملتی ہے؛ اپنے ماڈل کے tokenizer پر درست عدد کے لیے ایک نمونہ مفت ٹوکن کاؤنٹر میں چسپاں کریں۔
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
prompt_tokens کو مرحلے کے حساب سے پلاٹ کریں۔ مستحکم ڈھلوان کا مطلب ہے ہسٹری بڑھ رہی ہے۔ اچانک اچھال کا مطلب ہے کوئی بڑی فائل یا لاگ کانٹیکسٹ میں آیا۔ اونچی کم از کم سطح کا مطلب ہے بہت زیادہ ٹولز۔
Aider میں /tokens بتاتا ہے کہ موجودہ کانٹیکسٹ میں کیا ہے، اور /drop اس میں سے فائلیں ہٹاتا ہے۔
پہلے کیا کم کریں؟
جو سب سے آسان ہے اس کے حساب سے نہیں، سائز ضرب دہرائی کی ترتیب سے:
- غیر استعمال شدہ ٹولز۔ ہر ٹول اسکیما ہر کال کے ساتھ جاتا ہے۔ OpenAI کا گائیڈ کہتا ہے کہ فنکشن کی تعریفیں “are billed as input tokens” (ترجمہ: ان پٹ ٹوکنز کے طور پر بل ہوتی ہیں) اور ٹرن کے آغاز پر 20 سے کم فنکشنز کا مشورہ دیتا ہے، ایک نرم اصول کے طور پر۔ جو MCP سرورز اس ٹاسک میں استعمال نہیں ہو رہے، انہیں بند کریں؛ opencode کی ڈاکس صاف کہتی ہیں کہ MCP ٹولز ماڈل کا کانٹیکسٹ کھاتے ہیں۔
- ٹول آؤٹ پٹ۔ کمانڈ کے آؤٹ پٹ پر حد لگائیں (ٹیسٹ لاگ کی آخری 200 لائنیں، 20,000 نہیں)۔ تلاش کے نتائج پاتھ اور لائن نمبرز کے طور پر لوٹائیں، پھر صرف ضروری حصہ پڑھیں۔
- فائلیں پڑھنا۔ فائل نہیں، فنکشن پڑھیں۔ Aider کا repo map پوری فائلوں کے بجائے ڈیفالٹ 1k ٹوکن بجٹ (
--map-tokens) استعمال کرتا ہے۔ - ہسٹری۔ ہر تبدیلی کے لیے نیا ٹاسک شروع کریں۔ اگر سیشن جاری رکھنا ہی ہو، تو پرانے ٹرنز کو مختصر خلاصے سے بدل دیں۔
- سسٹم پرامپٹ۔ وہ قواعد ہٹائیں جن کی ماڈل پہلے سے پیروی کرتا ہے۔ باقی کو مستحکم رکھیں۔
- آؤٹ پٹ۔ پوری فائلیں نہیں، diffs مانگیں۔ معمول کے مراحل کے لیے
reasoning_effortکوlowپر سیٹ کریں۔ ریزننگ ٹوکنز کا بل آؤٹ پٹ کے طور پر بنتا ہے۔
پری فکس مستحکم کیوں رکھیں؟
فراہم کنندگان دہرائے گئے پری فکس کو کیش کرتے ہیں اور اس کا بل کم شرح پر بناتے ہیں۔ BroadNet Inference پر DeepSeek V4.1 Flash کیش شدہ ان پٹ کا بل فی 1M ٹوکن $0.0055 پر اور نئے ان پٹ کا $0.175 پر بناتا ہے۔ GLM 5.3، $0.173 بمقابلہ $0.78 لیتا ہے۔ سسٹم پرامپٹ میں ٹائم اسٹیمپ، یا ہر کال میں مختلف ترتیب سے درج ٹولز، اس جگہ سے آگے کیش توڑ دیتے ہیں۔ مستحکم حصے پہلے، مقررہ ترتیب میں رکھیں، اور بدلنے والے حصے آخر میں۔ مزید کیش شدہ ان پٹ ٹوکنز کی وضاحت میں؛ پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ کوئی خاص ہٹ کی شرح کتنا بچاتی ہے۔
کیشنگ پری فکس کی قیمت کم کرتی ہے، اس کا سائز نہیں۔ کیش شدہ ٹوکن تب بھی کانٹیکسٹ ونڈو بھرتے ہیں اور پروسیس ہونے میں وقت لیتے ہیں۔
ایک حل شدہ ایجنٹ بجٹ کیسا دکھتا ہے؟
اوپر والا 40 مراحل کا ٹاسک لیں، جس کا 80% ان پٹ کیش شدہ ہے:
| حصہ | ٹوکن | کس شرح پر بل |
|---|---|---|
| نیا ان پٹ | 240,000 | ان پٹ قیمت |
| کیش شدہ ان پٹ | 960,000 | کیش شدہ ان پٹ قیمت |
| ریزننگ سمیت آؤٹ پٹ | 40,000 | آؤٹ پٹ قیمت |
ہر کال سے غیر استعمال شدہ ٹول اسکیما کے 5,000 ٹوکن ہٹانے پر اس ٹاسک سے 200,000 ان پٹ ٹوکن کم ہو جاتے ہیں، کل کا تقریباً چھٹا حصہ، اور ایجنٹ کے رویے میں کوئی تبدیلی نہیں۔ کم کرنے کے علاوہ لاگت کے دوسرے لیورز، جیسے ماڈل کا انتخاب، کیشنگ اور مقررہ پلانز، کے لیے دیکھیں کوڈنگ ایجنٹ کی LLM لاگت کم کرنے کے 10 طریقے۔ ملٹی ایجنٹ سیٹ اپس کے لیے ایجنٹس کی تعداد سے ضرب دیں؛ دیکھیں ملٹی ایجنٹ سیٹ اپس کی لاگت۔ اپنے لوپ کو مرحلہ بہ مرحلہ ماڈل کرنے کے لیے ایجنٹ رن لاگت تخمینہ کار استعمال کریں۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference، usage بلاک میں پرامپٹ اور کمپلیشن ٹوکن لوٹاتا ہے، اور ماڈل بتائے تو کیش شدہ اور ریزننگ ٹوکن بھی، اس لیے اوپر کا ناپنے کا طریقہ جیسا لکھا ہے ویسا ہی کام کرتا ہے۔ DeepSeek V4.1 Flash پر اس کی کم کیش شدہ ان پٹ قیمت مستحکم پری فکس کو فائدہ دیتی ہے۔ اگر کم کرنے میں وقت لگانا فائدہ مند نہ ہو، تو لامحدود پلانز DeepSeek V4.1 Flash کا ٹوکن میٹر $60 ماہانہ فی سیشن پر ہٹا دیتے ہیں؛ کانٹیکسٹ ونڈو کی حد تب بھی لاگو ہے، اور ہلکا کانٹیکسٹ تب بھی تیز چلتا ہے۔ پلانز inference.broadnet.ai/plans پر ہیں۔
