ایجنٹ جو کچھ LLM کو بھیجتا ہے اس کا زیادہ تر حصہ ہر ٹرن پر ایک جیسا ہوتا ہے: سسٹم پرامپٹ، ٹول ڈیفینیشنز، وہ فائلیں جن پر وہ کام کر رہا ہے، اور اب تک کی گفتگو۔ صرف آخری پیغام نیا ہوتا ہے۔ پرامپٹ کیشنگ کا مطلب ہے کہ فراہم کنندہ اس دہرائے گئے حصے کا بل پوری قیمت پر نہیں بناتا۔
کیش شدہ ان پٹ ٹوکن کیا ہوتا ہے؟
ہر درخواست ان پٹ اور آؤٹ پٹ ٹوکنز سے بنتی ہے۔ جواب دینے سے پہلے ماڈل پورا پرامپٹ پروسیس کرتا ہے۔ اگر کسی پچھلی درخواست کا آغاز بالکل انہی ٹوکنز سے ہوا تھا تو سرونگ سسٹم وہ کام دوبارہ کرنے کے بجائے اسے پھر استعمال کر سکتا ہے۔ دوبارہ استعمال ہونے والا حصہ کیش شدہ ان پٹ ٹوکن کے طور پر رپورٹ ہوتا ہے اور کم ریٹ پر بل ہوتا ہے۔
اس کے کام کرنے کے طریقے سے دو باتیں نکلتی ہیں:
- صرف پری فکس کیش ہوتا ہے۔ میچ پہلے ٹوکن سے آگے چلتا ہے اور پہلے فرق پر رک جاتا ہے۔
- جواب کبھی کیش نہیں ہوتا۔ ماڈل پھر بھی نیا آؤٹ پٹ بناتا ہے، جو پوری آؤٹ پٹ قیمت پر بل ہوتا ہے۔
BroadNet Inference پر کیش شدہ ٹوکن کی قیمت کتنی ہے؟
فی دس لاکھ (1M) ٹوکن، شائع شدہ پرائس فائل سے:
| ماڈل | نیا ان پٹ | کیش شدہ ان پٹ | آؤٹ پٹ |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
DeepSeek V4.1 Flash پر فرق بڑا ہے: فی 1M کیش شدہ ٹوکن $0.0055 کا موازنہ فی 1M نئے ٹوکن $0.175 سے کریں۔ جو ایجنٹ ہر ٹرن پر 200,000 ٹوکن کی ریپوزیٹری دوبارہ بھیجتا ہے، اس کے بل کا زیادہ تر حصہ کیش ریٹ طے کرتا ہے۔
کیشنگ سے کتنی بچت ہو سکتی ہے؟ ایک مثال
ایک کوڈنگ ایجنٹ کام کے ایک دن میں 200,000 ٹوکن کا پرامپٹ 100 بار بھیجتا ہے۔ یعنی روزانہ 2 کروڑ (20M) ان پٹ ٹوکن۔
| کیش ریٹ | نئے ان پٹ ٹوکن | کیش شدہ ان پٹ ٹوکن |
|---|---|---|
| 0% | 20M، $0.175 فی 1M پر | 0 |
| 50% | 10M، $0.175 فی 1M پر | 10M، $0.0055 فی 1M پر |
| 90% | 2M، $0.175 فی 1M پر | 18M، $0.0055 فی 1M پر |
روزانہ ان پٹ بل کا فارمولا ہے new tokens (M) × input price + cached tokens (M) × cached price۔ 90% پر، 20M ان پٹ ٹوکنز میں سے 18M پوری ان پٹ قیمت کے بجائے کیش شدہ قیمت پر بل ہوتے ہیں، اس لیے دونوں قیمتوں میں فرق جتنا زیادہ ہو، ان پٹ بل میں اتنی ہی زیادہ بچت ہوتی ہے۔ آؤٹ پٹ نہیں بدلتا۔ اپنے اعداد پرامپٹ کیشنگ کیلکولیٹر میں آزمائیں۔
API ریسپانس میں کیش شدہ ٹوکن کیسے دیکھیں؟
BroadNet کا API ریفرنس کہتا ہے کہ جب ماڈل انہیں رپورٹ کرتا ہے تو usage آبجیکٹ میں prompt_tokens_details.cached_tokens آتا ہے: پرامپٹ کے وہ ٹوکن جو کیش سے پڑھے گئے اور کیش شدہ قیمت پر بل ہوئے۔ اسٹریم میں، آخری چنک میں usage مانگیں:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
ایک دن تک ہر درخواست پر یہ شرح لاگ کریں۔ اس سے پتا چلتا ہے کہ آپ اصل میں کتنی ادائیگی کرتے ہیں، اور پرامپٹ کیشنگ کیلکولیٹر میں یہی عدد ڈالنا ہے۔ اسٹریمنگ میں usage کے بارے میں مزید اسٹریمنگ گائیڈ میں ہے۔
OpenAI، Anthropic اور DeepSeek میں پرامپٹ کیشنگ کیسے مختلف ہے؟
کیشنگ کا کوئی معیار نہیں ہے۔ 14 نومبر 2026 کو دیکھنے پر سرکاری دستاویزات میں یہ لکھا تھا:
| OpenAI | Anthropic | DeepSeek (براہ راست API) | |
|---|---|---|---|
| فعال کیسے | معاون ماڈلز پر پہلے سے فعال | cache_control فیلڈ سے آپٹ اِن (خودکار یا ہر بلاک پر) |
تمام یوزرز کے لیے پہلے سے فعال |
| کم از کم پرامپٹ | GPT-5.6 اور بعد کے ماڈلز پر 1,024 ٹوکن | ماڈل کے حساب سے 512 سے 4,096 ٹوکن | کوئی کم از کم حد نہیں بتائی گئی |
| کیش کی مدت | GPT-5.6 اور بعد کے ماڈلز پر پہلے سے 30 منٹ؛ 12 گھنٹے کا آپشن | پہلے سے 5 منٹ، اضافی قیمت پر 1 گھنٹہ | بہترین کوشش؛ استعمال نہ ہونے پر صاف، “a few hours to a few days” (ترجمہ: چند گھنٹوں سے چند دنوں تک) |
| رائٹ | GPT-5.6 اور بعد کے ماڈلز پر ان پٹ کا 1.25× (30 منٹ) یا 2.5× (12 گھنٹے) | 5 منٹ کے لیے ان پٹ کا 1.25×، 1 گھنٹے کے لیے 2× | رائٹ کے کسی چارج کا ذکر نہیں |
| ریڈ | GPT-5.6 اور بعد کے ماڈلز پر ان پٹ کا 0.1× (GPT-6.1 Sol اور Terra پر 0.05×) | زیادہ تر ماڈلز پر ان پٹ کا 0.1×، کچھ پر کم | الگ “cache hit” قیمت |
| usage فیلڈ | ٹوکن کی تفصیلات میں cached_tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
ماخذ: OpenAI پرامپٹ کیشنگ گائیڈ، Anthropic پرامپٹ کیشنگ کی دستاویزات اور DeepSeek کانٹیکسٹ کیشنگ کی دستاویزات۔ جہاں رائٹ کا اضافی چارج ہے، وہاں ایسا کیش جو لکھا جائے مگر کبھی پڑھا نہ جائے، کیش نہ ہونے سے زیادہ مہنگا پڑتا ہے۔ کیشنگ کا فائدہ صرف ان پرامپٹس پر ہے جو آپ واقعی دہراتے ہیں۔ ہر ماڈل کی لسٹ قیمتوں کے موازنے کے لیے LLM API قیمتوں کا ٹیبل دیکھیں۔
آپ کا کیش ریٹ کن وجوہات سے گرتا ہے؟
کیش ایک ہوبہو پری فکس سے میچ کرتا ہے، اس لیے پرامپٹ کے شروع میں کچھ بھی بدلا تو باقی سب نیا ہو جاتا ہے۔ عام وجوہات:
- سسٹم پرامپٹ کے اوپری حصے میں ٹائم اسٹیمپ، درخواست ID یا یوزر کا نام؛
- ہر کال پر مختلف key ترتیب میں سیریلائز ہوئے ٹول ڈیفینیشنز یا JSON، جس سے ٹوکن بدل جاتے ہیں؛
- ایسا ایجنٹ جو اپنی تاریخ میں آگے جوڑنے کے بجائے اسے دوبارہ لکھتا ہے یا اس کا خلاصہ بناتا ہے؛
- لمبے وقفے، جن کے بعد کیش کی میعاد ختم ہو چکی ہوتی ہے۔
حل ہے پرتوں کی ایک مقررہ ترتیب (سسٹم پرامپٹ، ٹولز، دستاویزات، تاریخ، نیا پیغام)، جس میں ہر پرت ہر کال میں بائٹ بہ بائٹ یکساں ہو۔ ہماری گائیڈ پرامپٹ کو کیسے ترتیب دیں تاکہ پری فکس کیش ہو یہ لے آؤٹ کوڈ میں دکھاتی ہے، ساتھ میں ایک ٹیسٹ جو ثابت کرتا ہے کہ پری فکس دوبارہ استعمال ہوا۔
کیشنگ کی اہمیت کب ختم ہو جاتی ہے؟
مقررہ قیمت والے پلان پر بل ٹوکنز پر بالکل منحصر نہیں ہوتا۔ Full Moon، لامحدود DeepSeek V4.1 Flash کے لیے ہر سیشن $60 ماہانہ ہے۔ اگر آپ کا ایجنٹ پہلے ہی بریک ایون پوائنٹ پار کر چکا ہے تو کیش ریٹ لاگت کا مسئلہ نہیں رہتا۔ لمبے پرامپٹس پر اوپر کی عادتیں پھر بھی رفتار میں مدد دیتی ہیں، اس لیے انہیں ہر حال میں برقرار رکھنا فائدہ مند ہے۔
لمبے کانٹیکسٹ میں کیشنگ زیادہ اہم کیوں ہے؟
DeepSeek V4.1 Flash اور GLM 5.3 ہر درخواست میں 1,048,576 ٹوکن تک قبول کرتے ہیں۔ فی ٹوکن والی کلید پر بہت لمبے پرامپٹس کو کیشنگ ہی قابل برداشت بناتی ہے، کیونکہ کانٹیکسٹ ونڈو کا بڑا، دہرایا جانے والا حصہ کیش شدہ ریٹ پر بل ہوتا ہے۔ دیکھیں 1M ٹوکن کی کانٹیکسٹ ونڈو کب فائدہ مند ہے۔
BroadNet Inference کہاں موزوں ہے
BroadNet ہر اس چیٹ ماڈل کے لیے کیش شدہ ان پٹ کی قیمت شائع کرتا ہے جس کی ایسی قیمت ہے، اور جب ماڈل کیش شدہ ٹوکن رپورٹ کرتا ہے تو انہیں usage میں دکھاتا ہے، تاکہ آپ فیصلہ کرنے سے پہلے اپنا ریٹ ناپ سکیں۔ یہ کیش کی مدت یا کم از کم پرامپٹ کی لمبائی شائع نہیں کرتا، اس لیے انہیں اپنے ٹریفک پر ناپیں۔ اگر آپ کا ایجنٹ پورا دن چلتا ہے تو مقررہ قیمت والا پلان یہ سوال ہی ختم کر دیتا ہے۔
