کیش شدہ ان پٹ ٹوکن سستے ہوتے ہیں، اور BroadNet Inference پر DeepSeek V4.1 Flash انہیں $0.175 کی جگہ $0.0055 فی 1M پر بل کرتا ہے۔ کیش شدہ ٹوکنز کی وضاحت قیمت اور usage فیلڈ پڑھنے کا طریقہ بتاتی ہے۔ یہ پوسٹ ڈیزائن کے کام کے بارے میں ہے: پرامپٹ کو کیسے ترتیب دیں کہ کیش واقعی ہٹ ہو، اور اسے کیسے ثابت کریں۔
پرامپٹ کی ترتیب کیش ہٹ ریٹ کیوں طے کرتی ہے؟
ہر بڑا فراہم کنندہ پری فکس کی بنیاد پر کیش کرتا ہے۔ OpenAI کی گائیڈ کہتی ہے کہ دوبارہ استعمال کے لیے پورا رینڈر شدہ پری فکس میچ ہونا چاہیے۔ DeepSeek کی دستاویزات یہی اصول بتاتی ہیں: درخواست تبھی ہٹ ہوتی ہے جب وہ محفوظ شدہ پری فکس سے مکمل میچ کرے، اور جو بیچ میں الگ ہو جائے وہ ہٹ نہیں ہوتی۔ Anthropic اپنا کیش ٹولز، سسٹم، پیغامات کی ترتیب میں بناتا ہے۔
اندر سے سرور اس پری فکس کے لیے بنایا گیا KV کیش دوبارہ استعمال کرتا ہے۔ اس لیے کیش پہلے ٹوکن سے ایک سیدھی لکیر ہے۔ پچھلی کال سے مختلف پہلا بائٹ دوبارہ استعمال ہونے والے حصے کو ختم کر دیتا ہے۔ 50,000 ٹوکن کے پرامپٹ کے اوپر ایک لائن کا ٹائم اسٹیمپ آپ سے تمام 50,000 ٹوکن پوری قیمت پر وصول کرواتا ہے۔
تہوں کی درست ترتیب کیا ہے؟
| تہ | کب بدلتی ہے | مثال | اصول |
|---|---|---|---|
| 1. سسٹم پرامپٹ | ہر ڈیپلائے پر | کردار، اصول، آؤٹ پٹ فارمیٹ | کوئی تاریخ، ID، صارف کا نام نہیں |
| 2. ٹول ڈیفینیشنز | ہر ڈیپلائے پر | فنکشن اسکیما | ترتیب شدہ، مقررہ طریقے والا JSON |
| 3. حوالہ جاتی مواد | ہر سیشن یا ٹاسک پر | ریپوزیٹری فائلیں، معاہدے، پروڈکٹ دستاویزات | مقررہ ترتیب، مستحکم لیبلز |
| 4. گفتگو کی ہسٹری | ہر ٹرن پر، صرف اضافہ | صارف اور اسسٹنٹ کے پچھلے ٹرنز | کبھی ترمیم نہیں؛ صرف اضافہ |
| 5. نیا پیغام | ہر کال پر | سوال، اور ضرورت ہو تو موجودہ وقت | بدلنے والا ڈیٹا یہاں جاتا ہے |
جو کچھ بھی بدلتا ہے وہ تہ 5 میں جاتا ہے: آج کی تاریخ، صارف کا لوکیل، درخواست ID، ہر سوال پر مختلف بازیافت شدہ ٹکڑے۔
کون سی چیزیں پتا چلے بغیر پری فکس توڑ دیتی ہیں؟
- ڈکشنری کی ترتیب۔ فریم ورکس اکثر
toolsarray کو کسی dict یا رجسٹری سے بناتے ہیں۔ اگر پلگ انز مختلف ترتیب میں لوڈ ہوں تو بائٹس بدل جاتے ہیں۔ - JSON فارمیٹنگ۔
json.dumps(x)اورjson.dumps(x, indent=2)مختلف پری فکس ہیں۔ مختلف key ترتیب والے دو سیریلائزرز بھی۔ - ٹیمپلیٹ کی خالی جگہ۔ آخر میں ایک اسپیس، یا ایک کوڈ پاتھ سے
\r\nاور دوسرے سے\n۔ - بدلتی ٹول فہرست۔ جو ٹولز صارف استعمال نہیں کر سکتا، انہیں ہٹانے سے پری فکس بدلتا ہے۔ OpenAI کی گائیڈ ڈیفینیشنز مستحکم رکھنے اور
tool_choiceیا allowed-tools سیٹنگ سے استعمال محدود کرنے کا مشورہ دیتی ہے۔ - ہسٹری کا اسی جگہ خلاصہ۔ پرانے ٹرنز کو خلاصے میں دوبارہ لکھنے سے سسٹم پرامپٹ کے بعد کا سب کچھ ری سیٹ ہو جاتا ہے۔ خلاصہ کبھی کبھار اور بڑے قدموں میں بنائیں۔
- ہدایات سے پہلے بازیافت۔ سسٹم پرامپٹ اور ٹولز کے بیچ رکھے RAG ٹکڑے ہر کوئری پر مختلف ہوتے ہیں اور ٹولز والی تہ بھی توڑ دیتے ہیں۔
کوڈ میں کیش کے موافق درخواست کیسے بنائیں؟
ہر تہ کو صرف مستحکم ان پٹس کا فنکشن بنائیں، اور مقررہ طریقے سے سیریلائز کریں:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
دو باتیں۔ موجودہ وقت آخری پیغام میں جاتا ہے، سسٹم پرامپٹ میں نہیں۔ اور ہسٹری اسسٹنٹ کا پیغام بالکل ویسا ہی محفوظ کرتی ہے جیسا لوٹا تھا، تاکہ اگلی کال ہوبہو وہی بائٹس دوبارہ بھیجے۔
کیسے ثابت کریں کہ پری فکس کیش ہو رہا ہے؟
CI یا نوٹ بک میں دو کالز والا ٹیسٹ چلائیں:
- اپنے اصل سسٹم پرامپٹ، ٹولز اور دستاویزات کے ساتھ ایک درخواست بنائیں۔
- اسے بھیجیں۔
usage.prompt_tokensنوٹ کریں۔ - صرف آخری صارف پیغام بدلیں اور پھر بھیجیں۔
- دوسری کال پر
usage.prompt_tokens_details.cached_tokensپڑھیں۔ اسے مشترکہ پری فکس کا تقریباً پورا حصہ کور کرنا چاہیے۔ - اگر یہ صفر یا چھوٹا ہے تو سیریلائز شدہ درخواست باڈیز کا بائٹ بہ بائٹ ڈِف نکالیں۔ پہلا فرق ہی آپ کا کیش توڑنے والا ہے۔
زیادہ تر فراہم کنندگان پر کیشنگ بہترین کوشش کی بنیاد پر ہے، اور DeepSeek کی دستاویزات یہ براہِ راست کہتی ہیں، اس لیے ایک اکیلا مِس بگ کا ثبوت نہیں۔ مسلسل مِس ہے۔ اپنے usage لاگز میں ہر درخواست پر کیش شدہ اور پرامپٹ ٹوکنز کا تناسب ٹریک کریں، اور پرامپٹ کیشنگ کیلکولیٹر سے دیکھیں کہ اونچا ہٹ ریٹ کتنا بچاتا ہے۔
ایجنٹس اور لمبے کانٹیکسٹ کے لیے اس میں کیا بدلتا ہے؟
ایجنٹس کو سب سے زیادہ فائدہ ہوتا ہے، کیونکہ وہ ہر ٹاسک میں وہی بڑا پری فکس درجنوں بار دوبارہ بھیجتے ہیں۔ دو عادتیں اہم ہیں:
- ہر ٹاسک کی ایک گفتگو۔ ہر ذیلی مرحلے کے لیے نئی گفتگو شروع کرنے سے پری فکس پھینک دیا جاتا ہے۔
- فائلیں ایک بار، اوپر کے قریب پڑھیں۔ اگر ایجنٹ کوئی فائل دوبارہ پڑھتا ہے تو پرانی کاپی بدلنے کے بجائے نئی کاپی شامل کریں، جب تک فائل بدلی نہ ہو۔
1M ٹوکن کی کانٹیکسٹ ونڈو میں تہ 3 پوری ریپوزیٹری رکھ سکتی ہے۔ فی ٹوکن کلید پر یہ تبھی سستا ہے جب یہ کیش ہو، اس لیے پرامپٹس بڑے ہونے کے ساتھ تہوں کی ترتیب اور اہم ہوتی جاتی ہے۔ کیش شدہ پری فکس عموماً پہلے ٹوکن تک کا وقت بھی کم کرتے ہیں؛ دیکھیں TTFT بمقابلہ تھرو پٹ۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Inference پر usage بلاک prompt_tokens_details.cached_tokens رپورٹ کرتا ہے جب ماڈل اسے رپورٹ کرے، اور DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پر کیش شدہ ان پٹ قیمتوں کے صفحے پر درج کم ریٹ پر بل ہوتا ہے۔ BroadNet اپنی دستاویزات میں واضح کیش بریک پوائنٹس یا کیش key پیرامیٹر نہیں دیتا، اس لیے اوپر کا لے آؤٹ ہی پوری تکنیک ہے۔ لامحدود پلان پر کیش بل نہیں بدلتا، کیونکہ سیشنز میں کوئی ٹوکن میٹر نہیں، لیکن یہی ساخت پھر بھی لیٹنسی میں مدد کرتی ہے۔
