BroadRouter

کیش شدہ ان پٹ ٹوکن کیا ہیں: LLM API کا بل کیسے کم کریں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

کیش شدہ ان پٹ ٹوکن پرامپٹ کے وہ ٹوکن ہیں جنہیں فراہم کنندہ پہلے پروسیس کر چکا ہے اور دوبارہ استعمال کر سکتا ہے، اس لیے وہ کم ریٹ پر بل ہوتے ہیں۔ BroadNet Inference پر DeepSeek V4.1 Flash کیش شدہ ان پٹ $0.0055 فی 1M ٹوکن پر بل کرتا ہے، جبکہ نیا ان پٹ $0.175 پر۔ رعایت کے لیے ہر پرامپٹ کا مستحکم حصہ سب سے پہلے اور ہر کال میں یکساں رکھیں۔

ایجنٹ جو کچھ LLM کو بھیجتا ہے اس کا زیادہ تر حصہ ہر ٹرن پر ایک جیسا ہوتا ہے: سسٹم پرامپٹ، ٹول ڈیفینیشنز، وہ فائلیں جن پر وہ کام کر رہا ہے، اور اب تک کی گفتگو۔ صرف آخری پیغام نیا ہوتا ہے۔ پرامپٹ کیشنگ کا مطلب ہے کہ فراہم کنندہ اس دہرائے گئے حصے کا بل پوری قیمت پر نہیں بناتا۔

کیش شدہ ان پٹ ٹوکن کیا ہوتا ہے؟

ہر درخواست ان پٹ اور آؤٹ پٹ ٹوکنز سے بنتی ہے۔ جواب دینے سے پہلے ماڈل پورا پرامپٹ پروسیس کرتا ہے۔ اگر کسی پچھلی درخواست کا آغاز بالکل انہی ٹوکنز سے ہوا تھا تو سرونگ سسٹم وہ کام دوبارہ کرنے کے بجائے اسے پھر استعمال کر سکتا ہے۔ دوبارہ استعمال ہونے والا حصہ کیش شدہ ان پٹ ٹوکن کے طور پر رپورٹ ہوتا ہے اور کم ریٹ پر بل ہوتا ہے۔

اس کے کام کرنے کے طریقے سے دو باتیں نکلتی ہیں:

  • صرف پری فکس کیش ہوتا ہے۔ میچ پہلے ٹوکن سے آگے چلتا ہے اور پہلے فرق پر رک جاتا ہے۔
  • جواب کبھی کیش نہیں ہوتا۔ ماڈل پھر بھی نیا آؤٹ پٹ بناتا ہے، جو پوری آؤٹ پٹ قیمت پر بل ہوتا ہے۔

BroadNet Inference پر کیش شدہ ٹوکن کی قیمت کتنی ہے؟

فی دس لاکھ (1M) ٹوکن، شائع شدہ پرائس فائل سے:

ماڈل نیا ان پٹ کیش شدہ ان پٹ آؤٹ پٹ
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash پر فرق بڑا ہے: فی 1M کیش شدہ ٹوکن $0.0055 کا موازنہ فی 1M نئے ٹوکن $0.175 سے کریں۔ جو ایجنٹ ہر ٹرن پر 200,000 ٹوکن کی ریپوزیٹری دوبارہ بھیجتا ہے، اس کے بل کا زیادہ تر حصہ کیش ریٹ طے کرتا ہے۔

کیشنگ سے کتنی بچت ہو سکتی ہے؟ ایک مثال

ایک کوڈنگ ایجنٹ کام کے ایک دن میں 200,000 ٹوکن کا پرامپٹ 100 بار بھیجتا ہے۔ یعنی روزانہ 2 کروڑ (20M) ان پٹ ٹوکن۔

کیش ریٹ نئے ان پٹ ٹوکن کیش شدہ ان پٹ ٹوکن
0% 20M، $0.175 فی 1M پر 0
50% 10M، $0.175 فی 1M پر 10M، $0.0055 فی 1M پر
90% 2M، $0.175 فی 1M پر 18M، $0.0055 فی 1M پر

روزانہ ان پٹ بل کا فارمولا ہے new tokens (M) × input price + cached tokens (M) × cached price۔ 90% پر، 20M ان پٹ ٹوکنز میں سے 18M پوری ان پٹ قیمت کے بجائے کیش شدہ قیمت پر بل ہوتے ہیں، اس لیے دونوں قیمتوں میں فرق جتنا زیادہ ہو، ان پٹ بل میں اتنی ہی زیادہ بچت ہوتی ہے۔ آؤٹ پٹ نہیں بدلتا۔ اپنے اعداد پرامپٹ کیشنگ کیلکولیٹر میں آزمائیں۔

API ریسپانس میں کیش شدہ ٹوکن کیسے دیکھیں؟

BroadNet کا API ریفرنس کہتا ہے کہ جب ماڈل انہیں رپورٹ کرتا ہے تو usage آبجیکٹ میں prompt_tokens_details.cached_tokens آتا ہے: پرامپٹ کے وہ ٹوکن جو کیش سے پڑھے گئے اور کیش شدہ قیمت پر بل ہوئے۔ اسٹریم میں، آخری چنک میں usage مانگیں:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

ایک دن تک ہر درخواست پر یہ شرح لاگ کریں۔ اس سے پتا چلتا ہے کہ آپ اصل میں کتنی ادائیگی کرتے ہیں، اور پرامپٹ کیشنگ کیلکولیٹر میں یہی عدد ڈالنا ہے۔ اسٹریمنگ میں usage کے بارے میں مزید اسٹریمنگ گائیڈ میں ہے۔

OpenAI، Anthropic اور DeepSeek میں پرامپٹ کیشنگ کیسے مختلف ہے؟

کیشنگ کا کوئی معیار نہیں ہے۔ 14 نومبر 2026 کو دیکھنے پر سرکاری دستاویزات میں یہ لکھا تھا:

OpenAI Anthropic DeepSeek (براہ راست API)
فعال کیسے معاون ماڈلز پر پہلے سے فعال cache_control فیلڈ سے آپٹ اِن (خودکار یا ہر بلاک پر) تمام یوزرز کے لیے پہلے سے فعال
کم از کم پرامپٹ GPT-5.6 اور بعد کے ماڈلز پر 1,024 ٹوکن ماڈل کے حساب سے 512 سے 4,096 ٹوکن کوئی کم از کم حد نہیں بتائی گئی
کیش کی مدت GPT-5.6 اور بعد کے ماڈلز پر پہلے سے 30 منٹ؛ 12 گھنٹے کا آپشن پہلے سے 5 منٹ، اضافی قیمت پر 1 گھنٹہ بہترین کوشش؛ استعمال نہ ہونے پر صاف، “a few hours to a few days” (ترجمہ: چند گھنٹوں سے چند دنوں تک)
رائٹ GPT-5.6 اور بعد کے ماڈلز پر ان پٹ کا 1.25× (30 منٹ) یا 2.5× (12 گھنٹے) 5 منٹ کے لیے ان پٹ کا 1.25×، 1 گھنٹے کے لیے 2× رائٹ کے کسی چارج کا ذکر نہیں
ریڈ GPT-5.6 اور بعد کے ماڈلز پر ان پٹ کا 0.1× (GPT-6.1 Sol اور Terra پر 0.05×) زیادہ تر ماڈلز پر ان پٹ کا 0.1×، کچھ پر کم الگ “cache hit” قیمت
usage فیلڈ ٹوکن کی تفصیلات میں cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

ماخذ: OpenAI پرامپٹ کیشنگ گائیڈ، Anthropic پرامپٹ کیشنگ کی دستاویزات اور DeepSeek کانٹیکسٹ کیشنگ کی دستاویزات۔ جہاں رائٹ کا اضافی چارج ہے، وہاں ایسا کیش جو لکھا جائے مگر کبھی پڑھا نہ جائے، کیش نہ ہونے سے زیادہ مہنگا پڑتا ہے۔ کیشنگ کا فائدہ صرف ان پرامپٹس پر ہے جو آپ واقعی دہراتے ہیں۔ ہر ماڈل کی لسٹ قیمتوں کے موازنے کے لیے LLM API قیمتوں کا ٹیبل دیکھیں۔

آپ کا کیش ریٹ کن وجوہات سے گرتا ہے؟

کیش ایک ہوبہو پری فکس سے میچ کرتا ہے، اس لیے پرامپٹ کے شروع میں کچھ بھی بدلا تو باقی سب نیا ہو جاتا ہے۔ عام وجوہات:

  • سسٹم پرامپٹ کے اوپری حصے میں ٹائم اسٹیمپ، درخواست ID یا یوزر کا نام؛
  • ہر کال پر مختلف key ترتیب میں سیریلائز ہوئے ٹول ڈیفینیشنز یا JSON، جس سے ٹوکن بدل جاتے ہیں؛
  • ایسا ایجنٹ جو اپنی تاریخ میں آگے جوڑنے کے بجائے اسے دوبارہ لکھتا ہے یا اس کا خلاصہ بناتا ہے؛
  • لمبے وقفے، جن کے بعد کیش کی میعاد ختم ہو چکی ہوتی ہے۔

حل ہے پرتوں کی ایک مقررہ ترتیب (سسٹم پرامپٹ، ٹولز، دستاویزات، تاریخ، نیا پیغام)، جس میں ہر پرت ہر کال میں بائٹ بہ بائٹ یکساں ہو۔ ہماری گائیڈ پرامپٹ کو کیسے ترتیب دیں تاکہ پری فکس کیش ہو یہ لے آؤٹ کوڈ میں دکھاتی ہے، ساتھ میں ایک ٹیسٹ جو ثابت کرتا ہے کہ پری فکس دوبارہ استعمال ہوا۔

کیشنگ کی اہمیت کب ختم ہو جاتی ہے؟

مقررہ قیمت والے پلان پر بل ٹوکنز پر بالکل منحصر نہیں ہوتا۔ Full Moon، لامحدود DeepSeek V4.1 Flash کے لیے ہر سیشن $60 ماہانہ ہے۔ اگر آپ کا ایجنٹ پہلے ہی بریک ایون پوائنٹ پار کر چکا ہے تو کیش ریٹ لاگت کا مسئلہ نہیں رہتا۔ لمبے پرامپٹس پر اوپر کی عادتیں پھر بھی رفتار میں مدد دیتی ہیں، اس لیے انہیں ہر حال میں برقرار رکھنا فائدہ مند ہے۔

لمبے کانٹیکسٹ میں کیشنگ زیادہ اہم کیوں ہے؟

DeepSeek V4.1 Flash اور GLM 5.3 ہر درخواست میں 1,048,576 ٹوکن تک قبول کرتے ہیں۔ فی ٹوکن والی کلید پر بہت لمبے پرامپٹس کو کیشنگ ہی قابل برداشت بناتی ہے، کیونکہ کانٹیکسٹ ونڈو کا بڑا، دہرایا جانے والا حصہ کیش شدہ ریٹ پر بل ہوتا ہے۔ دیکھیں 1M ٹوکن کی کانٹیکسٹ ونڈو کب فائدہ مند ہے۔

BroadNet Inference کہاں موزوں ہے

BroadNet ہر اس چیٹ ماڈل کے لیے کیش شدہ ان پٹ کی قیمت شائع کرتا ہے جس کی ایسی قیمت ہے، اور جب ماڈل کیش شدہ ٹوکن رپورٹ کرتا ہے تو انہیں usage میں دکھاتا ہے، تاکہ آپ فیصلہ کرنے سے پہلے اپنا ریٹ ناپ سکیں۔ یہ کیش کی مدت یا کم از کم پرامپٹ کی لمبائی شائع نہیں کرتا، اس لیے انہیں اپنے ٹریفک پر ناپیں۔ اگر آپ کا ایجنٹ پورا دن چلتا ہے تو مقررہ قیمت والا پلان یہ سوال ہی ختم کر دیتا ہے۔

عام سوالات

کیا پرامپٹ کیشنگ خود فعال کرنی پڑتی ہے؟

یہ فراہم کنندہ پر منحصر ہے۔ OpenAI اور DeepSeek خود بخود کیش کرتے ہیں؛ Anthropic میں cache_control فیلڈ چاہیے۔ BroadNet Inference پر usage بلاک دیکھیں: جب ماڈل کیش شدہ ٹوکن رپورٹ کرتا ہے تو وہ prompt_tokens_details.cached_tokens میں آتے ہیں اور کیش شدہ ان پٹ کی قیمت پر بل ہوتے ہیں۔

کیسے پتا کریں کہ پرامپٹ کیشنگ کام کر رہی ہے؟

ہر درخواست پر usage مانگیں اور cached_tokens کو prompt_tokens سے تقسیم کریں۔ اگر لمبے، دہرائے گئے پرامپٹ کی دوسری کال پر یہ شرح تقریباً صفر ہے تو پرامپٹ کے شروع میں کوئی چیز ہر کال پر بدل رہی ہے۔

میرا کیش ریٹ کم کیوں ہے؟

عموماً اس لیے کہ پرامپٹ کے شروع میں کوئی چیز ہر کال پر بدلتی ہے، جیسے ٹائم اسٹیمپ، درخواست ID یا نئی ترتیب والی ٹول لسٹ۔ بدلنے والا مواد آخر میں لے جائیں۔

پرامپٹ کیشنگ اور ریسپانس کیشنگ میں کیا فرق ہے؟

پرامپٹ کیشنگ میں فراہم کنندہ دہرائے گئے پرامپٹ پری فکس پر اپنا کیا ہوا کام دوبارہ استعمال کرتا ہے، اور ماڈل پھر بھی نیا جواب لکھتا ہے۔ ریسپانس کیشنگ آپ خود بناتے ہیں: پورے جواب محفوظ کر کے یکساں سوالوں پر ماڈل کو کال کیے بغیر وہی جواب لوٹاتے ہیں۔

کیا کیش شدہ ٹوکن مفت ہوتے ہیں؟

نہیں۔ وہ کم ریٹ پر بل ہوتے ہیں، صفر پر نہیں۔ DeepSeek V4.1 Flash پر کیش شدہ ان پٹ $0.0055 فی 1M ٹوکن ہے، اور آؤٹ پٹ پوری قیمت پر بل ہوتا ہے۔

کیا لامحدود پلان پر بھی کیشنگ سے فرق پڑتا ہے؟

بل پر نہیں، کیونکہ پلان سیشنز میں کوئی ٹوکن میٹر نہیں ہوتا۔ پھر بھی کئی سرونگ سسٹمز میں یہ لمبے پرامپٹس پر پہلے ٹوکن تک کا وقت کم کرتی ہے، اس لیے وہی عادتیں فائدہ دیتی ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں