BroadRouter

LLM API جوابات کیش کر کے لاگت کم کریں: Python میں ایگزیکٹ میچ کیش

BroadNet Inference ٹیم · 8 منٹ کی پڑھائی · شائع شدہ

پوری درخواست (ماڈل، پیغامات، temperature، max_tokens، response_format، ٹولز، ریزننگ سیٹنگز اور آپ کا پرامپٹ ورژن) کو ہیش کر کے ایک کلید بنائیں، اور جواب اس کے تحت میعاد کے ساتھ محفوظ کریں۔ محفوظ جواب صرف متعین، بغیر سائیڈ ایفیکٹ والی درخواستوں کو دیں۔ پہلے اپنے لاگز میں ناپیں کہ یکساں درخواستیں کتنی بار دہرائی جاتی ہیں: وہی حصہ ایگزیکٹ کیش کی زیادہ سے زیادہ بچت ہے۔

ہر یکساں LLM درخواست جو آپ دو بار بھیجتے ہیں، اس کی ادائیگی بھی دو بار ہوتی ہے۔ ریسپانس کیش پہلی بار جواب محفوظ کرتا ہے اور اگلی بار وہی لوٹا دیتا ہے، بغیر کسی ٹوکن کے بل اور بغیر انتظار کے۔ خیال سادہ ہے۔ مشکل حصے ہیں یہ طے کرنا کہ دو درخواستیں “یکساں” کب ہیں، کن درخواستوں کو کبھی اسٹوریج سے جواب نہیں دینا چاہیے، اور کیا آپ کا ٹریفک اتنا دہراتا ہے کہ اس سے فرق پڑے۔

یہ پوسٹ Python میں SQLite پر ایک چھوٹا ایگزیکٹ میچ کیش بناتی ہے، ایک موک OpenAI سے مطابقت رکھنے والے سرور پر ٹیسٹ شدہ، اور دکھاتی ہے کہ اس میں سے کچھ بھی لکھنے سے پہلے اپنے لاگز سے ہٹ ریٹ کیسے ناپیں۔

کیا ریسپانس کیشنگ اور پرامپٹ کیشنگ ایک ہی چیز ہے؟

نہیں۔ یہ مختلف چیزیں بچاتے ہیں، اور آپ دونوں استعمال کر سکتے ہیں۔

پرامپٹ کیشنگ (فراہم کنندہ) ریسپانس کیشنگ (آپ)
کیا دوبارہ استعمال ہوتا ہے پرامپٹ کا دہرایا گیا آغاز پورا جواب
کون چلاتا ہے API فراہم کنندہ آپ کا کوڈ
ماڈل پھر بھی چلتا ہے؟ ہاں، نیا جواب لکھتا ہے نہیں
کیا بچاتا ہے ان پٹ لاگت کا ایک حصہ ان پٹ، آؤٹ پٹ اور ریزننگ ٹوکنز، ساتھ میں لیٹنسی
کب ہٹ ہوتا ہے مشترکہ پری فکس، مختلف سوال ہوبہو وہی درخواست

کیش شدہ ان پٹ ٹوکن فراہم کنندہ والا حصہ سمجھاتا ہے، اور کیشنگ کے لیے پرامپٹ کی ساخت دکھاتا ہے کہ پرامپٹ کیسے ترتیب دیں تاکہ پری فکس دوبارہ استعمال ہو۔ پرامپٹ کیشنگ کیلکولیٹر اس کی قیمت نکالتا ہے۔ ریسپانس کیش ان سب کے آگے بیٹھتا ہے: ہٹ ہونے پر کوئی درخواست آپ کے سرور سے باہر نہیں جاتی۔

کیا کیش سے واقعی پیسے بچیں گے؟

بنانے سے پہلے ناپیں۔ کئی کیشنگ ٹیوٹوریلز میں لاگت کی بچت کے فیصد کسی اور کے ٹریفک سے آتے ہیں۔ آپ کا عدد ایک ہی بات پر منحصر ہے: ایک ہی درخواست آپ کی میعاد کی ونڈو کے اندر کتنی بار دوبارہ آتی ہے۔

اگر آپ پہلے سے ہر کال لاگ کرتے ہیں، جیسا LLM API usage لاگنگ میں، تو ایک فیلڈ شامل کریں: request_hash، یعنی نیچے بیان کی گئی کیش کلید۔ اس میں کوئی پرامپٹ متن نہیں ہوتا، اس لیے یہ ایسے لاگ میں فٹ ہوتا ہے جو مواد باہر رکھتا ہے۔ پھر دہراؤ گنیں:

import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")

20 کالز کے ایک مصنوعی لاگ پر، جس میں ایک درخواست پانچ بار، دوسری تین بار اور بارہ منفرد تھیں، اس نے 30.0% کا ممکنہ ہٹ ریٹ چھاپا۔ یہ بالائی حد ہے: یہ میعاد کو نظر انداز کرتا ہے، اور فرض کرتا ہے کہ ہر دہراؤ کو اسٹوریج سے دینا محفوظ ہے۔

پھر شرح کو پیسوں میں بدلیں:

monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000

آؤٹ پٹ ٹوکنز میں ریزننگ شامل ہے۔ BroadNet کی دستاویزات کہتی ہیں کہ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے ریزننگ کرتے ہیں اور ریزننگ max_tokens میں شمار ہوتی ہے، اس لیے ہٹ وہ ٹوکن بھی بچاتا ہے جو آپ کو جواب میں کبھی نظر نہیں آتے۔ completion_tokens لاگ شدہ usage سے لیں، جواب کی لمبائی سے نہیں۔

ٹوکنز میں ایک مثال: 100,000 درخواستیں ماہانہ، ہر ایک میں 1,200 ان پٹ اور 150 آؤٹ پٹ ٹوکن، 30% ہٹ ریٹ کے ساتھ، 3 کروڑ 60 لاکھ (36M) ان پٹ ٹوکن اور 45 لاکھ (4.5M) آؤٹ پٹ ٹوکن بچاتی ہیں۔ DeepSeek V4.1 Flash پر یہ بالترتیب $0.175 اور $0.52 فی 1M پر بل ہوتے ہیں؛ اپنے اعداد LLM API لاگت کیلکولیٹر میں ڈالیں۔ اگر اس ان پٹ کا زیادہ تر حصہ پہلے ہی فراہم کنندہ کا کیش ہٹ تھا تو ان پٹ کی بچت کم کیش شدہ ریٹ پر ہوتی ہے (اسی ماڈل پر $0.0055 فی 1M)، اس لیے اکثر آؤٹ پٹ والا حصہ زیادہ اہم ہوتا ہے۔

کیش کلید میں کیا جاتا ہے؟

وہ سب جو جواب بدل سکتا ہے، اور کچھ نہیں۔

  • شامل کریں: model، پوری messages فہرست (سسٹم پرامپٹ سمیت)، temperature، top_p، max_tokens، seed، response_format، tools، tool_choice اور reasoning_effort۔
  • ایک پرامپٹ ورژن شامل کریں جو آپ کے کنٹرول میں ہو، جیسے faq-v3۔ جب آپ پرامپٹ ٹیمپلیٹس، بازیافت کا ڈیٹا یا پوسٹ پروسیسنگ بدلیں، جو درخواست باڈی میں نظر نہیں آتی، تو اسے بڑھائیں۔
  • باہر رکھیں وہ سب جو ہر کال پر بدلتا ہے لیکن جواب نہیں بدلتا: درخواست IDs، ٹائم اسٹیمپس، ٹریس ہیڈرز، user فیلڈ جو آپ صرف غلط استعمال کی نگرانی کے لیے بھیجتے ہیں۔

کلید کا مواد ہر بار ایک ہی طرح سیریلائز کریں۔ Python کا json.dumps، sort_keys=True اور separators=(",", ":") کے ساتھ، ڈکشنری کی ترتیب سے قطع نظر ایک معیاری اسٹرنگ دیتا ہے؛ ensure_ascii=False عربی اور دوسرے غیر لاطینی متن کو ایسکیپس کے بجائے UTF-8 میں رکھتا ہے۔ اسے SHA-256 سے ہیش کریں۔

چھوٹا ہوا فیلڈ خطرناک غلطی ہے۔ اگر max_tokens کلید میں نہیں تو چھوٹی حد پر کٹا جواب اس درخواست کو دے دیا جائے گا جس نے لمبے جواب کی اجازت دی تھی۔

کیش: SQLite، TTL اور اسکپ پالیسی

import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()

اور اس پر ایک رن:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")

ہم نے اسے OpenAI Python SDK 3.51.0 کے ساتھ ایک مقامی موک سرور پر چلایا، جو اپ اسٹریم کالز گنتا تھا اور ہر جواب پر 1,200 پرامپٹ اور 150 completion ٹوکن رپورٹ کرتا تھا (کوئی لائیو API کال نہیں)۔ سات درخواستوں نے چار اپ اسٹریم کالز کیں۔ اسکرپٹ نے hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450 چھاپا۔ اسی ڈیٹا بیس فائل پر دوبارہ چلانے پر کیش ہو سکنے والی تمام چھ درخواستیں ہٹ ہوئیں (hits=6 misses=0): SQLite ری اسٹارٹ کے بعد بھی کیش رکھتا ہے۔ مختلف ترتیب میں انہی فیلڈز سے بنی کلیدیں میچ ہوئیں۔

کوڈ پر نوٹس:

  • max_tokens=1200 جواب سے پہلے ریزننگ کے لیے جگہ چھوڑتا ہے۔ چھوٹی حد پر ریزننگ ماڈل خالی جواب لوٹا سکتا ہے (کیوں)۔ ایسے جوابات محفوظ نہیں ہوتے، کیونکہ finish_reason، stop نہیں بلکہ length ہوتا ہے۔
  • ہٹس ایک dict لوٹاتے ہیں۔ مِسز بھی model_dump() لوٹاتے ہیں، تاکہ کال کرنے والوں کو ایک ہی شکل ملے۔ اگر آپ کا کوڈ SDK آبجیکٹس کی توقع رکھتا ہے تو دونوں کو ریپ کریں۔
  • temperature نہ دیا گیا ہو تو اسے سیمپل شدہ سمجھا جاتا ہے۔ تب سرور اپنا ڈیفالٹ لگاتا ہے، جو 0 سے اوپر ہو سکتا ہے، اس لیے ریپر تب تک کیش نہیں کرتا جب تک آپ واضح طور پر 0 سیٹ نہ کریں۔
  • SQLite ایک یا چند پروسیسز کے لیے موزوں ہے۔ کئی سرورز کے لیے وہی کلید اور TTL منطق Redis یا اپنے ڈیٹا بیس میں رکھیں۔

کیش سے کبھی کیا نہیں دینا چاہیے؟

  • سیمپل کیے گئے جوابات (temperature 0 سے اوپر)۔ آپ نے تنوع چنا تھا۔ کیشنگ اسے ختم کر دیتی ہے، اور “regenerate” دبانے والے صارف کو وہی متن ملتا ہے۔
  • ذاتی جوابات، جب تک صارف ID کلید میں نہ ہو۔ “summarise my account” بھیجنے والے دو صارفین کے اکاؤنٹس الگ ہیں۔ بہتر: صرف وہ درخواستیں کیش کریں جن کے پیغامات میں ہر صارف کا الگ ڈیٹا نہ ہو۔
  • ٹول کالز۔ ٹول کال کچھ کرنے کی ہدایت ہے۔ اسٹوریج سے “refund order 1182” دوبارہ چلانے سے سائیڈ ایفیکٹ دہرایا جا سکتا ہے، اور درست اگلا قدم موجودہ حالت پر منحصر ہے۔ ریپر tool_calls والا کوئی بھی جواب محفوظ کرنے سے انکار کرتا ہے۔
  • اسٹریم کیے گئے جوابات۔ ریپر stream=True پر کیش کو بائی پاس کرتا ہے۔ اسٹریم کیش کرنے کا مطلب ہے اسے بفر کرنا، جانچنا کہ وہ مکمل ہوئی، اور دوبارہ چلانا، جو چیٹ UIs کے لیے شاذ ہی فائدہ مند ہے۔
  • کٹے یا ناکام جوابات۔ صرف finish_reason == "stop" محفوظ کریں۔ ایک ہفتے کے لیے کیش ہوا کٹا جواب یا ایرر ایسا بگ ہے جو ماڈل کا مسئلہ لگتا ہے۔
  • وقت پر منحصر جوابات۔ “آج کا ایکسچینج ریٹ کیا ہے؟” کو چھوٹا TTL چاہیے یا کوئی کیش نہیں۔

جو اچھی طرح کیش ہوتا ہے: ان پٹس کے مقررہ سیٹ کی کلاسیفکیشن، ان دستاویزات سے ایکسٹریکشن جنہیں آپ دوبارہ پروسیس کرتے ہیں، مقررہ پرامپٹ سے FAQ جوابات، ٹیسٹ سویٹس اور evals جو آپ دوبارہ چلاتے ہیں، اور ڈیولپمنٹ لوپس جہاں آپ ایک ہی درخواست بار بار بھیجتے ہیں۔

کیش شدہ جوابات کی میعاد کب ختم ہونی چاہیے؟

تین طرح سے کالعدم کریں:

  1. TTL۔ ہر اندراج کی مدت: مستحکم FAQ جوابات کے لیے دن، لائیو ڈیٹا پڑھنے والی کسی بھی چیز کے لیے منٹ۔
  2. کلید میں ورژن۔ جب سسٹم پرامپٹ، بازیافت کا انڈیکس یا آؤٹ پٹ اسکیما بدلے تو پرامپٹ ورژن بدلیں۔ پرانے اندراجات میچ ہونا بند کر دیتے ہیں اور وقت کے ساتھ ختم ہو جاتے ہیں۔
  3. کلید میں ماڈل۔ یہ پہلے سے موجود ہے، اس لیے ایک ماڈل سے دوسرے پر جانے سے نیا کیش شروع ہوتا ہے، جو تبدیلی کی جانچ کے دوران آپ چاہتے بھی ہیں۔

میعاد گزری قطاریں مقررہ وقت پر حذف کریں (DELETE FROM cache WHERE created < ?)۔ ورنہ فائل بس بڑھتی جاتی ہے۔

ایک اضافی فائدہ بھی ہے۔ سرونگ انجن یکساں ان پٹ پر یکساں آؤٹ پٹ کا وعدہ نہیں کرتے: vLLM کی دستاویزات کہتی ہیں کہ یہ “does not guarantee the reproducibility of the results by default” (ترجمہ: بطور ڈیفالٹ نتائج کے دہرائے جا سکنے کی ضمانت نہیں دیتا)۔ کیش اندراج کی مدت تک ہر صارف کو ایک ہی سوال کا ایک ہی جواب دیتا ہے۔

سیمینٹک کیشنگ کا کیا؟

سیمینٹک کیش ہر سوال کو ایمبیڈ کرتا ہے اور جب نیا سوال کافی قریب ہو تو محفوظ جواب لوٹاتا ہے، تاکہ “how long is a refund?” بھی “how long do refunds take?” سے ہٹ ہو سکے۔ GPTCache سب سے مشہور اوپن سورس مثال ہے۔ اس کا README کہتا ہے کہ وہ مماثلت کی تلاش کے لیے ویکٹر اسٹور اور ہٹ طے کرنے کے لیے مماثلت جانچنے والا استعمال کرتا ہے، خبردار کرتا ہے کہ “you may encounter false positives during cache hits and false negatives during cache misses” (ترجمہ: کیش ہٹس میں غلط مثبت اور کیش مِسز میں غلط منفی سامنے آ سکتے ہیں)، اور بتاتا ہے کہ ایمبیڈنگز بند کرنے پر یہ کی ورڈ میچنگ کیش بن جاتا ہے۔

دو عملی نکات۔ پہلا، اس کے لیے ایک ایمبیڈنگز ماڈل اور ویکٹر اسٹور چاہیے۔ BroadNet Inference ایمبیڈنگز نہیں دیتا، اس لیے اس تہ کے لیے آپ کو دوسرا فراہم کنندہ یا مقامی ماڈل استعمال کرنا ہو گا؛ ایمبیڈنگ لاگت کیلکولیٹر آپشنز کی قیمت نکالتا ہے۔ دوسرا، غلط ہٹ کسی دوسرے سوال کا پورے یقین والا جواب لوٹاتا ہے۔ سخت مماثلت کی حد رکھیں، اسے اصل تقریباً ملتے جلتے جوڑوں پر ٹیسٹ کریں، اور سیمینٹک کیشنگ کم خطرے والے جوابات کے لیے رکھیں۔ دونوں صورتوں میں ایگزیکٹ کیش آگے رکھیں: اسے جانچنے میں کوئی خرچ نہیں، اور وہ پوچھے گئے سوال کے بارے میں کبھی غلط نہیں ہوتا۔

پرائیویسی کے لیے کیش کا کیا مطلب ہے؟

کیش پرامپٹس اور جوابات کا ذخیرہ ہے۔ اس سے بدلتا ہے کہ آپ کا ڈیٹا کہاں رہتا ہے۔

BroadNet کا انفرنس پرائیویسی بیان، 2026-11-15 کو جانچا گیا، کہتا ہے کہ اس کا گیٹ وے کوئی پرامپٹس، پیغامات، جوابات یا ٹرانسکرپٹس نہیں رکھتا، جبکہ بغیر مواد کے ٹریفک اور usage ریکارڈز (ٹوکن گنتی، لاگت، اوقات) رکھے جاتے ہیں۔ انفرنس کا مواد محفوظ نہیں رکھا جاتا۔ ضروری اکاؤنٹ، بلنگ اور سیکیورٹی میٹا ڈیٹا اس بیان میں بتائے گئے طریقے سے رکھا جاتا ہے۔ ریسپانس کیش شامل کرتے ہی آپ کا سسٹم وہ مواد رکھتا ہے جو فراہم کنندہ نہیں رکھتا۔ اسے صارف ڈیٹا کے کسی بھی دوسرے ذخیرے کی طرح برتیں:

  • جہاں ممکن ہو، صرف بغیر ذاتی ڈیٹا والی درخواستیں کیش کریں، جس سے ہٹ ریٹ بھی بڑھتا ہے۔
  • TTL اتنا چھوٹا رکھیں کہ آپ کی ریٹینشن پالیسی میں فٹ ہو، اور مقررہ وقت پر حذف کریں۔
  • فائل یا ٹیبل کو اسٹوریج میں انکرپٹ کریں اور محدود کریں کہ کون اسے پڑھ سکتا ہے۔
  • اگر کیش میں صارف کا متن ہو سکتا ہے تو ڈیٹا حذف کرنے کی درخواستوں میں اسے بھی شامل کریں۔

LLM API کو حساس ڈیٹا بھیجنا اس چیک لسٹ کا باقی حصہ کور کرتا ہے۔

کیشنگ دوسرے لاگت کنٹرولز کے ساتھ کیسے فٹ ہوتی ہے؟

کیشنگ دہرائی گئی کالز ہٹاتی ہے۔ منفرد کالز کے لیے یہ کچھ نہیں کرتی، اس لیے یہ دوسرے کنٹرولز کی جگہ نہیں، ان کے ساتھ رہتی ہے: مختصر پرامپٹس، فراہم کنندہ کی پرامپٹ کیشنگ، ہر درخواست پر max_tokens کی حد، اور LLM API خرچ کنٹرول والے بجٹ اور لوپ کی حدیں۔ بڑی ایک بار کی جابز کے لیے، بھیجنے سے پہلے ان پٹس سے ڈپلیکیٹس ہٹائیں؛ یہ کیش والا ہی خیال ہے، ایک بار کیا ہوا۔ Batch API کے بغیر بڑی جاب پروسیس کرنا جاب والا پہلو دکھاتا ہے۔

مقررہ قیمت پلان پر حساب بدل جاتا ہے۔ BroadNet کے DeepSeek سیشنز میں کوئی ٹوکن میٹر نہیں، اس لیے وہاں کیش ہٹ سے پیسے نہیں بچتے۔ پھر بھی وقت بچتا ہے: سیشن ایک وقت میں ایک درخواست چلاتا ہے، اس لیے ہر چھوڑا گیا دہراؤ سیشن کو نئے کام کے لیے فارغ کرتا ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadRouter، BroadNet کی اپنی سائٹ ہے۔ BroadNet Inference، DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Gemma 4 VL 26B کو ایک OpenAI سے مطابقت رکھنے والے /v1/chat/completions اینڈپوائنٹ کے پیچھے دیتا ہے، اس لیے اوپر کا ریپر صرف base URL بدل کر OpenAI Python SDK کے ساتھ کام کرتا ہے۔ اس میں اپنی کوئی ریسپانس کیشنگ سہولت نہیں؛ اس پوسٹ کا کیش آپ کا ہے۔ فراہم کنندہ کی طرف کے کیش ہٹس usage.prompt_tokens_details.cached_tokens میں رپورٹ ہوتے ہیں اور کیش شدہ ان پٹ قیمت پر بل ہوتے ہیں، اس کے API ریفرنس کے مطابق۔ ہر ماڈل کی قیمتیں قیمتوں کے صفحے پر ہیں۔

عام سوالات

پرامپٹ کیشنگ اور ریسپانس کیشنگ میں کیا فرق ہے؟

پرامپٹ کیشنگ فراہم کنندہ کرتا ہے: دہرایا گیا پرامپٹ پری فکس کم کیش شدہ ان پٹ قیمت پر بل ہوتا ہے، اور ماڈل پھر بھی نیا جواب لکھتا ہے۔ ریسپانس کیشنگ آپ کرتے ہیں: آپ پورا جواب محفوظ کرتے ہیں اور یکساں درخواست پر ماڈل کو کال کیے بغیر وہی لوٹا دیتے ہیں۔

کیا temperature 0 پر LLM جوابات کیش کرنے چاہییں؟

جی ہاں، اگر درخواست کا کوئی سائیڈ ایفیکٹ نہیں اور اسے بھیجنے والے ہر شخص کے لیے ایک ہی جواب قابلِ قبول ہے۔ temperature 0 ویسے بھی سرونگ انجن سے ہوبہو یکساں آؤٹ پٹ کی ضمانت نہیں دیتا، اس لیے کیش جواب کو یکساں بھی بناتا ہے۔ temperature 0 سے اوپر ہو یا نہ دیا گیا ہو تو کیش نہ کریں۔

LLM ریسپانس کیشنگ سے کتنی بچت ہوتی ہے؟

آپ کی میعاد کی ونڈو کے اندر ہوبہو دہرائی گئی درخواستوں کا حصہ، ضرب ان درخواستوں کی لاگت۔ یہ حصہ جاننے کے لیے اپنے لاگز میں دہرائے گئے درخواست ہیش گنیں۔ کھلی گفتگو والی چیٹ میں یہ تقریباً صفر اور مقررہ FAQ یا کلاسیفکیشن ان پٹس میں اونچا ہو سکتا ہے۔

کیا سیمینٹک کیشنگ، ایگزیکٹ میچ کیشنگ سے بہتر ہے؟

یہ زیادہ بار ہٹ ہوتی ہے، کیونکہ ملتے جلتے سوال میچ ہو جاتے ہیں، لیکن یہ کسی دوسرے سوال کا جواب لوٹا سکتی ہے۔ اس کے لیے ایمبیڈنگز ماڈل اور ویکٹر اسٹور بھی چاہیے۔ ایگزیکٹ کیش سے شروع کریں، اور سیمینٹک تہ صرف وہاں شامل کریں جہاں غلط ہٹ کا نقصان کم ہو۔

کیا اسٹریم کیے گئے جوابات کیش کر سکتے ہیں؟

یہاں کے سادہ ریپر سے نہیں۔ آپ کو پوری اسٹریم جمع کرنی ہو گی، جانچنا ہو گا کہ وہ معمول کے مطابق ختم ہوئی، اسے محفوظ کرنا ہو گا، اور بعد میں اسٹریم کی طرح دوبارہ چلانا ہو گا۔ زیادہ تر ٹیمیں صرف بغیر اسٹریم والی کالز کیش کرتی ہیں، جیسے کلاسیفکیشن، ایکسٹریکشن اور FAQ جوابات۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں