فراہم کنندہ کے ڈیش بورڈز بتاتے ہیں کہ آپ نے کتنا خرچ کیا۔ وہ شاذ و نادر ہی بتاتے ہیں کہ کس فیچر یا کس گاہک نے خرچ کیا، اور یہ تو بالکل نہیں بتا سکتے کہ منگل کو بل کیوں اچھلا۔ آپ کا اپنا usage لاگ بتا سکتا ہے۔ یہ پوسٹ لاگ کا اسکیما، اسے بھرنے والا ریپر، ہر کال کی لاگت نکالنے کا طریقہ، اور نجی ڈیٹا کو باہر رکھنے کا طریقہ دکھاتی ہے۔ ان اعداد کا کیا کریں، یہ کہیں اور ہے: ہر صارف کی لاگت اور SaaS قیمتیں اور بجٹ اور لوپ گارڈز۔
ہر LLM کال کے لیے کیا لاگ کریں؟
ہر کوشش کی ایک قطار، دوبارہ کوششوں سمیت:
| فیلڈ | مثال | کیوں |
|---|---|---|
ts |
2026-11-14T09:12:03Z | ٹائم سیریز، واقعات کی ٹائم لائن |
feature |
support_reply |
ہر فیچر کی لاگت |
user_hash |
hmac:4f1c… |
شناخت محفوظ کیے بغیر ہر صارف کی لاگت |
tenant |
acme |
B2B ایپس میں ہر گاہک کی لاگت |
model |
broadnet/deepseek-v4.1-flash | قیمت دیکھنا، ماڈلز کا موازنہ |
prompt_tokens |
18,240 | ان پٹ کی لاگت |
cached_tokens |
16,384 | کیش شدہ ان پٹ سستا ہے؛ کیش ریٹ ٹریک کریں |
reasoning_tokens |
612 | reasoning ماڈلز پر چھپی آؤٹ پٹ لاگت |
completion_tokens |
1,104 | آؤٹ پٹ کی لاگت (reasoning شامل) |
cost_usd |
نکالی گئی | وہ عدد جو فنانس مانگتا ہے |
latency_ms، ttft_ms |
4,210 / 690 | کارکردگی میں گراوٹ |
status |
200، 429، 503 | ایرر اور دوبارہ کوشش کی شرحیں |
request_id |
X-Request-ID کی ویلیو |
سپورٹ ٹکٹس اور انوائس کے تنازعات |
prompt_version |
support-v14 |
لاگت کی تبدیلیوں کو پرامپٹ کی تبدیلیوں سے جوڑتا ہے |
نہ پرامپٹ کا متن، نہ جواب کا متن۔ وہ بعد میں آتے ہیں، اور صرف ریڈیکشن کے ساتھ۔
ہر کال کی لاگت کیسے نکالیں؟
usage بلاک پڑھیں اور ہر ٹوکن قسم کی قیمت الگ لگائیں۔ BroadNet pricing.json میں مشین ریڈایبل قیمتیں شائع کرتا ہے، ہر ماڈل کے ان پٹ، کیش شدہ ان پٹ اور آؤٹ پٹ کی فی دس لاکھ ٹوکن قیمتوں کے ساتھ:
import json, urllib.request
PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}
def call_cost(model: str, usage) -> float:
p = PRICES[model]
details = getattr(usage, "prompt_tokens_details", None)
cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
new_input = usage.prompt_tokens - cached
return (
new_input * (p.get("input_per_m") or 0)
+ cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
+ usage.completion_tokens * (p.get("output_per_m") or 0)
) / 1_000_000
قیمتوں کی فائل کو کیش کریں اور ہر کال پر لانے کے بجائے روزانہ ریفریش کریں۔ دو آسان غلطیاں: کیش شدہ ٹوکنز کو نئے ان پٹ کی قیمت پر گننا (لاگت بڑھا کر دکھتی ہے)، اور یہ بھول جانا کہ reasoning ٹوکنز پہلے سے completion_tokens کے اندر ہیں (انہیں دو بار نہ جوڑیں)۔
لاگنگ ریپر کیسا دکھتا ہے؟
import hashlib, hmac, os, time, logging
from openai import OpenAI
log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()
def user_hash(user_id: str) -> str:
return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
t0 = time.perf_counter()
row = {"feature": feature, "user_hash": user_hash(user_id),
"model": kwargs["model"], "prompt_version": prompt_version}
try:
raw = client.chat.completions.with_raw_response.create(**kwargs)
resp = raw.parse()
u = resp.usage
d = getattr(u, "completion_tokens_details", None)
row.update(
status=200,
request_id=raw.headers.get("x-request-id"),
prompt_tokens=u.prompt_tokens,
cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
completion_tokens=u.completion_tokens,
cost_usd=round(call_cost(kwargs["model"], u), 6),
)
return resp
except Exception as e:
row.update(status=getattr(e, "status_code", "error"),
request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
raise
finally:
row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
log.info("llm_call", extra={"llm": row})
with_raw_response آپ کو ہیڈرز دیتا ہے، تاکہ آپ X-Request-ID رکھ سکیں۔ اسٹریم والی کالز کے لیے stream_options={"include_usage": True} شامل کریں اور قطار آخری چنک سے بھریں، جیسا SSE اسٹریمنگ والی پوسٹ میں دکھایا ہے۔ HASH_KEY کو خفیہ اور مستقل رکھیں: ایک ہی صارف ہمیشہ ایک ہی ہیش بنتا ہے، مگر کلید کے بغیر ہیش کو الٹا نہیں جا سکتا۔
لاگت کو صارفین اور فیچرز سے کیسے جوڑیں؟
اوپر کی قطاریں کسی بھی SQL اسٹور میں ہوں تو تقسیم ایک کوئری ہے:
SELECT feature, model,
count(*) AS calls,
sum(cost_usd) AS cost,
sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
avg(completion_tokens) AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;
ہر گاہک کی لاگت کے لیے feature کی جگہ user_hash یا tenant لگائیں۔ تین اگلے قدم جلد فائدہ دیتے ہیں:
- لاگت کے حساب سے سرفہرست 1% صارفین۔ اکثر کوئی ایک لوپ یا بوٹ۔ گرتا ہوا
cache_rateدوسرا ابتدائی انتباہ ہے؛ پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ کیش ریٹ کا ہر پوائنٹ کتنے کا ہے۔ - ہر کامیاب نتیجے کی لاگت، ہر کال کی نہیں: اپنے کامیابی والے ایونٹس سے جوڑیں۔
- دوبارہ کوششوں کا حصہ۔ 429 یا 5xx اسٹیٹس والی قطاریں دکھاتی ہیں کہ آپ ناکامیوں پر کتنا خرچ کرتے ہیں؛ دیکھیں 429 ایررز سنبھالنا۔
LLM لاگز سے PII کو باہر کیسے رکھیں؟
سب سے محفوظ لاگ وہ ہے جس میں پرامپٹ کا متن بالکل نہ ہو۔ جب ڈیبگنگ یا eval کے لیے متن چاہیے تو یہ قدم اسی ترتیب میں اپنائیں:
- نمونہ لیں۔ متن کالز کے ایک چھوٹے حصے اور ناکامیوں کے لیے رکھیں، سب کے لیے نہیں۔
- لکھنے سے پہلے ریڈیکٹ کریں۔ ریڈیکشن اسی پروسیس میں چلائیں جو لاگ لکھتا ہے۔ بعد میں ریڈیکٹ کرنے کا مطلب ہے کہ خام متن پہلے سے ڈسک پر اور بیک اپس میں ہے۔
- ڈیٹیکٹرز کی تہیں لگائیں۔ اسٹرکچرڈ ڈیٹا کے لیے regex، ناموں اور پتوں کے لیے NER ٹول۔
- الگ محفوظ کریں۔ متن کو سخت رسائی اور کم ریٹینشن والی الگ ٹیبل یا بکٹ میں رکھیں،
request_idسے جڑا ہوا۔ - سیکرٹس کبھی لاگ نہ کریں۔ OWASP لاگنگ چیٹ شیٹ باہر رکھے جانے والے ڈیٹا میں ایکسیس ٹوکنز، پاس ورڈز اور انکرپشن کلیدیں گنواتی ہے؛ API کلید بھی اسی فہرست میں ہے۔
ایک کم از کم regex تہہ:
import re
PATTERNS = [
(re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
(re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
(re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
(re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
for pat, label in PATTERNS:
text = pat.sub(label, text)
return text
یہ واضح صورتوں کو پکڑتا ہے اور نام، پتے اور کوئی بھی غیر معمولی چیز چھوڑ دیتا ہے۔ Microsoft Presidio ان کے لیے اینٹیٹی ریکگنیشن شامل کرتا ہے، اور اس کا README صاف کہتا ہے کہ اس کی کوئی ضمانت نہیں کہ وہ تمام حساس معلومات ڈھونڈ لے گا۔ چوکوں کے لیے منصوبہ بنائیں: کم ریٹینشن اور سخت رسائی، کسی چوک کے نکل جانے پر نقصان محدود کرتے ہیں۔
BroadNet Inference کہاں کام آتا ہے
BroadNet Inference، جب ماڈل رپورٹ کرے تب کیش شدہ اور reasoning ٹوکنز کے ساتھ usage بلاک لوٹاتا ہے، ہر ریسپانس پر X-Request-ID دیتا ہے، اور ایک پبلک قیمتوں کی فائل رکھتا ہے جسے آپ لاگت نکالنے کے لیے لوڈ کر سکتے ہیں۔ اس کی طرف، پرامپٹس اور جوابات درخواست کے لیے پروسیس ہوتے ہیں اور محفوظ نہیں رکھے جاتے؛ وہ صرف بغیر مواد والے ریکارڈ رکھتا ہے، جیسے اوقات، ٹوکنز کی تعداد اور لاگت (زیرو ڈیٹا ریٹینشن کیسے کام کرتی ہے)۔ اس سے کسی بھی پرامپٹ متن کی اکیلی کاپی آپ کے اپنے لاگز بن جاتے ہیں، اس لیے اوپر کے ریڈیکشن قواعد ہی آپ کی اصل ریٹینشن طے کرتے ہیں۔ BroadNet کی چیٹ درخواستوں میں ہر صارف کے میٹا ڈیٹا کا کوئی فیلڈ نہیں، اس لیے تقسیم آپ کے ریپر میں ہوتی ہے۔ ہر ٹیم کے الگ بجٹ کے لیے الگ کلیدیں استعمال کریں؛ کلیدوں کی گائیڈ لیبلز اور allow-lists کا احاطہ کرتی ہے۔
