BroadRouter
شروع کریں

LLM API usage لاگنگ: ہر صارف اور فیچر کی لاگت، PII ہٹا کر

BroadNet Inference ٹیم · 4 منٹ کی پڑھائی · شائع شدہ

ہر LLM کال کو ایک فنکشن میں لپیٹیں جو ماڈل، فیچر، ہیش شدہ صارف ID، prompt، cached، reasoning اور آؤٹ پٹ ٹوکنز، لاگت، لیٹنسی، اسٹیٹس اور فراہم کنندہ کی درخواست ID درج کرے۔ لاگت انوائس سے نہیں، قیمتوں کی ٹیبل سے نکالیں۔ بطور ڈیفالٹ میٹا ڈیٹا لاگ کریں؛ اگر پرامپٹ کا متن رکھنا ہی ہو تو لکھنے سے پہلے اس سے نجی معلومات ہٹائیں اور کم مدت کی ریٹینشن رکھیں۔

فراہم کنندہ کے ڈیش بورڈز بتاتے ہیں کہ آپ نے کتنا خرچ کیا۔ وہ شاذ و نادر ہی بتاتے ہیں کہ کس فیچر یا کس گاہک نے خرچ کیا، اور یہ تو بالکل نہیں بتا سکتے کہ منگل کو بل کیوں اچھلا۔ آپ کا اپنا usage لاگ بتا سکتا ہے۔ یہ پوسٹ لاگ کا اسکیما، اسے بھرنے والا ریپر، ہر کال کی لاگت نکالنے کا طریقہ، اور نجی ڈیٹا کو باہر رکھنے کا طریقہ دکھاتی ہے۔ ان اعداد کا کیا کریں، یہ کہیں اور ہے: ہر صارف کی لاگت اور SaaS قیمتیں اور بجٹ اور لوپ گارڈز۔

ہر LLM کال کے لیے کیا لاگ کریں؟

ہر کوشش کی ایک قطار، دوبارہ کوششوں سمیت:

فیلڈ مثال کیوں
ts 2026-11-14T09:12:03Z ٹائم سیریز، واقعات کی ٹائم لائن
feature support_reply ہر فیچر کی لاگت
user_hash hmac:4f1c… شناخت محفوظ کیے بغیر ہر صارف کی لاگت
tenant acme B2B ایپس میں ہر گاہک کی لاگت
model broadnet/deepseek-v4.1-flash قیمت دیکھنا، ماڈلز کا موازنہ
prompt_tokens 18,240 ان پٹ کی لاگت
cached_tokens 16,384 کیش شدہ ان پٹ سستا ہے؛ کیش ریٹ ٹریک کریں
reasoning_tokens 612 reasoning ماڈلز پر چھپی آؤٹ پٹ لاگت
completion_tokens 1,104 آؤٹ پٹ کی لاگت (reasoning شامل)
cost_usd نکالی گئی وہ عدد جو فنانس مانگتا ہے
latency_ms، ttft_ms 4,210 / 690 کارکردگی میں گراوٹ
status 200، 429، 503 ایرر اور دوبارہ کوشش کی شرحیں
request_id X-Request-ID کی ویلیو سپورٹ ٹکٹس اور انوائس کے تنازعات
prompt_version support-v14 لاگت کی تبدیلیوں کو پرامپٹ کی تبدیلیوں سے جوڑتا ہے

نہ پرامپٹ کا متن، نہ جواب کا متن۔ وہ بعد میں آتے ہیں، اور صرف ریڈیکشن کے ساتھ۔

ہر کال کی لاگت کیسے نکالیں؟

usage بلاک پڑھیں اور ہر ٹوکن قسم کی قیمت الگ لگائیں۔ BroadNet pricing.json میں مشین ریڈایبل قیمتیں شائع کرتا ہے، ہر ماڈل کے ان پٹ، کیش شدہ ان پٹ اور آؤٹ پٹ کی فی دس لاکھ ٹوکن قیمتوں کے ساتھ:

import json, urllib.request

PRICES = {m["id"]: m for m in json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))["models"]}

def call_cost(model: str, usage) -> float:
    p = PRICES[model]
    details = getattr(usage, "prompt_tokens_details", None)
    cached = (getattr(details, "cached_tokens", 0) or 0) if details else 0
    new_input = usage.prompt_tokens - cached
    return (
        new_input * (p.get("input_per_m") or 0)
        + cached * (p.get("cached_input_per_m") or p.get("input_per_m") or 0)
        + usage.completion_tokens * (p.get("output_per_m") or 0)
    ) / 1_000_000

قیمتوں کی فائل کو کیش کریں اور ہر کال پر لانے کے بجائے روزانہ ریفریش کریں۔ دو آسان غلطیاں: کیش شدہ ٹوکنز کو نئے ان پٹ کی قیمت پر گننا (لاگت بڑھا کر دکھتی ہے)، اور یہ بھول جانا کہ reasoning ٹوکنز پہلے سے completion_tokens کے اندر ہیں (انہیں دو بار نہ جوڑیں)۔

لاگنگ ریپر کیسا دکھتا ہے؟

import hashlib, hmac, os, time, logging
from openai import OpenAI

log = logging.getLogger("llm.usage")
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
HASH_KEY = os.environ["USAGE_HASH_KEY"].encode()

def user_hash(user_id: str) -> str:
    return "hmac:" + hmac.new(HASH_KEY, user_id.encode(), hashlib.sha256).hexdigest()[:16]

def chat(*, feature: str, user_id: str, prompt_version: str, **kwargs):
    t0 = time.perf_counter()
    row = {"feature": feature, "user_hash": user_hash(user_id),
           "model": kwargs["model"], "prompt_version": prompt_version}
    try:
        raw = client.chat.completions.with_raw_response.create(**kwargs)
        resp = raw.parse()
        u = resp.usage
        d = getattr(u, "completion_tokens_details", None)
        row.update(
            status=200,
            request_id=raw.headers.get("x-request-id"),
            prompt_tokens=u.prompt_tokens,
            cached_tokens=getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0) or 0,
            reasoning_tokens=(getattr(d, "reasoning_tokens", 0) or 0) if d else 0,
            completion_tokens=u.completion_tokens,
            cost_usd=round(call_cost(kwargs["model"], u), 6),
        )
        return resp
    except Exception as e:
        row.update(status=getattr(e, "status_code", "error"),
                   request_id=getattr(getattr(e, "response", None), "headers", {}).get("x-request-id"))
        raise
    finally:
        row["latency_ms"] = int((time.perf_counter() - t0) * 1000)
        log.info("llm_call", extra={"llm": row})

with_raw_response آپ کو ہیڈرز دیتا ہے، تاکہ آپ X-Request-ID رکھ سکیں۔ اسٹریم والی کالز کے لیے stream_options={"include_usage": True} شامل کریں اور قطار آخری چنک سے بھریں، جیسا SSE اسٹریمنگ والی پوسٹ میں دکھایا ہے۔ HASH_KEY کو خفیہ اور مستقل رکھیں: ایک ہی صارف ہمیشہ ایک ہی ہیش بنتا ہے، مگر کلید کے بغیر ہیش کو الٹا نہیں جا سکتا۔

لاگت کو صارفین اور فیچرز سے کیسے جوڑیں؟

اوپر کی قطاریں کسی بھی SQL اسٹور میں ہوں تو تقسیم ایک کوئری ہے:

SELECT feature, model,
       count(*)                          AS calls,
       sum(cost_usd)                     AS cost,
       sum(cached_tokens)::float / nullif(sum(prompt_tokens), 0) AS cache_rate,
       avg(completion_tokens)            AS avg_out
FROM llm_calls
WHERE ts >= now() - interval '7 days'
GROUP BY feature, model
ORDER BY cost DESC;

ہر گاہک کی لاگت کے لیے feature کی جگہ user_hash یا tenant لگائیں۔ تین اگلے قدم جلد فائدہ دیتے ہیں:

  1. لاگت کے حساب سے سرفہرست 1% صارفین۔ اکثر کوئی ایک لوپ یا بوٹ۔ گرتا ہوا cache_rate دوسرا ابتدائی انتباہ ہے؛ پرامپٹ کیشنگ کیلکولیٹر دکھاتا ہے کہ کیش ریٹ کا ہر پوائنٹ کتنے کا ہے۔
  2. ہر کامیاب نتیجے کی لاگت، ہر کال کی نہیں: اپنے کامیابی والے ایونٹس سے جوڑیں۔
  3. دوبارہ کوششوں کا حصہ۔ 429 یا 5xx اسٹیٹس والی قطاریں دکھاتی ہیں کہ آپ ناکامیوں پر کتنا خرچ کرتے ہیں؛ دیکھیں 429 ایررز سنبھالنا۔

LLM لاگز سے PII کو باہر کیسے رکھیں؟

سب سے محفوظ لاگ وہ ہے جس میں پرامپٹ کا متن بالکل نہ ہو۔ جب ڈیبگنگ یا eval کے لیے متن چاہیے تو یہ قدم اسی ترتیب میں اپنائیں:

  1. نمونہ لیں۔ متن کالز کے ایک چھوٹے حصے اور ناکامیوں کے لیے رکھیں، سب کے لیے نہیں۔
  2. لکھنے سے پہلے ریڈیکٹ کریں۔ ریڈیکشن اسی پروسیس میں چلائیں جو لاگ لکھتا ہے۔ بعد میں ریڈیکٹ کرنے کا مطلب ہے کہ خام متن پہلے سے ڈسک پر اور بیک اپس میں ہے۔
  3. ڈیٹیکٹرز کی تہیں لگائیں۔ اسٹرکچرڈ ڈیٹا کے لیے regex، ناموں اور پتوں کے لیے NER ٹول۔
  4. الگ محفوظ کریں۔ متن کو سخت رسائی اور کم ریٹینشن والی الگ ٹیبل یا بکٹ میں رکھیں، request_id سے جڑا ہوا۔
  5. سیکرٹس کبھی لاگ نہ کریں۔ OWASP لاگنگ چیٹ شیٹ باہر رکھے جانے والے ڈیٹا میں ایکسیس ٹوکنز، پاس ورڈز اور انکرپشن کلیدیں گنواتی ہے؛ API کلید بھی اسی فہرست میں ہے۔

ایک کم از کم regex تہہ:

import re
PATTERNS = [
    (re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+"), "[EMAIL]"),
    (re.compile(r"\+?\d[\d\s().-]{7,}\d"), "[PHONE]"),
    (re.compile(r"\b(?:\d[ -]?){13,19}\b"), "[CARD]"),
    (re.compile(r"\b(sk|key|bearer)[-_ ]?[A-Za-z0-9]{16,}\b", re.I), "[SECRET]"),
]
def redact(text: str) -> str:
    for pat, label in PATTERNS:
        text = pat.sub(label, text)
    return text

یہ واضح صورتوں کو پکڑتا ہے اور نام، پتے اور کوئی بھی غیر معمولی چیز چھوڑ دیتا ہے۔ Microsoft Presidio ان کے لیے اینٹیٹی ریکگنیشن شامل کرتا ہے، اور اس کا README صاف کہتا ہے کہ اس کی کوئی ضمانت نہیں کہ وہ تمام حساس معلومات ڈھونڈ لے گا۔ چوکوں کے لیے منصوبہ بنائیں: کم ریٹینشن اور سخت رسائی، کسی چوک کے نکل جانے پر نقصان محدود کرتے ہیں۔

BroadNet Inference کہاں کام آتا ہے

BroadNet Inference، جب ماڈل رپورٹ کرے تب کیش شدہ اور reasoning ٹوکنز کے ساتھ usage بلاک لوٹاتا ہے، ہر ریسپانس پر X-Request-ID دیتا ہے، اور ایک پبلک قیمتوں کی فائل رکھتا ہے جسے آپ لاگت نکالنے کے لیے لوڈ کر سکتے ہیں۔ اس کی طرف، پرامپٹس اور جوابات درخواست کے لیے پروسیس ہوتے ہیں اور محفوظ نہیں رکھے جاتے؛ وہ صرف بغیر مواد والے ریکارڈ رکھتا ہے، جیسے اوقات، ٹوکنز کی تعداد اور لاگت (زیرو ڈیٹا ریٹینشن کیسے کام کرتی ہے)۔ اس سے کسی بھی پرامپٹ متن کی اکیلی کاپی آپ کے اپنے لاگز بن جاتے ہیں، اس لیے اوپر کے ریڈیکشن قواعد ہی آپ کی اصل ریٹینشن طے کرتے ہیں۔ BroadNet کی چیٹ درخواستوں میں ہر صارف کے میٹا ڈیٹا کا کوئی فیلڈ نہیں، اس لیے تقسیم آپ کے ریپر میں ہوتی ہے۔ ہر ٹیم کے الگ بجٹ کے لیے الگ کلیدیں استعمال کریں؛ کلیدوں کی گائیڈ لیبلز اور allow-lists کا احاطہ کرتی ہے۔

عام سوالات

ہر صارف کی LLM API لاگت کیسے ٹریک کروں؟

ہر کال پر صارف کا شناخت کنندہ لگائیں، ریسپانس سے usage بلاک پڑھیں، ٹوکنز کی تعداد کو اپنی قیمتوں کی ٹیبل سے ضرب دیں، اور ہر کال کی ایک لاگ قطار لکھیں۔ صارف ٹیگ سے گروپ کریں۔ ای میل کے بجائے ہیش شدہ ID استعمال کریں۔

کیا پورے پرامپٹس اور جوابات لاگ کروں؟

بطور ڈیفالٹ نہیں۔ نجی ڈیٹا وہیں ہوتا ہے۔ ہر کال کے ٹوکنز اور میٹا ڈیٹا لاگ کریں، اور پورا متن صرف نمونے کے طور پر چنی گئی یا ناکام کالز کا رکھیں، ریڈیکشن کے بعد، کم ریٹینشن مدت کے ساتھ۔

میری نکالی گئی لاگت فراہم کنندہ کی انوائس سے مختلف کیوں ہے؟

عام طور پر اس لیے کہ کیش شدہ ٹوکنز کو نئے ان پٹ کی قیمت پر گنا گیا، reasoning ٹوکنز آؤٹ پٹ سے چھوٹ گئے، یا دوبارہ کوششیں لاگ نہیں ہوئیں۔ ہر کوشش لاگ کریں، ان ناکام کوششوں سمیت جنہوں نے usage لوٹایا۔

اسٹریمنگ ریسپانس سے ٹوکن usage کیسے ملے گا؟

stream_options میں include_usage کو true سیٹ کریں۔ تب آخری چنک میں خالی choices فہرست کے ساتھ usage بلاک آتا ہے۔

LLM لاگز کے لیے کون سا PII ریڈیکشن ٹول استعمال کروں؟

ای میلز، فون نمبرز اور کارڈ نمبرز جیسے اسٹرکچرڈ ڈیٹا کے لیے regex سے شروع کریں، اور ناموں اور پتوں کے لیے Microsoft Presidio جیسا NER پر مبنی ٹول شامل کریں۔ Presidio کا اپنا README کہتا ہے کہ وہ سب کچھ ڈھونڈنے کی ضمانت نہیں دے سکتا۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں