BroadRouter
شروع کریں

LLM API کو حساس ڈیٹا بھیجنا: redact کریں، کم بھیجیں، کم لاگ کریں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

LLM API کو حساس ڈیٹا بھیجنے کے لیے پہلے طے کریں کہ ٹاسک کو کون سی فیلڈز چاہییں، اور باقی ہٹا دیں۔ درخواست سے پہلے نام، نمبر اور IDs کو واپس بدلے جا سکنے والے placeholders سے بدلیں، اور جواب آنے پر اپنے کوڈ میں انہیں بحال کریں۔ زیرو ڈیٹا ریٹینشن والا فراہم کنندہ چنیں، پرامپٹ کا مواد اپنے لاگز سے باہر رکھیں، اور API کلیدوں کو اپنے سرورز تک محدود کریں۔

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

کسٹمر سپورٹ بوٹس نام اور آرڈر نمبر والی شکایات پڑھتے ہیں۔ کال سینٹر پائپ لائنز کارڈ کے ہندسوں والے ٹرانسکرپٹس بھیجتی ہیں۔ ہیلتھ ایپس علامات بھیجتی ہیں۔ یہ سب ماڈل کے لیے مفید ہے، اور جیسے ہی یہ آپ کے سرورز سے باہر جاتا ہے، یہ سب حساس ڈیٹا ہے۔

OWASP نے LLM ایپلیکیشنز کے لیے اپنی 2025 Top 10 میں sensitive information disclosure کو LLM02 کے طور پر رکھا ہے۔ زیادہ تر رہنمائی اس پر مرکوز ہے کہ ماڈل کیا ظاہر کر سکتا ہے۔ یہ پوسٹ اس حصے پر ہے جو آپ کے اختیار میں ہے: آپ کیا بھیجتے ہیں، اور کیا رکھتے ہیں۔

LLM API کے لیے حساس ڈیٹا کیا ہے؟

پرامپٹ لکھنے سے پہلے فیلڈز کو تین خانوں میں بانٹیں:

خانہ مثالیں پہلے سے طے شدہ اصول
براہ راست شناخت کنندہ نام، ای میل، فون، قومی شناختی نمبر، اکاؤنٹ نمبر placeholders سے بدلیں
خصوصی یا ریگولیٹڈ صحت، بائیومیٹرکس، مذہب، کارڈ نمبر، credentials تب ہی بھیجیں جب ٹاسک کو ضرورت ہو اور آپ کے پاس قانونی بنیاد ہو
سیاق و سباق پروڈکٹ کے نام، مسئلے کی قسم، تاریخیں، رقوم عموماً بھیجنا ٹھیک ہے

GDPR کے تحت خصوصی زمروں (آرٹیکل 9) کو پروسیس کرنے سے پہلے ہی کسی مخصوص شرط کی ضرورت ہوتی ہے۔ کارڈ ڈیٹا اور پاس ورڈ یا API کلید جیسے secrets کبھی پرامپٹ تک نہیں پہنچنے چاہییں۔

مرحلہ 1: ٹاسک کو اصل میں کون سی فیلڈز چاہییں؟

بہترین redaction یہ ہے کہ فیلڈ بھیجی ہی نہ جائے۔ پوچھیں کہ ٹاسک کو کیا چاہیے:

  1. ٹکٹ کا خلاصہ؟ ماڈل کو شکایت چاہیے، گاہک کا پتا نہیں۔
  2. ارادے کی درجہ بندی؟ اسے پیغام کا متن چاہیے، اکاؤنٹ ID نہیں۔
  3. جواب کا مسودہ؟ اسے زیادہ سے زیادہ پہلا نام چاہیے، اور placeholder بھی کام کرتا ہے۔

پورا ریکارڈ JSON کی شکل میں ڈالنے کی بجائے منتخب فیلڈز سے پرامپٹ بنائیں۔ اس سے ان پٹ ٹوکن بھی کم ہوتے ہیں، یعنی پیسہ بھی بچتا ہے۔

مرحلہ 2: redact کیسے کریں کہ ماڈل پھر بھی متن سمجھے؟

ہر قدر کو قسم والے، نمبر شدہ placeholder سے بدلیں۔ ماڈل جملے کی ساخت برقرار رکھتا ہے، اور آپ کا کوڈ بعد میں قدریں بحال کر دیتا ہے۔

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Regular expressions منظم قدریں پکڑتے ہیں۔ ناموں اور پتوں کے لیے entity recognition چاہیے۔ Microsoft Presidio جیسے اوپن سورس ٹولز پیٹرنز، checksums اور named-entity ماڈلز کو ملاتے ہیں، اور آپ کو اپنے recognisers شامل کرنے دیتے ہیں۔ کسی بھی detector کو اپنے ڈیٹا پر ٹیسٹ کریں: عربی نام، خلیجی فون فارمیٹس اور ملے جلے رسم الخط والا متن وہی جگہیں ہیں جہاں عام detectors چوکتے ہیں۔

اگر آپ redaction خود لکھنے کی بجائے proxy چلانا پسند کرتے ہیں تو BroadNet نے ایک اوپن سورس کے طور پر شائع کیا ہے: LLM Sensitive Data Firewall (LSDF)، Apache-2.0 کے تحت۔ یہ کسی بھی OpenAI-compatible اینڈپوائنٹ کے آگے بیٹھتا ہے، ان ماڈلز کے بھی جنہیں BroadNet ہوسٹ نہیں کرتا، اور BroadNet کے مطابق یہ درخواستیں، جوابات، اسٹریم کیے گئے chunks، اسٹریم کیے گئے tool-call arguments، حاصل کردہ کانٹیکسٹ اور ریزننگ فیلڈز جانچتا ہے، اور ٹریسز اور لاگز کے لیے الگ sanitiser بھی ہے۔ مئی 2026 میں BroadNet کے اپنے corpora پر کی گئی جانچ میں اس کے broad-PII detectors نے 40 کیسز کے credential replay میں 1.000، مصنوعی کلینیکل ڈیٹا میں 0.944 اور وسیع انگریزی PII میں 0.685 recall کیا، جبکہ اکیلے Microsoft Presidio نے 0.194، 0.056 اور 0.326 (BroadNet کی تحریر)۔ یہ BroadNet کے اپنے ٹول کے لیے BroadNet کے اعداد ہیں؛ کچھ بھی نافذ کرنے سے پہلے اس کا monitor پروفائل اپنے ٹریفک پر چلائیں۔

placeholders کے دو اصول:

  • انہیں یکساں رکھیں پوری گفتگو میں، تاکہ ہر ٹرن میں [NAME_1] وہی شخص ہو۔
  • ماڈل سے کہیں کہ انہیں نہ بدلے، جیسا کہ اوپر کے سسٹم پرامپٹ میں ہے۔

مرحلہ 3: فراہم کنندہ کے ہاں ڈیٹا کے ساتھ کیا ہوتا ہے؟

Redaction کم کرتا ہے کہ کیا باہر جاتا ہے۔ آگے کیا ہوگا، یہ فراہم کنندہ طے کرتا ہے۔ پوچھیں:

  • کیا درخواست کے بعد مواد محفوظ ہوتا ہے، اور کتنے عرصے کے لیے؟
  • کیا اسے ٹریننگ میں استعمال کیا جاتا ہے، اور پہلے سے طے شدہ ترتیب کیا ہے؟
  • ہارڈویئر کون چلاتا ہے، اور کہاں؟

فراہم کنندگان بہت مختلف جواب دیتے ہیں۔ پانچ فراہم کنندگان کے سرکاری الفاظ کے لیے LLM API ڈیٹا ریٹینشن کا موازنہ، تکنیکی سوالات کے لیے ZDR چیک لسٹ، اور معاہدے کے پہلو کے لیے GDPR چیک لسٹ دیکھیں۔

مرحلہ 4: پرامپٹس کو اپنے ہی لاگز سے باہر کیسے رکھیں؟

پرامپٹس سب سے زیادہ آپ کے اپنے اسٹیک میں ٹکے رہتے ہیں۔ عام لیک:

  • HTTP کلائنٹ کی debug لاگنگ جو درخواست کا body پرنٹ کرتی ہے۔
  • ٹریسنگ اور observability SDKs جو پہلے سے طے شدہ طور پر پورے پرامپٹ ریکارڈ کرتے ہیں۔
  • ایرر رپورٹرز جو ناکام درخواست کا payload منسلک کر دیتے ہیں۔
  • اینالیٹکس ایونٹس جن میں صارف کا پیغام شامل ہوتا ہے۔
  • Retry queues اور dead-letter queues جو پوری درخواستیں محفوظ کرتی ہیں۔

اس کی بجائے یہ لاگ کریں: درخواست ID، ماڈل، پرامپٹ اور completion ٹوکن کی گنتی، لیٹنسی، اسٹیٹس کوڈ اور آپ کی اپنی redaction mapping کی ID (mapping خود کبھی نہیں)۔ لاگت اور ایررز debug کرنے کے لیے اتنا کافی ہے۔ usage لاگنگ پوسٹ میں ایک wrapper ہے جو ٹھیک یہی فیلڈز لکھتا ہے اور ہر کال کی لاگت نکالتا ہے۔

مرحلہ 5: API تک کے راستے کو کیسے محفوظ کریں؟

  • کلیدیں سرورز پر رکھیں، کبھی براؤزر یا موبائل کوڈ میں نہیں۔ LLM API کلید کی حفاظت اسٹوریج اور rotation بتاتی ہے۔
  • IP allow-lists سے کلیدوں کو اپنے egress پتوں تک محدود کریں۔
  • ہر سروس کے لیے ایک الگ API کلید رکھیں، تاکہ سب کچھ روکے بغیر ایک کو منسوخ کر سکیں۔

مرحلہ 6: جواب میں کیا چیک کرنا چاہیے؟

Redaction درخواست کی حفاظت کرتا ہے۔ جواب کی بھی جانچ ضروری ہے، کیونکہ ماڈل قدریں دہرا سکتا ہے، اندازہ لگا سکتا ہے یا دوبارہ بنا سکتا ہے:

  • placeholders کی سالمیت۔ restore() کے بعد [PHONE_3] جیسے بچے ہوئے ٹوکن دیکھیں جو آپ کی mapping میں کبھی تھے ہی نہیں۔ اس کا مطلب ہے کہ ماڈل نے ایک گھڑ لیا۔
  • آؤٹ پٹ میں نیا PII۔ وہی detector جواب پر بھی چلائیں۔ جس جواب میں ایسا ای میل پتا ہو جو آپ نے کبھی بھیجا ہی نہیں، اسے گاہک تک پہنچنے سے پہلے دوبارہ دیکھنا چاہیے۔
  • ایک صارف کا ڈیٹا دوسرے تک۔ اگر آپ جواب کیش کرتے ہیں یا گفتگو کی حالت شیئر کرتے ہیں تو یقینی بنائیں کہ ایک صارف کی بحال شدہ قدریں کبھی دوسرے صارف کے جواب میں نہ آئیں۔

ہر آؤٹ پٹ چینل چیک کریں، صرف چیٹ جواب نہیں۔ BroadNet کی Safety Map اسٹڈی نے پایا کہ حساس قدریں tool-call arguments بھرنے والے 73 میں سے 20 رنز میں ان کے ذریعے باہر گئیں، اور ریزننگ فیلڈ بھرنے والے 43 میں سے 29 رنز میں اس کے ذریعے، جبکہ نظر آنے والے جواب کو محفوظ، چوکا ہوا یا نامکمل قرار دیا گیا۔

جب بھی آپ پرامپٹ، ماڈل یا detector بدلیں، پورے لوپ کو 50 حقیقی، حساس مثالوں کے ایک مقررہ سیٹ پر ٹیسٹ کریں۔ صرف پکڑی گئی نہیں، چھوٹ جانے والی قدریں گنیں: ایک چھوٹا ہوا کارڈ نمبر سو درست placeholders سے زیادہ اہم ہے۔

کیا حساس آڈیو کے ساتھ بھی یہی سلوک چاہیے؟

ایک وائس نوٹ دس سیکنڈ میں نام، فون نمبر اور صحت کی تفصیل لے جا سکتا ہے۔ ٹرانسکرپٹ کو یہ سب ورثے میں ملتا ہے۔ خلاصے کے لیے LLM کو بھیجنے سے پہلے ٹرانسکرپٹ redact کریں، اور خام آڈیو صرف اتنی دیر رکھیں جتنا ضروری ہو۔ ہماری کال سینٹر ٹرانسکرپشن پائپ لائن ٹرانسکرپشن اور خلاصے کے مراحل کے درمیان redaction دکھاتی ہے۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet کا پرائیویسی بیان کہتا ہے کہ اس کا gateway “keeps no prompts, messages, images, audio, responses or transcripts” (ترجمہ: کوئی پرامپٹ، پیغام، تصویر، آڈیو، جواب یا ٹرانسکرپٹ نہیں رکھتا) اور وہ inference ڈیٹا کو “to train, fine-tune or evaluate models” (ترجمہ: ماڈلز کو ٹرین، فائن ٹیون یا جانچنے کے لیے) استعمال نہیں کرتا۔ یہ مواد کے بغیر ریکارڈ رکھتا ہے، جیسے اوقات، ٹوکن گنتی اور لاگت؛ پوری فہرست زیرو ڈیٹا ریٹینشن صفحے پر ہے۔ کلیدوں کو آپ کے IP پتوں تک محدود کیا جا سکتا ہے۔ اوپر کی مثال میں استعمال ہونے والا Qwen3.8 27B BroadNet نے عربی میں ٹیسٹ کیا ہے، جو تب اہم ہے جب آپ کے placeholders عربی متن کے اندر ہوں۔

یہ فراہم کنندہ کا پہلو ہے۔ یہ آپ کے لیے redact نہیں کرتا، اور آپ کے لاگز صاف نہیں کرتا۔ کسی بھی فراہم کنندہ کے ساتھ، BroadNet سمیت، مرحلہ 1، 2 اور 4 آپ کی ذمہ داری رہتے ہیں۔ اگر ریگولیٹڈ ڈیٹا کے لیے آپ کو تحریری DPA یا subprocessor فہرست چاہیے تو ڈیٹا بھیجنے سے پہلے BroadNet سے پوچھیں؛ بیان کہتا ہے کہ subprocessor فہرست درخواست پر دستیاب ہے۔

عام سوالات

کیا LLM API کو PII بھیجنا محفوظ ہے؟

کنٹرولز کے ساتھ ہو سکتا ہے: فراہم کنندہ کے ساتھ معاہدہ، واضح ریٹینشن اور ٹریننگ پالیسی، درخواست سے پہلے ڈیٹا کم کرنا اور redaction، اور آپ کی طرف صاف لاگز۔ ان کے بغیر خام PII بھیجنے سے گریز کریں۔

کیا ChatGPT یا کسی اور LLM API کو بھیجنے سے پہلے ڈیٹا redact کرنا چاہیے؟

جو کچھ ٹاسک کو نہیں چاہیے، اسے redact کریں۔ خلاصے، درجہ بندی اور ڈرافٹنگ میں نام اور نمبر عموماً معیار گرائے بغیر placeholders سے بدلے جا سکتے ہیں، اور جواب کے بعد بحال کیے جا سکتے ہیں۔

redaction اور pseudonymisation میں کیا فرق ہے؟

Redaction کسی قدر کو ہمیشہ کے لیے ہٹا دیتا ہے۔ Pseudonymisation اسے ایسے placeholder سے بدلتا ہے جسے آپ اپنے پاس رکھی کلید سے واپس جوڑ سکتے ہیں۔ GDPR کے تحت pseudonymised ڈیٹا بھی ذاتی ڈیٹا ہی ہے، اس لیے اسے بھی تحفظ چاہیے۔

کیا زیرو ڈیٹا ریٹینشن کا مطلب ہے کہ میں کچھ بھی بھیج سکتا ہوں؟

نہیں۔ زیرو ڈیٹا ریٹینشن کا مطلب ہے کہ فراہم کنندہ درخواست کے بعد مواد نہیں رکھتا۔ ڈیٹا پھر بھی آپ کے سسٹمز سے باہر جاتا ہے اور فراہم کنندہ اسے پروسیس کرتا ہے، اس لیے ڈیٹا کم کرنا اور قانونی جانچ پھر بھی لازم ہیں۔

پرامپٹس کو اپنے ہی لاگز میں آنے سے کیسے روکوں؟

درخواست ID، ماڈل، ٹوکن گنتی، لیٹنسی اور اسٹیٹس لاگ کریں، پیغام کا مواد کبھی نہیں۔ HTTP کلائنٹ کی debug لاگنگ، ٹریسنگ SDKs اور ایرر رپورٹرز چیک کریں، جو اکثر پہلے سے طے شدہ طور پر درخواست کا body ریکارڈ کرتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں