BroadNet کے ریسرچ شعبے نے یہ پرکھنے کا ایک عملی طریقہ شائع کیا ہے کہ کوئی بڑا لسانی ماڈل ڈیپلائے کرنے سے پہلے حساس ڈیٹا لیک کرتا ہے یا نہیں۔ preprint، How to Evaluate an LLM for Sensitive Data Safety Before Deploying It، Zenodo پر DOI 10.5281/zenodo.19574049 کے تحت ہے، 14 اپریل 2026 کی تاریخ کے ساتھ، اور SSRN پر بھی دستیاب ہے۔ اس کا Zenodo ریکارڈ Mohammad Al Zubaidi کو مصنف بتاتا ہے۔
یہ صفحہ طریقے اور اس کے نتائج کا خلاصہ ہے۔ یہ BroadNet کا کام ہے، اور نتائج اس کے اپنے ہیں؛ ہم نے انہیں دوبارہ نہیں چلایا۔
عام بینچ مارکس اسے کیوں نہیں پکڑتے؟
عوامی بینچ مارکس صلاحیت ناپتے ہیں: ماڈل اپنی بہترین حالت میں کیا کر سکتا ہے۔ لیکن جو ماڈل کسی کنفیگریشن فائل یا کلینیکل نوٹ کا آڈٹ کرنے کے لیے ڈیپلائے ہوا ہے، اسے کچھ نہ کرنا بھی آنا چاہیے: جو راز اسے ملا، اسے دہرانا نہیں۔ مقالے کی مثال بات واضح کرتی ہے۔ جو ماڈل 99 ٹاسکس پر 95 اسکور کرے اور سوویں پر API کلید دہرا دے، اس کا اوسط 94 ہے، پھر بھی وہ پروڈکشن میں قابلِ استعمال نہیں۔
BroadNet اسے بالائی حد کے بجائے نچلی حد کا ٹیسٹ کہتا ہے، اور مقالہ “capability and constraint” (ترجمہ: صلاحیت اور پابندی) کو آزاد محور مانتا ہے۔
یہ طریقہ کیا پرکھتا ہے؟
چار کیٹیگریز، ہر ایک الگ سے:
| کیٹیگری | مثالیں | ماڈل اسے کیسے پہچانتا ہے |
|---|---|---|
| Credentials | API کلیدیں، ٹوکنز، SSH کلیدیں، ڈیٹا بیس پاس ورڈز | زیادہ تر فارمیٹ سے؛ connection strings کے پاس ورڈز کا کوئی فارمیٹ اشارہ نہیں ہوتا |
| ذاتی شناختی معلومات (PII) | نام، ای میلز، فون نمبرز، سرکاری IDs | منظم IDs کے لیے فارمیٹ، آزاد متن کے لیے معنی |
| محفوظ صحت کی معلومات (PHI) | تشخیص، نسخے، کلینیکل نوٹس | اکثر سیاق سے: نام کے ساتھ تشخیص |
| مالی ڈیٹا | اکاؤنٹ نمبرز، بیلنس، لین دین | فارمیٹ سے، مگر اسے کم ہی حساس سمجھا جاتا ہے |
abstract “24+ models across 6 model families” (ترجمہ: 6 ماڈل فیملیز کے 24+ ماڈلز) کو پرکھنے کی بات بتاتا ہے اور ایک واضح درجہ بندی پاتا ہے: فارمیٹ پر مبنی پہچان، جیسے منظم credentials اور Social Security نمبرز، سیاق پر مبنی پہچان سے کہیں زیادہ قابلِ بھروسہ ہے، جیسے ایسے نام جو تشخیص کے ساتھ آ کر حساس بن جاتے ہیں۔ 0% credential leak شرح والے ایک ماڈل نے ہر PHI ٹیسٹ رن میں مریضوں کی شناخت لیک کی۔
نتائج کا اسکور کیسے کریں؟
مقالہ ایک کم از کم پروٹوکول تجویز کرتا ہے:
- Binary اسکورنگ۔ ہر رن یا تو محفوظ ہے یا نہیں؛ “زیادہ تر محفوظ” جواب کے لیے کوئی جزوی نمبر نہیں۔
- leak اور miss کا الگ اسکور۔ دونوں کو ایک نمبر میں ملانے سے وہ چھپ جاتا ہے جو آپ کے استعمال کے لیے اہم ہے۔
- کئی رنز۔ ہر ماڈل اور probe کے لیے تین یا زیادہ، کیونکہ وہی ماڈل ایک دن پاس ہو سکتا ہے اور اگلے دن لیک کر سکتا ہے۔
- کیٹیگری بہ کیٹیگری۔ credentials پر حفاظت صحت کے ریکارڈز پر حفاظت کے بارے میں کچھ نہیں بتاتی۔
BroadNet کی practitioner تحریر وہ عملی اصول جوڑتی ہے جو وہ پائلٹس میں استعمال کرتا ہے: صرف synthetic ڈیٹا استعمال کریں، پوری ڈیپلائمنٹ کنفیگریشن پرکھیں (system prompt، ٹولز اور retrieval سمیت)، پروڈکشن سے پہلے لگاتار پانچ صاف رنز مانگیں، اور self-hosted ماڈلز کو ہر مہینے اور اکثر اپ ڈیٹ ہونے والے third-party ماڈلز کو ہر ہفتے دوبارہ پرکھیں۔
کیا کام نہیں آیا؟
دو عام اقدامات نے BroadNet کے ٹیسٹس میں حالات بگاڑے:
- پرامپٹ ہدایات۔ “do not reveal credentials” شامل کرنا کبھی کبھار نظر انداز ہوا، اور سب سے زوردار prompting حکمتِ عملی نے ایک ایسے ماڈل میں لیکس کروائے جو baseline پر صاف تھا۔
- منفی مثالوں پر fine-tuning۔ کسی کیٹیگری سے انکار کے لیے ماڈل کو ٹرین کرنے سے leak کی شرح کم ہونے کے بجائے بڑھی۔
BroadNet کے بیان کے مطابق جو ٹکا وہ تین تہیں ایک ساتھ تھیں: اس کیٹیگری کے لیے کم خطرے والا ماڈل چنیں، آؤٹ پٹ کو ایک deterministic ٹول سے فلٹر کریں (وہ Microsoft Presidio اور LLM Guard کا نام لیتا ہے)، اور جب ٹاسک کو قدروں کی ضرورت نہ ہو تو پرامپٹ بننے سے پہلے ان پٹ redact کریں۔ ہماری LLM API کو حساس ڈیٹا بھیجنے کی گائیڈ redaction کا قدم کوڈ میں دکھاتی ہے۔
مقالہ کیا شائع نہیں کرتا؟
اپنی ذمہ دارانہ اشاعت کی پالیسی کے تحت BroadNet کیٹیگریز، اسکورنگ کا فلسفہ، سیمپل سائز اور احتیاطیں شائع کرتا ہے، مگر درست پرامپٹ ٹیمپلیٹس، credential فارمیٹس یا pass اور fail کی thresholds نہیں۔ اس کی وجہ: انہیں شائع کرنے سے ڈیٹا نکالنے کی محنت کم ہو جائے گی، جبکہ ڈیپلائے کرنے والوں کے پاس کوئی دفاع نہیں ہوگا۔ ماڈل فراہم کنندگان اور حفاظتی محققین انہیں مانگ سکتے ہیں۔ اس سے طریقہ اپنی ساخت میں دہرایا جا سکتا ہے، مگر نمبر بہ نمبر نہیں۔
اس کا BroadNet Inference سے کیا تعلق ہے؟
یہ ماڈلز کا ٹیسٹ ہے، فراہم کنندہ کا نہیں۔ یہ کسی بھی API پر کسی بھی ماڈل پر لاگو ہوتا ہے، BroadNet Inference والے ماڈلز سمیت۔ ساتھی مقالہ، Safety Map، اسے 14 لیبز کے 39 ماڈلز پر لاگو کرتا ہے اور پاتا ہے کہ حساس قدریں tool-call arguments اور ریزننگ فیلڈز سے بھی باہر جا سکتی ہیں۔ BroadNet نے بعد میں دونوں مقالوں پر مبنی ایک اوپن سورس فائر وال، LSDF، جاری کیا، جس کی تفصیل Safety Map کے خلاصے میں ہے۔
فراہم کنندہ کا ڈیٹا رکھنا ایک الگ سوال ہے: zero data retention بتاتا ہے کہ BroadNet کیا محفوظ کرتا ہے، یہ نہیں کہ ماڈل آپ کے اپنے سسٹمز میں کیا لکھتا ہے۔

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)