Safety Map، BroadNet کا یہ سروے ہے کہ بڑے لسانی ماڈلز حساس ڈیٹا کو کیسے سنبھالتے ہیں۔ preprint، The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling، 22 اپریل 2026 کو Zenodo پر DOI 10.5281/zenodo.19688433 کے تحت شائع ہوا، اور اس کے مصنف Mohammad Al Zubaidi ہیں۔ یہ BroadNet کے حساس ڈیٹا کی جانچ کے طریقے کا ساتھی مقالہ ہے۔
آگے جو ہے، وہ abstract اور BroadNet کے ریسرچ صفحے کا ہمارا خلاصہ ہے۔ فیصلے BroadNet کے ہیں۔
سروے میں کیا شامل تھا؟
| پہلو | دائرہ |
|---|---|
| ماڈلز | 39، 14 آزاد لیبز سے |
| probe منظرنامے | 7 |
| کیٹیگریز | credentials، PII، protected health information (PHI)، مالی اکاؤنٹ نمبرز، data-loss-prevention (DLP) اسکیننگ |
| شواہد | تقریباً 1,300 multi-run جانچوں سے 135+ درجہ بند ماڈل-probe جوڑے |
BroadNet کا کیٹلاگ کہتا ہے کہ اس نے تقریباً 90 ریموٹ اور API ماڈلز، جنہیں اس نے کبھی اپنے ہارڈویئر پر نہیں چلایا، اپنے حفاظت، روٹنگ اور عربی ٹیسٹ ہارنسز سے گزارے ہیں، اور وہ نتائج اس نقشے میں شامل ہیں۔
اہم نتائج کیا ہیں؟
حفاظت ایک سطح ہے، ایک اسکور نہیں۔ یہ تین محوروں پر بدلتی ہے، جو ایک دوسرے پر جمع ہوتے ہیں:
- آرکیٹیکچر۔ مقالہ credentials پر، مختلف روٹنگ ڈیزائنز میں، تقریباً 24B active پیرامیٹرز کی capacity floor بتاتا ہے، جس کی بنیادی مثال کم active پیرامیٹرز والے mixture-of-experts ماڈلز ہیں۔
- نسل۔ alignment کا معیار ایک ہی ماڈل فیملی کے اندر سرحد کو سرکا دیتا ہے۔
- لیب کی alignment سرمایہ کاری۔ کسی مشہور لیب کا flagship لیبل ضمانت نہیں۔
تینوں میں سے کوئی بھی اکیلا حفاظت کی پیش گوئی نہیں کرتا؛ وہ مل کر اثر ڈالتے ہیں۔
حفاظت کیٹیگریز کے درمیان منتقل نہیں ہوتی۔ credentials اور Social Security نمبرز کو صاف ستھرے طریقے سے سنبھالنا اسی ماڈل میں ناموں، صحت کے ریکارڈز یا اکاؤنٹ نمبرز تک نہیں پہنچا۔
آؤٹ پٹ چینلز الگ الگ لیک کرتے ہیں۔ عملی طور پر سب سے زیادہ وزن اسی نتیجے کا ہے:
- جن 73 رنز نے
tool_calls.argumentsبھرے، ان میں سے 20 نے tool call کے ذریعے حساس قدریں بھیجیں۔ ان رنز کے پیچھے ماڈلز میں Moonshot کا Kimi K2.6 بھی تھا، جسے اس کی ریلیز کے دن ٹیسٹ کیا گیا، اور جسے مقالہ باقی معاملات میں credentials، PII، مالی ڈیٹا اور DLP پر multi-run محفوظ قرار دیتا ہے۔ - جن 43 رنز میں فراہم کنندہ نے
reasoning_contentکو کم از کم 20 حروف سے بھرا، ان میں سے 29 نے ریزننگ میں حساس قدریں لیک کیں، جبکہ چیٹ جواب کو محفوظ، چھوٹا ہوا یا کٹا ہوا قرار دیا گیا۔
pruning حفاظت توڑ سکتی ہے۔ Meta کی Llama لائن کے دو آزاد pruned ورژنز، جنہیں NVIDIA نے neural architecture search سے بنایا، نے مختلف آؤٹ پٹ چینلز سے صحت کے ڈیٹا کی حفاظت توڑی۔
مقالہ پانچ درجوں کی درجہ بندی پر ختم ہوتا ہے۔ اس کا سب سے اوپر کا کلسٹر، جو پرکھی گئی ہر کیٹیگری میں یکساں محفوظ رہا، Claude Opus 4.7، GPT-5.4 اور GPT-5.4-mini، Gemini 3 Flash اور Gemini 3.1 Pro ہے۔ abstract کہتا ہے کہ xAI Grok اور Meta Llama کے flagships اس کلسٹر میں نہیں آتے۔
اپنے اسٹیک میں کیا بدلیں؟
- ہر چینل فلٹر کریں۔ نظر آنے والے جواب کی جانچ tool-call arguments اور ریزننگ فیلڈز کو چھوڑ دیتی ہے۔ اگر آپ tool calling یا ریزننگ ماڈل استعمال کرتے ہیں تو دونوں جانچیں۔
- کیٹیگری کے لحاظ سے ٹیسٹ کریں۔ credentials پر صاف نتیجہ صحت یا تنخواہ کے ڈیٹا کے بارے میں کچھ نہیں بتاتا۔
- ماڈل اپ ڈیٹس پر دوبارہ ٹیسٹ کریں۔ Kimi K2.6 والا نتیجہ ریلیز کے دن والے ماڈل سے آیا۔
- جہاں ہو سکے، پہلے redact کریں۔ ماڈل وہ لیک نہیں کر سکتا جو اس نے کبھی دیکھا ہی نہیں۔ ہماری حساس ڈیٹا گائیڈ Python میں placeholder سے redaction دکھاتی ہے۔
LSDF کیا ہے؟
LSDF، یعنی LLM Sensitive Data Firewall، وہ کنٹرول ہے جو BroadNet نے ان دو مقالوں سے بنایا اور Apache-2.0 کے تحت github.com/brntech/lsdf پر اوپن سورس کے طور پر جاری کیا۔ یہ OpenAI-compatible chat completions API کے لیے ایک reverse proxy ہے: آپ اپنے کلائنٹ کا base URL اس پر سیٹ کرتے ہیں، اور یہ آپ کے ماڈل سرور یا فراہم کنندہ تک آگے بھیجتا ہے۔ BroadNet کہتا ہے کہ یہ درخواستیں، جوابات، اسٹریم کیے گئے chunks، اسٹریم کیے گئے tool-call arguments، حاصل کردہ کانٹیکسٹ اور ریزننگ فیلڈز جانچتا ہے، اور ٹریسز اور لاگز کو الگ سے صاف کرتا ہے۔
BroadNet کی مئی 2026 کی جانچ، اس کے اپنے corpora پر، یہ recall بتاتی ہے:
| ڈیٹیکٹر اسٹیک | Credential replay | Clinical PHI | Broad English PII |
|---|---|---|---|
| صرف regex | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF broad-PII ڈیٹیکٹرز | 1.000 | 0.944 | 0.685 |
یہ ایک وینڈر کے اپنے ٹول کے نمبر ہیں، اس کے چنے ہوئے corpora پر۔ نقطۂ آغاز کے طور پر یہ کارآمد ہیں، اور ریپوزٹری میں replay شامل ہے تاکہ آپ انہیں جانچ سکیں۔ LSDF کسی بھی ماڈل کے آگے کام کرتا ہے، ان کے بھی جنہیں BroadNet ہوسٹ نہیں کرتا۔
حدود کیا ہیں؟
مقالہ ایک preprint ہے، peer-review نہیں ہوا۔ BroadNet کی ذمہ دارانہ اشاعت کی پالیسی کے تحت درست پرامپٹس، credential فارمیٹس اور thresholds عوامی ورژن سے ہٹائے گئے ہیں، اور درخواست پر ماڈل فراہم کنندگان اور محققین سے شیئر کیے جاتے ہیں۔ ماڈل ورژنز تیزی سے بدلتے ہیں، اس لیے اپریل 2026 کا فیصلہ ٹیسٹ کرنے کی وجہ ہے، ٹیسٹ کا متبادل نہیں۔
