BroadNet की रिसर्च शाखा ने यह परखने का एक व्यावहारिक तरीक़ा प्रकाशित किया है कि कोई बड़ा भाषा मॉडल डिप्लॉय करने से पहले संवेदनशील डेटा लीक करता है या नहीं। preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, Zenodo पर DOI 10.5281/zenodo.19574049 के तहत है, 14 अप्रैल 2026 की तारीख़ के साथ, और SSRN पर भी उपलब्ध है। इसका Zenodo रिकॉर्ड Mohammad Al Zubaidi को लेखक बताता है।
यह पेज तरीक़े और उसके नतीजों का सारांश है। यह BroadNet का काम है, और नतीजे उसके अपने हैं; हमने उन्हें दोबारा नहीं चलाया।
आम बेंचमार्क इसे क्यों नहीं पकड़ते?
पब्लिक बेंचमार्क क्षमता नापते हैं: मॉडल अपने सबसे अच्छे रूप में क्या कर सकता है। लेकिन जो मॉडल किसी कॉन्फ़िगरेशन फ़ाइल या क्लिनिकल नोट का ऑडिट करने के लिए डिप्लॉय हुआ है, उसे कुछ न करना भी आना चाहिए: जो secret उसे मिला, उसे दोहराना नहीं। पेपर का उदाहरण बात साफ़ करता है। जो मॉडल 99 टास्क पर 95 स्कोर करे और सौवें पर API key दोहरा दे, उसका औसत 94 है, फिर भी वह प्रोडक्शन में इस्तेमाल के लायक़ नहीं।
BroadNet इसे ऊपरी सीमा की जगह निचली सीमा का टेस्ट कहता है, और पेपर “capability and constraint” (अनुवाद: क्षमता और पाबंदी) को स्वतंत्र धुरियाँ मानता है।
यह तरीक़ा क्या परखता है?
चार कैटेगरी, हर एक को अलग से:
| कैटेगरी | उदाहरण | मॉडल इसे कैसे पहचानता है |
|---|---|---|
| Credentials | API keys, टोकन, SSH keys, डेटाबेस पासवर्ड | ज़्यादातर फ़ॉर्मैट से; connection string के पासवर्ड का कोई फ़ॉर्मैट संकेत नहीं होता |
| व्यक्तिगत पहचान योग्य जानकारी (PII) | नाम, ईमेल, फ़ोन नंबर, सरकारी ID | संरचित ID के लिए फ़ॉर्मैट, खुले टेक्स्ट के लिए अर्थ |
| संरक्षित स्वास्थ्य जानकारी (PHI) | डायग्नोसिस, प्रिस्क्रिप्शन, क्लिनिकल नोट | अक्सर संदर्भ से: नाम के बगल में डायग्नोसिस |
| वित्तीय डेटा | अकाउंट नंबर, बैलेंस, लेन-देन | फ़ॉर्मैट से, लेकिन इसे कम बार संवेदनशील माना जाता है |
abstract “24+ models across 6 model families” (अनुवाद: 6 मॉडल फ़ैमिली के 24+ मॉडल) को परखने की बात बताता है और एक साफ़ क्रम पाता है: फ़ॉर्मैट पर आधारित पहचान, जैसे संरचित credentials और Social Security नंबर, संदर्भ पर आधारित पहचान से कहीं ज़्यादा भरोसेमंद है, जैसे ऐसे नाम जो डायग्नोसिस के बगल में आकर संवेदनशील बन जाते हैं। 0% credential leak दर वाले एक मॉडल ने हर PHI टेस्ट रन में मरीज़ों की पहचान लीक की।
नतीजों का स्कोर कैसे करें?
पेपर एक न्यूनतम प्रोटोकॉल सुझाता है:
- Binary स्कोरिंग। हर रन या तो सुरक्षित है या नहीं; “ज़्यादातर सुरक्षित” जवाब के लिए कोई आंशिक अंक नहीं।
- leak और miss का अलग स्कोर। दोनों को एक नंबर में मिलाने से वह छिप जाता है जो आपके use case के लिए मायने रखता है।
- कई रन। हर मॉडल और probe के लिए तीन या ज़्यादा, क्योंकि वही मॉडल एक दिन पास हो सकता है और अगले दिन लीक कर सकता है।
- कैटेगरी-दर-कैटेगरी। credentials पर सुरक्षा हेल्थ रिकॉर्ड पर सुरक्षा के बारे में कुछ नहीं बताती।
BroadNet का practitioner ब्योरा वे काम के नियम जोड़ता है जो वह पायलट में इस्तेमाल करता है: सिर्फ़ synthetic डेटा इस्तेमाल करें, पूरी डिप्लॉयमेंट कॉन्फ़िगरेशन परखें (system prompt, टूल और retrieval समेत), प्रोडक्शन से पहले लगातार पाँच साफ़ रन माँगें, और self-hosted मॉडल को हर महीने और अक्सर अपडेट होने वाले third-party मॉडल को हर हफ़्ते फिर से परखें।
क्या काम नहीं आया?
दो आम उपायों ने BroadNet के टेस्ट में हालत बिगाड़ी:
- prompt निर्देश। “do not reveal credentials” जोड़ना कभी-कभी नज़रअंदाज़ हुआ, और सबसे ज़ोरदार prompting रणनीति ने एक ऐसे मॉडल में लीक करवाए जो baseline पर साफ़ था।
- negative उदाहरणों पर fine-tuning। किसी कैटेगरी को मना करने के लिए मॉडल को ट्रेन करने से leak दर घटने की जगह बढ़ी।
BroadNet के अनुसार, जो टिका वह तीन परतें साथ में थीं: उस कैटेगरी के लिए कम जोखिम वाला मॉडल चुनें, आउटपुट को एक deterministic टूल से फ़िल्टर करें (वह Microsoft Presidio और LLM Guard का नाम लेता है), और जब टास्क को वैल्यू की ज़रूरत न हो, तो prompt बनने से पहले इनपुट redact करें। हमारी LLM API को संवेदनशील डेटा भेजने की गाइड redaction का क़दम कोड में दिखाती है।
पेपर क्या प्रकाशित नहीं करता?
अपनी ज़िम्मेदार प्रकाशन नीति के तहत BroadNet कैटेगरी, स्कोरिंग का दर्शन, सैंपल साइज़ और सावधानियाँ प्रकाशित करता है, लेकिन सटीक prompt टेम्पलेट, credential फ़ॉर्मैट या pass और fail के threshold नहीं। उसकी वजह: इन्हें प्रकाशित करने से डेटा निकालने की मेहनत कम हो जाएगी, जबकि डिप्लॉय करने वालों के पास कोई बचाव नहीं होगा। मॉडल प्रोवाइडर और सुरक्षा रिसर्चर इन्हें माँग सकते हैं। इससे तरीक़ा अपने ढाँचे में दोहराया जा सकता है, लेकिन नंबर-दर-नंबर नहीं।
इसका BroadNet Inference से क्या संबंध है?
यह मॉडल का टेस्ट है, प्रोवाइडर का नहीं। यह किसी भी API पर किसी भी मॉडल पर लागू होता है, BroadNet Inference वाले मॉडल समेत। साथी पेपर, Safety Map, इसे 14 लैब के 39 मॉडल पर लागू करता है और पाता है कि संवेदनशील वैल्यू tool-call arguments और रीज़निंग फ़ील्ड से भी बाहर जा सकती हैं। BroadNet ने बाद में दोनों पेपर पर बना एक ओपन-सोर्स फ़ायरवॉल, LSDF, जारी किया, जिसका वर्णन Safety Map के सारांश में है।
प्रोवाइडर का डेटा रखना एक अलग सवाल है: zero data retention बताता है कि BroadNet क्या स्टोर करता है, यह नहीं कि मॉडल आपके अपने सिस्टम में क्या लिखता है।

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)