Naglathala ang research arm ng BroadNet ng praktikal na paraan para i-test kung nagle-leak ng sensitibong data ang isang large language model bago mo ito i-deploy. Nasa Zenodo ang preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, sa ilalim ng DOI 10.5281/zenodo.19574049, may petsang Abril 14, 2026, at naka-mirror sa SSRN. Si Mohammad Al Zubaidi ang may-akda ayon sa record nito sa Zenodo.
Binubuod ng page na ito ang paraan at ang mga natuklasan nito. Gawa ito ng BroadNet, at sa kanila ang mga natuklasan; hindi namin pinatakbo ulit ang mga ito.
Bakit hindi ito nahuhuli ng karaniwang benchmark?
Sinusukat ng mga pampublikong benchmark ang capability: ang kayang gawin ng model sa pinakamahusay nito. Ang model na idineploy para mag-audit ng configuration file o clinical note ay dapat ding hindi gumawa ng isang bagay: ulitin ang sikretong nakita nito. Malinaw ito sa halimbawa ng paper. Ang model na nakakuha ng 95 sa 99 na task at nag-echo ng API key sa ika-100 ay may average na 94 at hindi pa rin magagamit sa production.
Tinatawag ito ng BroadNet na pag-test para sa sahig sa halip na sa kisame, at itinuturing ng paper ang “capability and constraint” (salin: kakayahan at limitasyon) bilang magkahiwalay na axis.
Ano ang tine-test ng paraan?
Apat na kategorya, bawat isa tine-test nang hiwalay:
| Kategorya | Mga halimbawa | Paano ito nakikilala ng model |
|---|---|---|
| Credential | API key, token, SSH key, database password | Kadalasan sa format; walang palatandaan sa format ang password sa connection string |
| Personally identifiable information (PII) | Pangalan, email, numero ng telepono, government ID | Format para sa structured na ID, kahulugan para sa free text |
| Protected health information (PHI) | Diagnosis, reseta, clinical note | Madalas sa context: diagnosis na katabi ng pangalan |
| Financial data | Account number, balance, transaksyon | Format, pero mas bihirang ituring na sensitibo |
Iniuulat ng abstract ang pag-test ng “24+ models across 6 model families” (salin: 24+ na model sa 6 na model family) at nakakita ng malinaw na hierarchy: mas maaasahan nang husto ang pagkilala batay sa format, gaya ng structured na credential at Social Security number, kaysa sa pagkilala batay sa context, gaya ng mga pangalang nagiging sensitibo kapag katabi ng diagnosis. Ang isang model na may 0% na credential leak rate ay nag-leak ng patient identifier sa bawat PHI test run.
Paano dapat i-score ang mga resulta?
Nagmumungkahi ang paper ng minimum na protocol:
- Binary scoring. Ligtas o hindi ang bawat run; walang partial credit para sa sagot na “halos ligtas”.
- Hiwalay na score para sa leak at miss. Kapag pinagsama sa iisang numero, natatago ang mahalaga para sa use case mo.
- Maraming run. Tatlo o higit pa kada model at probe, dahil puwedeng pumasa ang parehong model sa isang araw at mag-leak kinabukasan.
- Kategorya kada kategorya. Walang sinasabi ang safety sa credential tungkol sa safety sa health record.
Nagdaragdag ang practitioner write-up ng BroadNet ng mga patakarang ginagamit nito sa mga pilot: synthetic data lang ang gamitin, i-test ang buong deployment configuration (kasama ang system prompt, tools at retrieval), humingi ng limang sunod-sunod na malinis na run bago mag-production, at mag-test ulit buwan-buwan para sa mga self-hosted na model at linggo-linggo para sa mga third-party model na madalas mag-update.
Ano ang hindi gumana?
Dalawang karaniwang solusyon ang nagpalala sa sitwasyon sa mga test ng BroadNet:
- Prompt instruction. Minsan binalewala ang idinagdag na “do not reveal credentials”, at nagdulot ng leak ang pinakamapuwersang prompting strategy sa model na malinis sa baseline.
- Fine-tuning sa negative example. Ang pag-train sa model na tumanggi sa isang kategorya ay nagpataas ng leak rate sa halip na nagpababa.
Ang tumagal, ayon sa salaysay ng BroadNet, ay tatlong layer nang magkakasama: pumili ng model na mas mababa ang panganib para sa kategorya, i-filter ang output gamit ang deterministic na tool (pinapangalanan nito ang Microsoft Presidio at LLM Guard), at i-redact ang input bago buuin ang prompt kapag hindi kailangan ng task ang mga value. Ipinapakita sa code ng gabay namin sa pagpapadala ng sensitibong data sa LLM API ang redaction step.
Ano ang hindi inilalathala ng paper?
Sa ilalim ng responsible publication policy nito, inilalathala ng BroadNet ang mga kategorya, pilosopiya ng scoring, laki ng sample at mga caveat, pero hindi ang eksaktong prompt template, format ng credential o pass at fail na threshold. Ang dahilan nito: kapag inilathala ang mga iyon, bababa ang pagod na kailangan para sa extraction nang walang depensang magagamit ng mga nagde-deploy. Puwedeng hingin ng mga model provider at safety researcher ang mga ito. Kaya nauulit ang paraan sa hugis, pero hindi numero sa numero.
Paano ito nakakonekta sa BroadNet Inference?
Test ito ng mga model, hindi ng provider. Naaangkop ito sa anumang model sa anumang API, kasama ang mga nasa BroadNet Inference. Ang kasamang paper, ang Safety Map, ay inilalapat ito sa 39 na model mula sa 14 na lab at natuklasang puwede ring lumabas ang mga sensitibong value sa mga tool-call argument at reasoning field. Kalaunan, naglabas ang BroadNet ng open-source na firewall na binuo sa dalawang paper, ang LSDF, na inilalarawan sa buod ng Safety Map.
Hiwalay na tanong ang retention ng provider: sinasaklaw ng zero data retention ang itinatago ng BroadNet, hindi ang isinusulat ng model sa sarili mong mga system.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)