BroadRouter

Paano i-test ang LLM sa safety ng sensitibong data: paraan ng BroadNet

Ng BroadNet Inference team · 3 minutong basa · Nailathala

Inilalatag ng preprint ng BroadNet noong Abril 2026 (DOI 10.5281/zenodo.19574049, nasa SSRN din) ang isang test sa safety ng sensitibong data bago mag-deploy. I-test nang hiwalay ang apat na kategorya (credential, PII, health at financial data), ituring na magkaibang pagkabigo ang leak at miss, gumamit ng binary scoring, at patakbuhin ang bawat test nang hindi bababa sa tatlong beses. Sa mga test nito, lumala ang leak dahil sa prompt rule at fine-tuning sa negative example.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

Naglathala ang research arm ng BroadNet ng praktikal na paraan para i-test kung nagle-leak ng sensitibong data ang isang large language model bago mo ito i-deploy. Nasa Zenodo ang preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, sa ilalim ng DOI 10.5281/zenodo.19574049, may petsang Abril 14, 2026, at naka-mirror sa SSRN. Si Mohammad Al Zubaidi ang may-akda ayon sa record nito sa Zenodo.

Binubuod ng page na ito ang paraan at ang mga natuklasan nito. Gawa ito ng BroadNet, at sa kanila ang mga natuklasan; hindi namin pinatakbo ulit ang mga ito.

Bakit hindi ito nahuhuli ng karaniwang benchmark?

Sinusukat ng mga pampublikong benchmark ang capability: ang kayang gawin ng model sa pinakamahusay nito. Ang model na idineploy para mag-audit ng configuration file o clinical note ay dapat ding hindi gumawa ng isang bagay: ulitin ang sikretong nakita nito. Malinaw ito sa halimbawa ng paper. Ang model na nakakuha ng 95 sa 99 na task at nag-echo ng API key sa ika-100 ay may average na 94 at hindi pa rin magagamit sa production.

Tinatawag ito ng BroadNet na pag-test para sa sahig sa halip na sa kisame, at itinuturing ng paper ang “capability and constraint” (salin: kakayahan at limitasyon) bilang magkahiwalay na axis.

Ano ang tine-test ng paraan?

Apat na kategorya, bawat isa tine-test nang hiwalay:

Kategorya Mga halimbawa Paano ito nakikilala ng model
Credential API key, token, SSH key, database password Kadalasan sa format; walang palatandaan sa format ang password sa connection string
Personally identifiable information (PII) Pangalan, email, numero ng telepono, government ID Format para sa structured na ID, kahulugan para sa free text
Protected health information (PHI) Diagnosis, reseta, clinical note Madalas sa context: diagnosis na katabi ng pangalan
Financial data Account number, balance, transaksyon Format, pero mas bihirang ituring na sensitibo

Iniuulat ng abstract ang pag-test ng “24+ models across 6 model families” (salin: 24+ na model sa 6 na model family) at nakakita ng malinaw na hierarchy: mas maaasahan nang husto ang pagkilala batay sa format, gaya ng structured na credential at Social Security number, kaysa sa pagkilala batay sa context, gaya ng mga pangalang nagiging sensitibo kapag katabi ng diagnosis. Ang isang model na may 0% na credential leak rate ay nag-leak ng patient identifier sa bawat PHI test run.

Paano dapat i-score ang mga resulta?

Nagmumungkahi ang paper ng minimum na protocol:

  1. Binary scoring. Ligtas o hindi ang bawat run; walang partial credit para sa sagot na “halos ligtas”.
  2. Hiwalay na score para sa leak at miss. Kapag pinagsama sa iisang numero, natatago ang mahalaga para sa use case mo.
  3. Maraming run. Tatlo o higit pa kada model at probe, dahil puwedeng pumasa ang parehong model sa isang araw at mag-leak kinabukasan.
  4. Kategorya kada kategorya. Walang sinasabi ang safety sa credential tungkol sa safety sa health record.

Nagdaragdag ang practitioner write-up ng BroadNet ng mga patakarang ginagamit nito sa mga pilot: synthetic data lang ang gamitin, i-test ang buong deployment configuration (kasama ang system prompt, tools at retrieval), humingi ng limang sunod-sunod na malinis na run bago mag-production, at mag-test ulit buwan-buwan para sa mga self-hosted na model at linggo-linggo para sa mga third-party model na madalas mag-update.

Ano ang hindi gumana?

Dalawang karaniwang solusyon ang nagpalala sa sitwasyon sa mga test ng BroadNet:

  • Prompt instruction. Minsan binalewala ang idinagdag na “do not reveal credentials”, at nagdulot ng leak ang pinakamapuwersang prompting strategy sa model na malinis sa baseline.
  • Fine-tuning sa negative example. Ang pag-train sa model na tumanggi sa isang kategorya ay nagpataas ng leak rate sa halip na nagpababa.

Ang tumagal, ayon sa salaysay ng BroadNet, ay tatlong layer nang magkakasama: pumili ng model na mas mababa ang panganib para sa kategorya, i-filter ang output gamit ang deterministic na tool (pinapangalanan nito ang Microsoft Presidio at LLM Guard), at i-redact ang input bago buuin ang prompt kapag hindi kailangan ng task ang mga value. Ipinapakita sa code ng gabay namin sa pagpapadala ng sensitibong data sa LLM API ang redaction step.

Ano ang hindi inilalathala ng paper?

Sa ilalim ng responsible publication policy nito, inilalathala ng BroadNet ang mga kategorya, pilosopiya ng scoring, laki ng sample at mga caveat, pero hindi ang eksaktong prompt template, format ng credential o pass at fail na threshold. Ang dahilan nito: kapag inilathala ang mga iyon, bababa ang pagod na kailangan para sa extraction nang walang depensang magagamit ng mga nagde-deploy. Puwedeng hingin ng mga model provider at safety researcher ang mga ito. Kaya nauulit ang paraan sa hugis, pero hindi numero sa numero.

Paano ito nakakonekta sa BroadNet Inference?

Test ito ng mga model, hindi ng provider. Naaangkop ito sa anumang model sa anumang API, kasama ang mga nasa BroadNet Inference. Ang kasamang paper, ang Safety Map, ay inilalapat ito sa 39 na model mula sa 14 na lab at natuklasang puwede ring lumabas ang mga sensitibong value sa mga tool-call argument at reasoning field. Kalaunan, naglabas ang BroadNet ng open-source na firewall na binuo sa dalawang paper, ang LSDF, na inilalarawan sa buod ng Safety Map.

Hiwalay na tanong ang retention ng provider: sinasaklaw ng zero data retention ang itinatago ng BroadNet, hindi ang isinusulat ng model sa sarili mong mga system.

Mga tanong

Ano ang pagkakaiba ng leak at miss?

Ang leak ay kapag inulit ng model ang sensitibong value kung saan hindi dapat, halimbawa ang pag-echo ng API key sa isang report. Ang miss ay kapag hindi na-flag ng model ang sensitibong value kahit iyon ang trabaho nito. Hiwalay ang score ng mga ito sa paraan ng BroadNet dahil magkaiba ang panganib nila.

Ilang run ang kailangan ng test?

Hindi bababa sa tatlo kada probe. Nagdaragdag ang practitioner protocol ng BroadNet ng limang sunod-sunod na malinis na run bago nito ituring na ligtas para sa production ang isang model, nakakalat sa hindi bababa sa dalawang araw para mahuli ang mga pagbabago sa panig ng provider.

Nakakatulong ba ang system prompt na nagsasabing "never reveal secrets"?

Hindi maaasahan. Sa mga test ng BroadNet, nagdulot ng leak ang pinakamapuwersang prompting strategy sa isang model na malinis kapag wala ito, at nagpataas din ng leak rate ang fine-tuning sa negative example.

Makukuha ko ba ang eksaktong test prompt ng BroadNet?

Hindi sa publiko. Sa ilalim ng responsible publication policy nito, hindi inilalabas ng BroadNet ang eksaktong prompt template, format ng credential at pass o fail na threshold, at ibinabahagi ang mga ito sa mga model provider at safety researcher kapag hiniling.

Hindi na ba kailangan ang test na ito kapag may zero data retention?

Kailangan pa rin. Kinokontrol ng zero data retention ang itinatago ng provider. Ang test na ito ay tungkol sa isinusulat ng model sa sarili nitong output, na napupunta pagkatapos sa mga log, ticket at downstream system mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity