BroadRouter

The Safety Map: paano hinahawakan ng 39 na LLM ang sensitibong data

Ng BroadNet Inference team · 3 minutong basa · Nailathala · Na-update

Ang Safety Map ay preprint ng BroadNet mula Abril 2026 (DOI 10.5281/zenodo.19688433). Sinubok nito ang 39 na model mula sa 14 na lab sa 7 probe na sumasaklaw sa credential, PII, health data, account number at DLP scanning, sa mga 1,300 multi-run na evaluation. Hindi nailipat ang safety sa pagitan ng mga kategorya o output channel: 20 sa 73 run na nagpuno ng tool-call argument ang nag-leak doon.

Ang Safety Map ay survey ng BroadNet kung paano hinahawakan ng mga large language model ang sensitibong data. Inilathala ang preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, sa Zenodo noong Abril 22, 2026 sa ilalim ng DOI 10.5281/zenodo.19688433, na si Mohammad Al Zubaidi ang may-akda. Kasama ito ng paraan ng BroadNet sa pag-evaluate ng sensitibong data.

Ang sumusunod ay buod namin ng abstract at ng research page ng BroadNet. Sa BroadNet ang mga hatol.

Ano ang sinaklaw ng survey?

Dimensyon Saklaw
Mga model 39, mula sa 14 na independiyenteng lab
Probe scenario 7
Mga kategorya Credential, PII, protected health information (PHI), financial account number, data-loss-prevention (DLP) scanning
Ebidensya 135+ na naka-classify na kombinasyon ng model at probe mula sa mga 1,300 multi-run na evaluation

Sabi ng catalogue ng BroadNet, naipadaan na nito ang mga 90 remote at API model, na hindi kailanman pinatakbo sa sarili nitong hardware, sa mga safety, routing at Arabic na test harness nito, at ang mga natuklasang iyon ang nagpapakain sa mapang ito.

Ano ang mga pangunahing natuklasan?

Ibabaw ang safety, hindi iisang score. Nag-iiba ito sa tatlong axis na nagpapatong:

  • Architecture. Iniuulat ng paper ang capacity floor na mga 24B active parameter sa credential, sa iba’t ibang routing design, at ang mga mixture-of-experts na model na maliit ang active ang pangunahing kaso.
  • Henerasyon. Inililipat ng kalidad ng alignment ang hangganan sa loob ng isang model family.
  • Puhunan ng lab sa alignment. Hindi garantiya ang flagship na label mula sa kilalang lab.

Wala sa tatlo ang nakapagsasabi ng safety nang mag-isa; nagsasama-sama sila.

Hindi naililipat ang safety sa pagitan ng mga kategorya. Ang malinis na paghawak sa credential at Social Security number ay hindi nadala sa mga pangalan, health record o account number sa parehong model.

Hiwa-hiwalay na nagle-leak ang mga output channel. Ito ang natuklasang may pinakamabigat na praktikal na bigat:

  • Sa 73 run na nagpuno ng tool_calls.arguments, 20 ang nagpadala ng sensitibong value sa tool call. Kabilang sa mga model sa likod ng mga run na iyon ang Kimi K2.6 ng Moonshot, na na-test sa araw ng release nito, isang model na kung hindi dahil doon ay ina-rate ng paper na multi-run safe sa credential, PII, financial data at DLP.
  • Sa 43 run kung saan pinunan ng provider ang reasoning_content ng hindi bababa sa 20 character, 29 ang nag-leak ng sensitibong value sa reasoning habang ang chat reply ay na-rate na ligtas, nawawala o naputol.

Puwedeng masira ng pruning ang safety. Dalawang magkahiwalay na pruned na bersyon ng Llama line ng Meta, gawa ng NVIDIA gamit ang neural architecture search, ang sumira sa health-data safety sa magkaibang output channel.

Nagtatapos ang paper sa limang-tier na ranking. Ang nangungunang cluster nito, pare-parehong ligtas sa bawat kategoryang sinubok, ay ang Claude Opus 4.7, GPT-5.4 at GPT-5.4-mini, Gemini 3 Flash at Gemini 3.1 Pro. Sabi ng abstract, hindi nakapasok sa cluster na iyon ang mga flagship ng xAI Grok at Meta Llama.

Ano ang dapat mong baguhin sa sarili mong stack?

  1. I-filter ang bawat channel. Hindi nakikita ng check sa nakikitang reply ang mga tool-call argument at reasoning field. Kung gumagamit ka ng tool calling o reasoning model, suriin ang dalawa.
  2. Mag-test kada kategorya. Walang sinasabi ang malinis na resulta sa credential tungkol sa health o salary data.
  3. Mag-test ulit kapag may update ang model. Galing sa model sa araw ng release ang resulta ng Kimi K2.6.
  4. Mag-redact muna kung kaya. Hindi maile-leak ng model ang hindi nito nakita. Ipinapakita ng gabay namin sa sensitibong data ang placeholder redaction sa Python.

Ano ang LSDF?

Ang LSDF, ang LLM Sensitive Data Firewall, ay ang kontrol na binuo ng BroadNet mula sa dalawang paper na ito at inilabas bilang open source sa ilalim ng Apache-2.0 sa github.com/brntech/lsdf. Reverse proxy ito para sa OpenAI-compatible na chat completions API: itinuturo mo rito ang base URL ng client mo, at ipinapasa nito sa model server o provider mo. Sabi ng BroadNet, sinusuri nito ang mga request, response, streamed na chunk, streamed na tool-call argument, retrieved na context at reasoning field, at hiwalay nitong nililinis ang mga trace at log.

Ito ang recall na iniuulat ng evaluation ng BroadNet noong Mayo 2026 sa sarili nitong corpora:

Detector stack Credential replay Clinical PHI Malawak na English PII
Regex lang 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
Mga broad-PII detector ng LSDF 1.000 0.944 0.685

Mga numero ito ng isang vendor para sa sarili nitong tool, sa corpora na pinili nito. Kapaki-pakinabang ang mga ito bilang panimula, at kasama sa repository ang replay para ma-check mo ang mga ito. Gumagana ang LSDF sa harap ng anumang model, kasama ang mga hindi hino-host ng BroadNet.

Ano ang mga limitasyon?

Preprint ang paper, hindi peer-reviewed. Sa ilalim ng responsible publication policy ng BroadNet, hindi isinasama sa pampublikong bersyon ang eksaktong mga prompt, format ng credential at threshold, at ibinabahagi ang mga ito sa mga model provider at researcher kapag hiniling. Mabilis magbago ang mga bersyon ng model, kaya ang hatol mula Abril 2026 ay dahilan para mag-test, hindi kapalit ng pag-test.

Mga tanong

Aling mga model ang pinakamahusay sa Safety Map?

Inilalagay ng abstract sa itaas ang isang frontier-alignment cluster, pare-parehong ligtas sa bawat kategoryang sinubok: Claude Opus 4.7, GPT-5.4 at GPT-5.4-mini, Gemini 3 Flash at Gemini 3.1 Pro. Nasa ibaba lang nito ang Claude Sonnet 4.6, na may isang health-data leak na petsa ng kapanganakan lang sa 15 run.

Ligtas ba sa patient data ang model na hindi kailanman nagle-leak ng API key?

Hindi kinakailangan. Natuklasan ng paper na naghihiwalay ang safety ayon sa kategorya: ang model na nagprotekta sa credential, Social Security number at database password ay puwede pa ring magpangalan ng mga empleyado sa dokumento ng sahod sa bawat run.

Bakit mahalaga ang mga tool call?

Dahil chat reply lang ang tinitingnan ng maraming filter. Sa 73 run kung saan pinunan ng model ang mga tool-call argument, 20 ang nagpadala ng sensitibong value sa channel na iyon, kasama ang isang model na kung hindi dahil doon ay multi-run safe.

Mas nagle-leak ba ang maliliit na mixture-of-experts na model?

Iniuulat ng paper ang capacity floor na mga 24B active parameter sa credential, at ang mga mixture-of-experts na disenyo na maliit ang active ang pangunahing halimbawa nito. Sabi ng practitioner post ng BroadNet, wala pa itong nakikitang MoE model na mas mababa sa 24B active parameter na hindi nagle-leak sa mga structured-data probe nito.

Kasama ba sa Safety Map ang mga model sa BroadNet Inference?

Hindi naglilista ang abstract ng hatol kada model para sa mga iyon, at may petsang Abril 2026 ang preprint, kaya hindi ito maaaring maglaman ng model na inilabas pagkatapos noon. Mga 4B active parameter ang Gemma 4 VL 26B, kaya i-test ito sa sarili mong sensitive-data probe, o mag-redact bago magpadala, kung makakakita ito ng credential o personal data.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity