---
title: "Safety Map: 39 na LLM at sensitibong data (BroadNet)"
description: "Sinuri ng BroadNet ang 39 na LLM mula sa 14 na lab sa credential, PII, health at financial data: ano ang nailipat, ano ang hindi, at leak sa tool call at reasoning."
url: https://broadrouter.com/fil/blog/llm-safety-map-39-models/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/llm-safety-map-39-models/) (na-update noong 2026-11-16).

# The Safety Map: paano hinahawakan ng 39 na LLM ang sensitibong data

Ng BroadNet Inference team · 3 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Ang Safety Map ay preprint ng BroadNet mula Abril 2026 (DOI 10.5281/zenodo.19688433). Sinubok nito ang 39 na model mula sa 14 na lab sa 7 probe na sumasaklaw sa credential, PII, health data, account number at DLP scanning, sa mga 1,300 multi-run na evaluation. Hindi nailipat ang safety sa pagitan ng mga kategorya o output channel: 20 sa 73 run na nagpuno ng tool-call argument ang nag-leak doon.

## Mga pangunahing punto

-   Preprint sa Zenodo, DOI 10.5281/zenodo.19688433, Abril 22, 2026, CC BY 4.0. Hindi peer-reviewed.
-   39 na model, 14 na lab, 7 probe scenario, 5 kategorya ng sensitibong data, mga 1,300 multi-run na evaluation.
-   Nagpapatong ang tatlong axis: architecture, henerasyon ng model at puhunan ng lab sa alignment. Wala sa mga ito ang nakapagsasabi ng safety nang mag-isa.
-   Hiwa-hiwalay na nagle-leak ang mga output channel: may dalang sensitibong value ang 20 sa 73 tool-call run at 29 sa 43 reasoning run.
-   Ginawa ng BroadNet ang mga natuklasan bilang LSDF, isang open-source (Apache-2.0) na firewall para sa OpenAI-compatible na traffic.

**Sa page na ito**

1.  Ano ang sinaklaw ng survey?
2.  Ano ang mga pangunahing natuklasan?
3.  Ano ang dapat mong baguhin sa sarili mong stack?
4.  Ano ang LSDF?
5.  Ano ang mga limitasyon?

Ang Safety Map ay survey ng BroadNet kung paano hinahawakan ng mga large language model ang sensitibong data. Inilathala ang preprint, _The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling_, sa Zenodo noong Abril 22, 2026 sa ilalim ng DOI [10.5281/zenodo.19688433](https://doi.org/10.5281/zenodo.19688433), na si Mohammad Al Zubaidi ang may-akda. Kasama ito ng [paraan ng BroadNet sa pag-evaluate ng sensitibong data](https://broadrouter.com/fil/blog/llm-sensitive-data-safety-evaluation-method/).

Ang sumusunod ay buod namin ng abstract at ng research page ng BroadNet. Sa BroadNet ang mga hatol.

## Ano ang sinaklaw ng survey?

| Dimensyon | Saklaw |
| --- | --- |
| Mga model | 39, mula sa 14 na independiyenteng lab |
| Probe scenario | 7 |
| Mga kategorya | Credential, PII, protected health information (PHI), financial account number, data-loss-prevention (DLP) scanning |
| Ebidensya | 135+ na naka-classify na kombinasyon ng model at probe mula sa mga 1,300 multi-run na evaluation |

Sabi ng catalogue ng BroadNet, naipadaan na nito ang mga 90 remote at API model, na hindi kailanman pinatakbo sa sarili nitong hardware, sa mga safety, routing at Arabic na test harness nito, at ang mga natuklasang iyon ang nagpapakain sa mapang ito.

## Ano ang mga pangunahing natuklasan?

**Ibabaw ang safety, hindi iisang score.** Nag-iiba ito sa tatlong axis na nagpapatong:

-   **Architecture.** Iniuulat ng paper ang capacity floor na mga 24B active parameter sa credential, sa iba’t ibang routing design, at ang mga mixture-of-experts na model na maliit ang active ang pangunahing kaso.
-   **Henerasyon.** Inililipat ng kalidad ng alignment ang hangganan sa loob ng isang model family.
-   **Puhunan ng lab sa alignment.** Hindi garantiya ang flagship na label mula sa kilalang lab.

Wala sa tatlo ang nakapagsasabi ng safety nang mag-isa; nagsasama-sama sila.

**Hindi naililipat ang safety sa pagitan ng mga kategorya.** Ang malinis na paghawak sa credential at Social Security number ay hindi nadala sa mga pangalan, health record o account number sa parehong model.

**Hiwa-hiwalay na nagle-leak ang mga output channel.** Ito ang natuklasang may pinakamabigat na praktikal na bigat:

-   Sa 73 run na nagpuno ng `tool_calls.arguments`, 20 ang nagpadala ng sensitibong value sa tool call. Kabilang sa mga model sa likod ng mga run na iyon ang Kimi K2.6 ng Moonshot, na na-test sa araw ng release nito, isang model na kung hindi dahil doon ay ina-rate ng paper na multi-run safe sa credential, PII, financial data at DLP.
-   Sa 43 run kung saan pinunan ng provider ang `reasoning_content` ng hindi bababa sa 20 character, 29 ang nag-leak ng sensitibong value sa reasoning habang ang chat reply ay na-rate na ligtas, nawawala o naputol.

**Puwedeng masira ng pruning ang safety.** Dalawang magkahiwalay na pruned na bersyon ng Llama line ng Meta, gawa ng NVIDIA gamit ang neural architecture search, ang sumira sa health-data safety sa magkaibang output channel.

Nagtatapos ang paper sa limang-tier na ranking. Ang nangungunang cluster nito, pare-parehong ligtas sa bawat kategoryang sinubok, ay ang Claude Opus 4.7, GPT-5.4 at GPT-5.4-mini, Gemini 3 Flash at Gemini 3.1 Pro. Sabi ng abstract, hindi nakapasok sa cluster na iyon ang mga flagship ng xAI Grok at Meta Llama.

## Ano ang dapat mong baguhin sa sarili mong stack?

1.  **I-filter ang bawat channel.** Hindi nakikita ng check sa nakikitang reply ang mga tool-call argument at reasoning field. Kung gumagamit ka ng [tool calling](https://broadrouter.com/fil/glossary/tool-calling/) o reasoning model, suriin ang dalawa.
2.  **Mag-test kada kategorya.** Walang sinasabi ang malinis na resulta sa credential tungkol sa health o salary data.
3.  **Mag-test ulit kapag may update ang model.** Galing sa model sa araw ng release ang resulta ng Kimi K2.6.
4.  **Mag-redact muna kung kaya.** Hindi maile-leak ng model ang hindi nito nakita. Ipinapakita ng [gabay namin sa sensitibong data](https://broadrouter.com/fil/blog/llm-api-sensitive-data/) ang placeholder redaction sa Python.

## Ano ang LSDF?

Ang LSDF, ang LLM Sensitive Data Firewall, ay ang kontrol na binuo ng BroadNet mula sa dalawang paper na ito at inilabas bilang open source sa ilalim ng Apache-2.0 sa [github.com/brntech/lsdf](https://github.com/brntech/lsdf). Reverse proxy ito para sa OpenAI-compatible na chat completions API: itinuturo mo rito ang base URL ng client mo, at ipinapasa nito sa model server o provider mo. Sabi ng BroadNet, sinusuri nito ang mga request, response, streamed na chunk, streamed na tool-call argument, retrieved na context at reasoning field, at hiwalay nitong nililinis ang mga trace at log.

Ito ang recall na iniuulat ng evaluation ng BroadNet noong Mayo 2026 sa sarili nitong corpora:

| Detector stack | Credential replay | Clinical PHI | Malawak na English PII |
| --- | --- | --- | --- |
| Regex lang | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| Mga broad-PII detector ng LSDF | 1.000 | 0.944 | 0.685 |

Mga numero ito ng isang vendor para sa sarili nitong tool, sa corpora na pinili nito. Kapaki-pakinabang ang mga ito bilang panimula, at kasama sa repository ang replay para ma-check mo ang mga ito. Gumagana ang LSDF sa harap ng anumang model, kasama ang mga hindi hino-host ng BroadNet.

## Ano ang mga limitasyon?

Preprint ang paper, hindi peer-reviewed. Sa ilalim ng responsible publication policy ng BroadNet, hindi isinasama sa pampublikong bersyon ang eksaktong mga prompt, format ng credential at threshold, at ibinabahagi ang mga ito sa mga model provider at researcher kapag hiniling. Mabilis magbago ang mga bersyon ng model, kaya ang hatol mula Abril 2026 ay dahilan para mag-test, hindi kapalit ng pag-test.

Mga libreng tool para rito (Ingles)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[PII (personally identifiable information)](https://broadrouter.com/fil/glossary/pii/)

Ang PII (personally identifiable information) ay impormasyong magagamit para makilala o ma-trace ang pagkakakilanlan ng isang tao, gaya ng pangalan, ID number o biometric record, pati ibang impormasyong naka-link o mali-link sa taong iyon. Personal data ang mas malawak na termino ng GDPR. Sa LLM, tinatanggal ng PII redaction ito sa mga prompt bago lumabas sa system mo.

[Chat Completions API](https://broadrouter.com/fil/glossary/chat-completions-api/)

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Base URL](https://broadrouter.com/fil/glossary/base-url/)

Ang base URL ay ang fixed na root address ng isang API, gaya ng https://api.example.com/v1, na idinudugtong ng client sa unahan ng bawat endpoint path, gaya ng /chat/completions. Sa mga OpenAI-compatible SDK, kapag pinalitan ang base URL, kasama ang API key at model ID, sa ibang provider na tatawag ang parehong code.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Model license (lisensya ng model)](https://broadrouter.com/fil/glossary/model-license/)

Ang model license ay ang legal na terms kung paano puwedeng gamitin, baguhin at ibahagi ang weights, code at outputs ng isang model. Gumagamit ang mga open-weight model ng karaniwang software license gaya ng Apache 2.0 o MIT, o ng custom model license na puwedeng magdagdag ng kondisyon, gaya ng limit sa malalaking commercial service.

## Mga tanong

### Aling mga model ang pinakamahusay sa Safety Map?

Inilalagay ng abstract sa itaas ang isang frontier-alignment cluster, pare-parehong ligtas sa bawat kategoryang sinubok: Claude Opus 4.7, GPT-5.4 at GPT-5.4-mini, Gemini 3 Flash at Gemini 3.1 Pro. Nasa ibaba lang nito ang Claude Sonnet 4.6, na may isang health-data leak na petsa ng kapanganakan lang sa 15 run.

### Ligtas ba sa patient data ang model na hindi kailanman nagle-leak ng API key?

Hindi kinakailangan. Natuklasan ng paper na naghihiwalay ang safety ayon sa kategorya: ang model na nagprotekta sa credential, Social Security number at database password ay puwede pa ring magpangalan ng mga empleyado sa dokumento ng sahod sa bawat run.

### Bakit mahalaga ang mga tool call?

Dahil chat reply lang ang tinitingnan ng maraming filter. Sa 73 run kung saan pinunan ng model ang mga tool-call argument, 20 ang nagpadala ng sensitibong value sa channel na iyon, kasama ang isang model na kung hindi dahil doon ay multi-run safe.

### Mas nagle-leak ba ang maliliit na mixture-of-experts na model?

Iniuulat ng paper ang capacity floor na mga 24B active parameter sa credential, at ang mga mixture-of-experts na disenyo na maliit ang active ang pangunahing halimbawa nito. Sabi ng practitioner post ng BroadNet, wala pa itong nakikitang MoE model na mas mababa sa 24B active parameter na hindi nagle-leak sa mga structured-data probe nito.

### Kasama ba sa Safety Map ang mga model sa BroadNet Inference?

Hindi naglilista ang abstract ng hatol kada model para sa mga iyon, at may petsang Abril 2026 ang preprint, kaya hindi ito maaaring maglaman ng model na inilabas pagkatapos noon. Mga 4B active parameter ang Gemma 4 VL 26B, kaya i-test ito sa sarili mong sensitive-data probe, o mag-redact bago magpadala, kung makakakita ito ng credential o personal data.

## Magbasa pa

-   [Paano i-test ang LLM sa safety ng sensitibong data: paraan ng BroadNet](https://broadrouter.com/fil/blog/llm-sensitive-data-safety-evaluation-method/)
-   [Sensitive data sa LLM API: mag-redact, magbawas, mag-log nang kaunti](https://broadrouter.com/fil/blog/llm-api-sensitive-data/)
-   [Tool calling sa open model: schema, parallel call, retry](https://broadrouter.com/fil/blog/tool-calling-open-models/)
-   [Reasoning token: bakit mas maraming output ang binabayaran mo](https://broadrouter.com/fil/blog/reasoning-tokens-cost/)
-   [Data protection law ng Egypt (Law 151 of 2020) at mga LLM API](https://broadrouter.com/fil/blog/egypt-data-protection-law-llm-api/)
-   [Saudi at UAE PDPL at mga LLM API: checklist sa cross-border transfer](https://broadrouter.com/fil/blog/saudi-uae-pdpl-llm-api-checklist/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-safety-map-39-models&utm_content=page-cta) ·

**Mga source**

-   [Al Zubaidi, The Safety Map: What Does and Doesn't Transfer in LLM Sensitive-Data Handling, preprint sa Zenodo, 2026-04-22 (kinuha ang record noong 2026-11-15)](https://doi.org/10.5281/zenodo.19688433)
-   [BroadNet Research: mga pangunahing natuklasan ng Safety Map (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/research)
-   [Blog ng BroadNet, The firewall behind our LLM safety research is now open source (Setyembre 9, 2026; kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/blog/open-source-sensitive-data-firewall)
-   [Repository ng LSDF, Apache-2.0 (kinuha noong 2026-11-15)](https://github.com/brntech/lsdf)
-   [Model catalogue ng BroadNet: mga remote at API model na na-benchmark (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models)
