---
title: "Safety Map: 39 LLM dan data sensitif (BroadNet) | BroadRouter"
description: "BroadNet menguji 39 LLM dari 14 lab pada kredensial, PII, data kesehatan dan keuangan: apa yang berpindah, apa yang tidak, serta kebocoran tool call dan penalaran."
url: https://broadrouter.com/id/blog/llm-safety-map-39-models/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/llm-safety-map-39-models/) (diperbarui 2026-11-16).

# Safety Map: bagaimana 39 LLM menangani data sensitif

Oleh tim BroadNet Inference · 3 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Safety Map adalah preprint BroadNet dari April 2026 (DOI 10.5281/zenodo.19688433). Studi ini menguji 39 model dari 14 lab dengan 7 probe yang mencakup kredensial, PII, data kesehatan, nomor rekening, dan pemindaian DLP, dalam sekitar 1.300 evaluasi multi-run. Keamanan tidak berpindah antarkategori maupun antarkanal output: 20 dari 73 run yang mengisi argumen tool call membocorkan data lewat kanal itu.

## Poin penting

-   Preprint di Zenodo, DOI 10.5281/zenodo.19688433, 22 April 2026, CC BY 4.0. Belum melalui peer review.
-   39 model, 14 lab, 7 skenario probe, 5 kategori data sensitif, sekitar 1.300 evaluasi multi-run.
-   Tiga sumbu saling bertumpuk: arsitektur, generasi model, dan investasi alignment dari lab-nya. Tidak satu pun yang bisa memprediksi keamanan sendirian.
-   Kanal output bocor secara independen: 20 dari 73 run tool call dan 29 dari 43 run penalaran membawa nilai sensitif.
-   BroadNet mengubah temuan ini menjadi LSDF, firewall open-source (Apache-2.0) untuk trafik yang kompatibel dengan OpenAI.

**Di halaman ini**

1.  Apa saja yang dicakup survei ini?
2.  Apa saja temuan utamanya?
3.  Apa yang perlu diubah di stack Anda sendiri?
4.  Apa itu LSDF?
5.  Apa batasannya?

Safety Map adalah survei BroadNet tentang cara large language model menangani data sensitif. Preprint berjudul _The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling_ diterbitkan di Zenodo pada 22 April 2026 dengan DOI [10.5281/zenodo.19688433](https://doi.org/10.5281/zenodo.19688433), dengan Mohammad Al Zubaidi sebagai penulis. Studi ini merupakan pendamping [metode evaluasi data sensitif](https://broadrouter.com/id/blog/llm-sensitive-data-safety-evaluation-method/) BroadNet.

Berikut ringkasan kami atas abstrak dan halaman riset BroadNet. Penilaiannya adalah milik BroadNet.

## Apa saja yang dicakup survei ini?

| Dimensi | Cakupan |
| --- | --- |
| Model | 39, dari 14 lab independen |
| Skenario probe | 7 |
| Kategori | Kredensial, PII, protected health information (PHI), nomor rekening keuangan, pemindaian data-loss-prevention (DLP) |
| Bukti | Lebih dari 135 kombinasi model-probe yang terklasifikasi dari sekitar 1.300 evaluasi multi-run |

Katalog BroadNet menyebutkan bahwa BroadNet telah menjalankan sekitar 90 model remote dan API, yang tidak pernah dijalankan di hardware-nya sendiri, melalui test harness keamanan, routing, dan bahasa Arab miliknya, dan bahwa temuan tersebut menjadi bahan peta ini.

## Apa saja temuan utamanya?

**Keamanan adalah sebuah permukaan, bukan satu skor.** Keamanan bervariasi di sepanjang tiga sumbu yang saling bertumpuk:

-   **Arsitektur.** Makalah ini melaporkan batas kapasitas sekitar 24B parameter aktif untuk kredensial, lintas desain routing, dengan model mixture-of-experts berparameter aktif kecil sebagai kasus utamanya.
-   **Generasi.** Kualitas alignment menggeser batas itu di dalam satu keluarga model.
-   **Investasi alignment dari lab.** Label flagship dari lab ternama bukanlah jaminan.

Tidak satu pun dari ketiganya yang bisa memprediksi keamanan sendirian; ketiganya saling berkombinasi.

**Keamanan tidak berpindah antarkategori.** Menangani kredensial dan nomor Social Security dengan bersih tidak terbawa ke nama, rekam medis, atau nomor rekening pada model yang sama.

**Kanal output bocor secara independen.** Inilah temuan dengan bobot praktis paling besar:

-   Dari 73 run yang mengisi `tool_calls.arguments`, 20 mengirim nilai sensitif lewat tool call. Di antara model di balik run tersebut ada Kimi K2.6 dari Moonshot, yang diuji pada hari rilisnya, model yang selain itu dinilai makalah ini aman secara multi-run untuk kredensial, PII, data keuangan, dan DLP.
-   Dari 43 run di mana penyedia mengisi `reasoning_content` dengan setidaknya 20 karakter, 29 membocorkan nilai sensitif ke dalam penalaran, sementara balasan chat-nya dinilai aman, terlewat, atau terpotong.

**Pruning bisa merusak keamanan.** Dua versi pruned independen dari lini Llama milik Meta, yang dibuat NVIDIA dengan neural architecture search, merusak keamanan data kesehatan lewat kanal output yang berbeda.

Makalah ini ditutup dengan peringkat lima tingkat. Klaster teratasnya, yang aman secara konsisten di setiap kategori yang diuji, adalah Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash, serta Gemini 3.1 Pro. Abstraknya menyebutkan bahwa flagship xAI Grok dan Meta Llama tidak masuk klaster tersebut.

## Apa yang perlu diubah di stack Anda sendiri?

1.  **Filter setiap kanal.** Pengecekan pada balasan yang terlihat melewatkan argumen tool call dan field penalaran. Jika Anda memakai [tool calling](https://broadrouter.com/id/glossary/tool-calling/) atau model penalaran, periksa keduanya.
2.  **Uji per kategori.** Hasil bersih untuk kredensial tidak mengatakan apa pun tentang data kesehatan atau gaji.
3.  **Uji ulang saat model diperbarui.** Hasil Kimi K2.6 berasal dari model di hari rilisnya.
4.  **Lakukan redaksi lebih dulu jika memungkinkan.** Model tidak bisa membocorkan apa yang tidak pernah dilihatnya. [Panduan data sensitif](https://broadrouter.com/id/blog/llm-api-sensitive-data/) kami menunjukkan redaksi dengan placeholder di Python.

## Apa itu LSDF?

LSDF, LLM Sensitive Data Firewall, adalah kontrol yang dibangun BroadNet dari kedua makalah ini dan dirilis sebagai open source di bawah Apache-2.0 di [github.com/brntech/lsdf](https://github.com/brntech/lsdf). Ini adalah reverse proxy untuk API chat completions yang kompatibel dengan OpenAI: Anda mengarahkan base URL klien ke sana, lalu LSDF meneruskannya ke server model atau penyedia Anda. Menurut BroadNet, LSDF memeriksa permintaan, respons, chunk yang di-stream, argumen tool call yang di-stream, konteks hasil retrieval, dan field penalaran, serta membersihkan trace dan log secara terpisah.

Evaluasi BroadNet pada Mei 2026 dengan korpusnya sendiri melaporkan recall berikut:

| Stack detektor | Replay kredensial | PHI klinis | PII bahasa Inggris umum |
| --- | --- | --- | --- |
| Hanya regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| Detektor broad-PII LSDF | 1,000 | 0,944 | 0,685 |

Ini adalah angka dari vendor untuk alatnya sendiri, pada korpus yang dipilihnya sendiri. Angka ini berguna sebagai titik awal, dan repositorinya menyertakan replay agar Anda bisa memeriksanya. LSDF bekerja di depan model apa pun, termasuk yang tidak di-host BroadNet.

## Apa batasannya?

Makalah ini adalah preprint, belum melalui peer review. Berdasarkan kebijakan publikasi bertanggung jawab BroadNet, prompt persis, format kredensial, dan ambang batas tidak dimuat di versi publik dan dibagikan kepada penyedia model dan peneliti atas permintaan. Versi model berubah cepat, jadi penilaian dari April 2026 adalah alasan untuk menguji, bukan pengganti pengujian.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[PII (personally identifiable information)](https://broadrouter.com/id/glossary/pii/)

PII (personally identifiable information) adalah informasi yang bisa dipakai untuk membedakan atau melacak identitas seseorang, seperti nama, nomor identitas, atau data biometrik, ditambah informasi lain yang terkait atau bisa dikaitkan dengan orang tersebut. Istilah GDPR yang lebih luas adalah data pribadi. Dalam kerja LLM, redaksi PII menghapusnya dari prompt sebelum keluar dari sistem Anda.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Lisensi model (model license)](https://broadrouter.com/id/glossary/model-license/)

Lisensi model adalah ketentuan hukum yang mengatur bagaimana bobot, kode, dan output sebuah model boleh dipakai, diubah, dan dibagikan. Model open-weight memakai lisensi perangkat lunak standar seperti Apache 2.0 atau MIT, atau lisensi model khusus yang bisa menambahkan syarat, misalnya batasan bagi layanan komersial besar.

[Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/)

Mixture of experts (MoE) adalah desain jaringan saraf di mana satu layer berisi banyak sub-jaringan expert dan sebuah router yang dilatih mengirim setiap token hanya ke beberapa di antaranya. Model bahasa MoE punya jumlah parameter total yang besar, tetapi hanya memakai subset aktif yang kecil untuk setiap token.

## Pertanyaan umum

### Model mana yang paling baik di Safety Map?

Abstraknya menempatkan klaster frontier-alignment di posisi teratas, aman secara konsisten di setiap kategori yang diuji: Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash, serta Gemini 3.1 Pro. Claude Sonnet 4.6 berada tepat di bawahnya, dengan satu kebocoran data kesehatan berupa tanggal lahir saja dari 15 run.

### Apakah model yang tidak pernah membocorkan API key aman untuk data pasien?

Belum tentu. Makalah ini menemukan bahwa keamanan terpisah per kategori: model yang melindungi kredensial, nomor Social Security, dan password database tetap bisa menyebut nama karyawan dalam dokumen gaji di setiap run.

### Kenapa tool call penting?

Karena banyak filter hanya memeriksa balasan chat. Dari 73 run di mana model mengisi argumen tool call, 20 mengirim nilai sensitif lewat kanal itu, termasuk pada model yang selain itu aman secara multi-run.

### Apakah model mixture-of-experts kecil lebih sering bocor?

Makalah ini melaporkan batas kapasitas sekitar 24B parameter aktif untuk kredensial, dengan desain mixture-of-experts berparameter aktif kecil sebagai wujud utamanya. Artikel praktisi BroadNet menyebutkan mereka belum menemukan model MoE di bawah 24B parameter aktif yang tidak bocor pada probe data terstrukturnya.

### Apakah model di BroadNet Inference termasuk dalam Safety Map?

Abstraknya tidak mencantumkan hasil per model untuk model-model tersebut, dan preprint ini bertanggal April 2026, sehingga model yang dirilis setelahnya tidak mungkin tercakup. Gemma 4 VL 26B punya sekitar 4B parameter aktif, jadi uji dengan probe data sensitif Anda sendiri, atau lakukan redaksi sebelum mengirim, jika model ini akan melihat kredensial atau data pribadi.

## Baca juga

-   [Cara menguji keamanan data sensitif pada LLM: metode BroadNet](https://broadrouter.com/id/blog/llm-sensitive-data-safety-evaluation-method/)
-   [Mengirim data sensitif ke API LLM: redaksi, minimalkan, kurangi log](https://broadrouter.com/id/blog/llm-api-sensitive-data/)
-   [Tool calling dengan model terbuka: skema, panggilan paralel, retry](https://broadrouter.com/id/blog/tool-calling-open-models/)
-   [Token penalaran: mengapa Anda membayar output lebih dari yang terlihat](https://broadrouter.com/id/blog/reasoning-tokens-cost/)
-   [Undang-undang pelindungan data Mesir (UU 151 Tahun 2020) dan API LLM](https://broadrouter.com/id/blog/egypt-data-protection-law-llm-api/)
-   [PDPL Saudi dan UEA untuk API LLM: checklist transfer lintas negara](https://broadrouter.com/id/blog/saudi-uae-pdpl-llm-api-checklist/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-safety-map-39-models&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, The Safety Map: What Does and Doesn't Transfer in LLM Sensitive-Data Handling, preprint Zenodo, 2026-04-22 (rekaman diakses 2026-11-15)](https://doi.org/10.5281/zenodo.19688433)
-   [BroadNet Research: temuan utama Safety Map (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/research)
-   [Blog BroadNet, The firewall behind our LLM safety research is now open source (9 September 2026; diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/blog/open-source-sensitive-data-firewall)
-   [Repositori LSDF, Apache-2.0 (diakses 2026-11-15)](https://github.com/brntech/lsdf)
-   [Katalog model BroadNet: model remote dan API yang diuji (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
