Safety Map adalah survei BroadNet tentang cara large language model menangani data sensitif. Preprint berjudul The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling diterbitkan di Zenodo pada 22 April 2026 dengan DOI 10.5281/zenodo.19688433, dengan Mohammad Al Zubaidi sebagai penulis. Studi ini merupakan pendamping metode evaluasi data sensitif BroadNet.
Berikut ringkasan kami atas abstrak dan halaman riset BroadNet. Penilaiannya adalah milik BroadNet.
Apa saja yang dicakup survei ini?
| Dimensi | Cakupan |
|---|---|
| Model | 39, dari 14 lab independen |
| Skenario probe | 7 |
| Kategori | Kredensial, PII, protected health information (PHI), nomor rekening keuangan, pemindaian data-loss-prevention (DLP) |
| Bukti | Lebih dari 135 kombinasi model-probe yang terklasifikasi dari sekitar 1.300 evaluasi multi-run |
Katalog BroadNet menyebutkan bahwa BroadNet telah menjalankan sekitar 90 model remote dan API, yang tidak pernah dijalankan di hardware-nya sendiri, melalui test harness keamanan, routing, dan bahasa Arab miliknya, dan bahwa temuan tersebut menjadi bahan peta ini.
Apa saja temuan utamanya?
Keamanan adalah sebuah permukaan, bukan satu skor. Keamanan bervariasi di sepanjang tiga sumbu yang saling bertumpuk:
- Arsitektur. Makalah ini melaporkan batas kapasitas sekitar 24B parameter aktif untuk kredensial, lintas desain routing, dengan model mixture-of-experts berparameter aktif kecil sebagai kasus utamanya.
- Generasi. Kualitas alignment menggeser batas itu di dalam satu keluarga model.
- Investasi alignment dari lab. Label flagship dari lab ternama bukanlah jaminan.
Tidak satu pun dari ketiganya yang bisa memprediksi keamanan sendirian; ketiganya saling berkombinasi.
Keamanan tidak berpindah antarkategori. Menangani kredensial dan nomor Social Security dengan bersih tidak terbawa ke nama, rekam medis, atau nomor rekening pada model yang sama.
Kanal output bocor secara independen. Inilah temuan dengan bobot praktis paling besar:
- Dari 73 run yang mengisi
tool_calls.arguments, 20 mengirim nilai sensitif lewat tool call. Di antara model di balik run tersebut ada Kimi K2.6 dari Moonshot, yang diuji pada hari rilisnya, model yang selain itu dinilai makalah ini aman secara multi-run untuk kredensial, PII, data keuangan, dan DLP. - Dari 43 run di mana penyedia mengisi
reasoning_contentdengan setidaknya 20 karakter, 29 membocorkan nilai sensitif ke dalam penalaran, sementara balasan chat-nya dinilai aman, terlewat, atau terpotong.
Pruning bisa merusak keamanan. Dua versi pruned independen dari lini Llama milik Meta, yang dibuat NVIDIA dengan neural architecture search, merusak keamanan data kesehatan lewat kanal output yang berbeda.
Makalah ini ditutup dengan peringkat lima tingkat. Klaster teratasnya, yang aman secara konsisten di setiap kategori yang diuji, adalah Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash, serta Gemini 3.1 Pro. Abstraknya menyebutkan bahwa flagship xAI Grok dan Meta Llama tidak masuk klaster tersebut.
Apa yang perlu diubah di stack Anda sendiri?
- Filter setiap kanal. Pengecekan pada balasan yang terlihat melewatkan argumen tool call dan field penalaran. Jika Anda memakai tool calling atau model penalaran, periksa keduanya.
- Uji per kategori. Hasil bersih untuk kredensial tidak mengatakan apa pun tentang data kesehatan atau gaji.
- Uji ulang saat model diperbarui. Hasil Kimi K2.6 berasal dari model di hari rilisnya.
- Lakukan redaksi lebih dulu jika memungkinkan. Model tidak bisa membocorkan apa yang tidak pernah dilihatnya. Panduan data sensitif kami menunjukkan redaksi dengan placeholder di Python.
Apa itu LSDF?
LSDF, LLM Sensitive Data Firewall, adalah kontrol yang dibangun BroadNet dari kedua makalah ini dan dirilis sebagai open source di bawah Apache-2.0 di github.com/brntech/lsdf. Ini adalah reverse proxy untuk API chat completions yang kompatibel dengan OpenAI: Anda mengarahkan base URL klien ke sana, lalu LSDF meneruskannya ke server model atau penyedia Anda. Menurut BroadNet, LSDF memeriksa permintaan, respons, chunk yang di-stream, argumen tool call yang di-stream, konteks hasil retrieval, dan field penalaran, serta membersihkan trace dan log secara terpisah.
Evaluasi BroadNet pada Mei 2026 dengan korpusnya sendiri melaporkan recall berikut:
| Stack detektor | Replay kredensial | PHI klinis | PII bahasa Inggris umum |
|---|---|---|---|
| Hanya regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| Detektor broad-PII LSDF | 1,000 | 0,944 | 0,685 |
Ini adalah angka dari vendor untuk alatnya sendiri, pada korpus yang dipilihnya sendiri. Angka ini berguna sebagai titik awal, dan repositorinya menyertakan replay agar Anda bisa memeriksanya. LSDF bekerja di depan model apa pun, termasuk yang tidak di-host BroadNet.
Apa batasannya?
Makalah ini adalah preprint, belum melalui peer review. Berdasarkan kebijakan publikasi bertanggung jawab BroadNet, prompt persis, format kredensial, dan ambang batas tidak dimuat di versi publik dan dibagikan kepada penyedia model dan peneliti atas permintaan. Versi model berubah cepat, jadi penilaian dari April 2026 adalah alasan untuk menguji, bukan pengganti pengujian.
