BroadRouter

Safety Map: bagaimana 39 LLM menangani data sensitif

Oleh tim BroadNet Inference · 3 menit baca · Dipublikasikan · Diperbarui

Safety Map adalah preprint BroadNet dari April 2026 (DOI 10.5281/zenodo.19688433). Studi ini menguji 39 model dari 14 lab dengan 7 probe yang mencakup kredensial, PII, data kesehatan, nomor rekening, dan pemindaian DLP, dalam sekitar 1.300 evaluasi multi-run. Keamanan tidak berpindah antarkategori maupun antarkanal output: 20 dari 73 run yang mengisi argumen tool call membocorkan data lewat kanal itu.

Safety Map adalah survei BroadNet tentang cara large language model menangani data sensitif. Preprint berjudul The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling diterbitkan di Zenodo pada 22 April 2026 dengan DOI 10.5281/zenodo.19688433, dengan Mohammad Al Zubaidi sebagai penulis. Studi ini merupakan pendamping metode evaluasi data sensitif BroadNet.

Berikut ringkasan kami atas abstrak dan halaman riset BroadNet. Penilaiannya adalah milik BroadNet.

Apa saja yang dicakup survei ini?

Dimensi Cakupan
Model 39, dari 14 lab independen
Skenario probe 7
Kategori Kredensial, PII, protected health information (PHI), nomor rekening keuangan, pemindaian data-loss-prevention (DLP)
Bukti Lebih dari 135 kombinasi model-probe yang terklasifikasi dari sekitar 1.300 evaluasi multi-run

Katalog BroadNet menyebutkan bahwa BroadNet telah menjalankan sekitar 90 model remote dan API, yang tidak pernah dijalankan di hardware-nya sendiri, melalui test harness keamanan, routing, dan bahasa Arab miliknya, dan bahwa temuan tersebut menjadi bahan peta ini.

Apa saja temuan utamanya?

Keamanan adalah sebuah permukaan, bukan satu skor. Keamanan bervariasi di sepanjang tiga sumbu yang saling bertumpuk:

  • Arsitektur. Makalah ini melaporkan batas kapasitas sekitar 24B parameter aktif untuk kredensial, lintas desain routing, dengan model mixture-of-experts berparameter aktif kecil sebagai kasus utamanya.
  • Generasi. Kualitas alignment menggeser batas itu di dalam satu keluarga model.
  • Investasi alignment dari lab. Label flagship dari lab ternama bukanlah jaminan.

Tidak satu pun dari ketiganya yang bisa memprediksi keamanan sendirian; ketiganya saling berkombinasi.

Keamanan tidak berpindah antarkategori. Menangani kredensial dan nomor Social Security dengan bersih tidak terbawa ke nama, rekam medis, atau nomor rekening pada model yang sama.

Kanal output bocor secara independen. Inilah temuan dengan bobot praktis paling besar:

  • Dari 73 run yang mengisi tool_calls.arguments, 20 mengirim nilai sensitif lewat tool call. Di antara model di balik run tersebut ada Kimi K2.6 dari Moonshot, yang diuji pada hari rilisnya, model yang selain itu dinilai makalah ini aman secara multi-run untuk kredensial, PII, data keuangan, dan DLP.
  • Dari 43 run di mana penyedia mengisi reasoning_content dengan setidaknya 20 karakter, 29 membocorkan nilai sensitif ke dalam penalaran, sementara balasan chat-nya dinilai aman, terlewat, atau terpotong.

Pruning bisa merusak keamanan. Dua versi pruned independen dari lini Llama milik Meta, yang dibuat NVIDIA dengan neural architecture search, merusak keamanan data kesehatan lewat kanal output yang berbeda.

Makalah ini ditutup dengan peringkat lima tingkat. Klaster teratasnya, yang aman secara konsisten di setiap kategori yang diuji, adalah Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash, serta Gemini 3.1 Pro. Abstraknya menyebutkan bahwa flagship xAI Grok dan Meta Llama tidak masuk klaster tersebut.

Apa yang perlu diubah di stack Anda sendiri?

  1. Filter setiap kanal. Pengecekan pada balasan yang terlihat melewatkan argumen tool call dan field penalaran. Jika Anda memakai tool calling atau model penalaran, periksa keduanya.
  2. Uji per kategori. Hasil bersih untuk kredensial tidak mengatakan apa pun tentang data kesehatan atau gaji.
  3. Uji ulang saat model diperbarui. Hasil Kimi K2.6 berasal dari model di hari rilisnya.
  4. Lakukan redaksi lebih dulu jika memungkinkan. Model tidak bisa membocorkan apa yang tidak pernah dilihatnya. Panduan data sensitif kami menunjukkan redaksi dengan placeholder di Python.

Apa itu LSDF?

LSDF, LLM Sensitive Data Firewall, adalah kontrol yang dibangun BroadNet dari kedua makalah ini dan dirilis sebagai open source di bawah Apache-2.0 di github.com/brntech/lsdf. Ini adalah reverse proxy untuk API chat completions yang kompatibel dengan OpenAI: Anda mengarahkan base URL klien ke sana, lalu LSDF meneruskannya ke server model atau penyedia Anda. Menurut BroadNet, LSDF memeriksa permintaan, respons, chunk yang di-stream, argumen tool call yang di-stream, konteks hasil retrieval, dan field penalaran, serta membersihkan trace dan log secara terpisah.

Evaluasi BroadNet pada Mei 2026 dengan korpusnya sendiri melaporkan recall berikut:

Stack detektor Replay kredensial PHI klinis PII bahasa Inggris umum
Hanya regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
Detektor broad-PII LSDF 1,000 0,944 0,685

Ini adalah angka dari vendor untuk alatnya sendiri, pada korpus yang dipilihnya sendiri. Angka ini berguna sebagai titik awal, dan repositorinya menyertakan replay agar Anda bisa memeriksanya. LSDF bekerja di depan model apa pun, termasuk yang tidak di-host BroadNet.

Apa batasannya?

Makalah ini adalah preprint, belum melalui peer review. Berdasarkan kebijakan publikasi bertanggung jawab BroadNet, prompt persis, format kredensial, dan ambang batas tidak dimuat di versi publik dan dibagikan kepada penyedia model dan peneliti atas permintaan. Versi model berubah cepat, jadi penilaian dari April 2026 adalah alasan untuk menguji, bukan pengganti pengujian.

Pertanyaan umum

Model mana yang paling baik di Safety Map?

Abstraknya menempatkan klaster frontier-alignment di posisi teratas, aman secara konsisten di setiap kategori yang diuji: Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash, serta Gemini 3.1 Pro. Claude Sonnet 4.6 berada tepat di bawahnya, dengan satu kebocoran data kesehatan berupa tanggal lahir saja dari 15 run.

Apakah model yang tidak pernah membocorkan API key aman untuk data pasien?

Belum tentu. Makalah ini menemukan bahwa keamanan terpisah per kategori: model yang melindungi kredensial, nomor Social Security, dan password database tetap bisa menyebut nama karyawan dalam dokumen gaji di setiap run.

Kenapa tool call penting?

Karena banyak filter hanya memeriksa balasan chat. Dari 73 run di mana model mengisi argumen tool call, 20 mengirim nilai sensitif lewat kanal itu, termasuk pada model yang selain itu aman secara multi-run.

Apakah model mixture-of-experts kecil lebih sering bocor?

Makalah ini melaporkan batas kapasitas sekitar 24B parameter aktif untuk kredensial, dengan desain mixture-of-experts berparameter aktif kecil sebagai wujud utamanya. Artikel praktisi BroadNet menyebutkan mereka belum menemukan model MoE di bawah 24B parameter aktif yang tidak bocor pada probe data terstrukturnya.

Apakah model di BroadNet Inference termasuk dalam Safety Map?

Abstraknya tidak mencantumkan hasil per model untuk model-model tersebut, dan preprint ini bertanggal April 2026, sehingga model yang dirilis setelahnya tidak mungkin tercakup. Gemma 4 VL 26B punya sekitar 4B parameter aktif, jadi uji dengan probe data sensitif Anda sendiri, atau lakukan redaksi sebelum mengirim, jika model ini akan melihat kredensial atau data pribadi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity