BroadRouter

Safety Map: 39 LLM hassas verileri nasıl ele alıyor?

BroadNet Inference ekibi · 3 dk okuma · Yayımlandı · Güncellendi

Safety Map, BroadNet'in Nisan 2026 tarihli ön baskı çalışmasıdır (DOI 10.5281/zenodo.19688433). 14 laboratuvardan 39 modeli kimlik bilgileri, kişisel veriler, sağlık verileri, hesap numaraları ve DLP taraması alanlarında 7 test senaryosuyla, yaklaşık 1.300 çok çalıştırmalı değerlendirmede sınadı. Güvenlik kategoriler veya çıktı kanalları arasında aktarılmadı: araç çağrısı argümanlarını dolduran 73 çalıştırmanın 20'si bu kanaldan sızdırdı.

Safety Map, BroadNet’in büyük dil modellerinin hassas verileri nasıl ele aldığına dair araştırması. The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling başlıklı ön baskı 22 Nisan 2026’da Zenodo’da 10.5281/zenodo.19688433 DOI numarasıyla yayımlandı; yazarı Mohammad Al Zubaidi. BroadNet’in hassas veri değerlendirme yönteminin tamamlayıcısı niteliğinde.

Aşağıdakiler, özetin ve BroadNet’in araştırma sayfasının bizim tarafımızdan yapılmış bir özeti. Değerlendirmeler BroadNet’e ait.

Araştırma neleri kapsadı?

Boyut Kapsam
Modeller 14 bağımsız laboratuvardan 39
Test senaryoları 7
Kategoriler Kimlik bilgileri, kişisel tanımlayıcı bilgiler (PII), korunan sağlık bilgileri (PHI), finansal hesap numaraları, veri kaybı önleme (DLP) taraması
Kanıt Yaklaşık 1.300 çok çalıştırmalı değerlendirmeden 135’ten fazla sınıflandırılmış model-test kombinasyonu

BroadNet’in kataloğu, kendi donanımında hiç çalıştırmadığı yaklaşık 90 uzak ve API modelini güvenlik, yönlendirme ve Arapça test düzeneklerinden geçirdiğini ve bu bulguların bu haritayı beslediğini söylüyor.

Temel bulgular neler?

Güvenlik tek bir puan değil, bir yüzeydir. Üst üste binen üç eksende değişir:

  • Mimari. Makale, yönlendirme tasarımlarından bağımsız olarak kimlik bilgilerinde yaklaşık 24B aktif parametrelik bir kapasite tabanı bildiriyor; başlıca örnek, küçük aktif parametreli uzmanlar karışımı (MoE) modelleri.
  • Kuşak. Hizalama kalitesi, bir model ailesi içinde sınırı kaydırır.
  • Laboratuvarın hizalamaya yatırımı. Tanınmış bir laboratuvarın amiral gemisi etiketi bir garanti değildir.

Üçünden hiçbiri güvenliği tek başına öngörmez; birlikte etki ederler.

Güvenlik kategoriler arasında aktarılmaz. Kimlik bilgilerini ve Sosyal Güvenlik numaralarını sorunsuz ele almak, aynı modelde isimlere, sağlık kayıtlarına veya hesap numaralarına taşınmadı.

Çıktı kanalları birbirinden bağımsız sızdırır. Pratikte en çok ağırlık taşıyan bulgu bu:

  • tool_calls.arguments alanını dolduran 73 çalıştırmanın 20’si hassas değerleri araç çağrısı üzerinden gönderdi. Bu çalıştırmaların arkasındaki modeller arasında, çıktığı gün test edilen Moonshot’ın Kimi K2.6 modeli de vardı. Makale bu modeli kimlik bilgileri, PII, finansal veriler ve DLP’de aksi halde çok çalıştırmada güvenli olarak değerlendiriyor.
  • Sağlayıcının reasoning_content alanını en az 20 karakterle doldurduğu 43 çalıştırmanın 29’u, sohbet yanıtı güvenli, eksik ya da kesik olarak değerlendirilirken hassas değerleri akıl yürütmeye sızdırdı.

Budama (pruning) güvenliği bozabilir. Meta’nın Llama serisinin NVIDIA tarafından sinirsel mimari aramasıyla (NAS) yapılmış iki bağımsız budanmış sürümü, farklı çıktı kanallarından sağlık verisi güvenliğini bozdu.

Makale beş katmanlı bir sıralamayla bitiyor. Test edilen her kategoride tutarlı biçimde güvenli olan en üst küme Claude Opus 4.7, GPT-5.4 ve GPT-5.4-mini, Gemini 3 Flash ve Gemini 3.1 Pro. Özet, xAI Grok ve Meta Llama amiral gemilerinin bu kümeye girmediğini söylüyor.

Kendi altyapınızda neyi değiştirmelisiniz?

  1. Her kanalı filtreleyin. Görünür yanıtı kontrol etmek araç çağrısı argümanlarını ve akıl yürütme alanlarını kaçırır. Araç çağırma veya bir akıl yürütme modeli kullanıyorsanız ikisini de inceleyin.
  2. Kategori bazında test edin. Kimlik bilgilerinde temiz bir sonuç, sağlık veya maaş verileri hakkında hiçbir şey söylemez.
  3. Model güncellemelerinde yeniden test edin. Kimi K2.6 sonucu, çıktığı günkü bir modelden geldi.
  4. Mümkünse önce maskeleyin. Model görmediği şeyi sızdıramaz. Hassas veri rehberimiz Python’da yer tutucuyla maskelemeyi gösteriyor.

LSDF nedir?

LSDF (LLM Sensitive Data Firewall), BroadNet’in bu iki makaleden yola çıkarak geliştirdiği ve Apache-2.0 lisansıyla github.com/brntech/lsdf adresinde açık kaynak olarak yayımladığı denetim aracı. OpenAI uyumlu chat completions API’si için bir ters vekil sunucu (reverse proxy): istemcinizin temel URL’sini ona yönlendirirsiniz, o da isteği model sunucunuza veya sağlayıcınıza iletir. BroadNet’e göre istekleri, yanıtları, akışla gelen parçaları, akışla gelen araç çağrısı argümanlarını, getirilen bağlamı ve akıl yürütme alanlarını inceliyor; izleri ve günlükleri ayrıca temizliyor.

BroadNet’in Mayıs 2026’da kendi veri setleri üzerinde yaptığı değerlendirme şu duyarlılık (recall) değerlerini bildiriyor:

Dedektör yığını Kimlik bilgisi tekrarı Klinik PHI Geniş kapsamlı İngilizce PII
Yalnızca regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
LSDF geniş PII dedektörleri 1,000 0,944 0,685

Bunlar bir satıcının kendi aracı için, kendi seçtiği veri setlerinde elde ettiği rakamlar. Başlangıç noktası olarak işe yarar; depo, kontrol edebilmeniz için tekrar senaryosunu da içeriyor. LSDF, BroadNet’in barındırmadığı modeller dahil her modelin önünde çalışır.

Sınırları neler?

Makale bir ön baskı ve hakem değerlendirmesinden geçmedi. BroadNet’in sorumlu yayın politikası gereği tam istemler, kimlik bilgisi biçimleri ve eşikler kamuya açık sürümden çıkarılmış; model sağlayıcıları ve araştırmacılarla talep üzerine paylaşılıyor. Model sürümleri hızla değişiyor; Nisan 2026 tarihli bir değerlendirme test yapmak için bir neden, test yapmanın yerine geçen bir şey değil.

Sık sorulan sorular

Safety Map'te en iyi sonucu hangi modeller aldı?

Özet, en üste test edilen her kategoride tutarlı biçimde güvenli bir öncü hizalama (frontier-alignment) kümesi yerleştiriyor: Claude Opus 4.7, GPT-5.4 ve GPT-5.4-mini, Gemini 3 Flash ve Gemini 3.1 Pro. Claude Sonnet 4.6 hemen altında; 15 çalıştırmada yalnızca doğum tarihini içeren tek bir sağlık verisi sızıntısı var.

API anahtarlarını hiç sızdırmayan bir model hasta verileri konusunda da güvenli midir?

Her zaman değil. Makale güvenliğin kategoriye göre ayrıştığını buldu: kimlik bilgilerini, Sosyal Güvenlik numaralarını ve veritabanı parolalarını koruyan bir model, bir maaş belgesindeki çalışanların adlarını her çalıştırmada yine de söyleyebildi.

Araç çağrıları neden önemli?

Çünkü birçok filtre yalnızca sohbet yanıtını kontrol eder. Modelin araç çağrısı argümanlarını doldurduğu 73 çalıştırmanın 20'si, aksi halde çok çalıştırmada güvenli olan bir model dahil, hassas değerleri bu kanaldan gönderdi.

Küçük uzmanlar karışımı (MoE) modelleri daha mı çok sızdırıyor?

Makale, kimlik bilgilerinde yaklaşık 24B aktif parametrelik bir kapasite tabanı bildiriyor ve bunun başlıca örneği küçük aktif parametreli uzmanlar karışımı tasarımları. BroadNet'in uygulayıcılara yönelik yazısı, yapılandırılmış veri testlerinde sızdırmayan 24B aktif parametrenin altında bir MoE modeli henüz bulamadığını söylüyor.

BroadNet Inference'taki modeller Safety Map'te var mı?

Özet bu modeller için model bazında sonuç listelemiyor ve ön baskı Nisan 2026 tarihli; dolayısıyla daha sonra çıkan bir model çalışmada yer alamaz. Gemma 4 VL 26B'nin yaklaşık 4B aktif parametresi var; kimlik bilgilerini veya kişisel verileri görecekse onu kendi hassas veri testlerinizle sınayın ya da göndermeden önce maskeleyin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor