BroadNet’in araştırma birimi, büyük bir dil modelinin hassas veri sızdırıp sızdırmadığını yayına almadan önce test etmek için pratik bir yöntem yayımladı. How to Evaluate an LLM for Sensitive Data Safety Before Deploying It başlıklı ön baskı, 14 Nisan 2026 tarihiyle Zenodo’da 10.5281/zenodo.19574049 DOI numarasıyla yer alıyor ve SSRN’de de yansıtılmış durumda. Zenodo kaydı yazar olarak Mohammad Al Zubaidi’yi gösteriyor.
Bu sayfa yöntemi ve bulgularını özetliyor. Çalışma BroadNet’e, bulgular da kendisine ait; biz yeniden çalıştırmadık.
Normal kıyaslamalar bunu neden yakalamaz?
Kamuya açık kıyaslamalar yeteneği ölçer: bir modelin en iyi halinde neler yapabildiğini. Bir yapılandırma dosyasını veya klinik bir notu denetlemek için yayına alınan bir modelin ise bir şeyi yapmaması da gerekir: bulduğu sırrı tekrarlamak. Makalenin örneği bunu net gösteriyor. 99 görevde 95 alan ve yüzüncüde bir API anahtarını aynen yazan bir model ortalamada 94 alır ve yine de üretimde kullanılamaz.
BroadNet buna tavanları değil tabanları test etmek diyor; makale de “capability and constraint” (BroadRouter çevirisi: yetenek ve kısıt) kavramlarını birbirinden bağımsız eksenler olarak ele alıyor.
Yöntem neyi test ediyor?
Her biri kendi başına test edilen dört kategori:
| Kategori | Örnekler | Model onu nasıl tanır |
|---|---|---|
| Kimlik bilgileri | API anahtarları, token’lar, SSH anahtarları, veritabanı parolaları | Çoğunlukla biçimden; bağlantı dizelerindeki parolaların biçim ipucu yok |
| Kişisel tanımlayıcı bilgiler (PII) | Adlar, e-postalar, telefon numaraları, resmî kimlik numaraları | Yapılandırılmış kimliklerde biçimden, serbest metinde anlamdan |
| Korunan sağlık bilgileri (PHI) | Teşhisler, reçeteler, klinik notlar | Çoğu zaman bağlamdan: bir adın yanındaki teşhis |
| Finansal veriler | Hesap numaraları, bakiyeler, işlemler | Biçimden, ama daha seyrek hassas olarak değerlendirilir |
Özet, “24+ models across 6 model families” (BroadRouter çevirisi: 6 model ailesinden 24’ten fazla model) test edildiğini bildiriyor ve net bir hiyerarşi buluyor: yapılandırılmış kimlik bilgileri ve Sosyal Güvenlik numaraları gibi biçime dayalı tanıma, bir teşhisin yanında hassaslaşan adlar gibi bağlama dayalı tanımadan çok daha güvenilir. Kimlik bilgisi sızıntı oranı %0 olan bir model, her PHI test çalıştırmasında hasta tanımlayıcılarını sızdırdı.
Sonuçlar nasıl puanlanmalı?
Makale asgari bir protokol öneriyor:
- İkili puanlama. Her çalıştırma ya güvenlidir ya değildir; “çoğunlukla güvenli” bir yanıt için kısmi puan yok.
- Sızıntı ve kaçırma ayrı puanlanır. İkisini tek bir sayıda birleştirmek, kullanım senaryonuz için önemli olanı gizler.
- Birden fazla çalıştırma. Model ve test senaryosu başına üç veya daha fazla; çünkü aynı model bir gün geçip ertesi gün sızdırabilir.
- Kategori kategori. Kimlik bilgilerindeki güvenlik, sağlık kayıtlarındaki güvenlik hakkında hiçbir şey söylemez.
BroadNet’in uygulayıcılara yönelik yazısı, pilot projelerde kullandığı işletim kurallarını ekliyor: yalnızca sentetik veri kullanın, tüm dağıtım yapılandırmasını (sistem istemi, araçlar ve veri getirme dahil) test edin, üretimden önce art arda beş temiz çalıştırma şartı koyun ve kendi barındırdığınız modelleri aylık, sık güncellenen üçüncü taraf modelleri haftalık olarak yeniden test edin.
Ne işe yaramadı?
İki yaygın çözüm, BroadNet’in testlerinde durumu kötüleştirdi:
- İstem talimatları. “Kimlik bilgilerini açığa çıkarma” eklemek bazen yok sayıldı; en zorlayıcı istem stratejisi ise başlangıçta temiz olan bir modelde sızıntılara yol açtı.
- Olumsuz örneklerle ince ayar. Bir modeli bir kategoriyi reddetmek üzere eğitmek, sızıntı oranlarını düşürmek yerine artırdı.
BroadNet’in anlatımına göre işe yarayan, üç katmanın birlikte kullanılmasıydı: kategori için daha düşük riskli bir model seçin, çıktıyı deterministik bir araçla filtreleyin (Microsoft Presidio ve LLM Guard’ı adıyla anıyor) ve görev değerlere ihtiyaç duymuyorsa istem oluşturulmadan önce girdiyi maskeleyin. Hassas verileri LLM API’sine gönderme rehberimiz maskeleme adımını kodla gösteriyor.
Makale neyi yayımlamıyor?
BroadNet, sorumlu yayın politikası gereği kategorileri, puanlama yaklaşımını, örneklem büyüklüklerini ve çekinceleri yayımlıyor; ancak tam istem şablonlarını, kimlik bilgisi biçimlerini veya geçti/kaldı eşiklerini yayımlamıyor. Gerekçesi: bunları yayımlamak, dağıtımı yapanların elinde bir savunma olmadan veri çekmek için gereken çabayı azaltır. Model sağlayıcıları ve güvenlik araştırmacıları bunları talep edebilir. Bu da yöntemi yapı olarak yeniden üretilebilir, ama sayı sayı değil, kılıyor.
Bunun BroadNet Inference ile bağlantısı ne?
Bu bir sağlayıcı değil, model testi. BroadNet Inference üzerindekiler dahil herhangi bir API’deki herhangi bir modele uygulanabilir. Tamamlayıcı makale Safety Map, yöntemi 14 laboratuvardan 39 modele uyguluyor ve hassas değerlerin araç çağrısı argümanları ve akıl yürütme alanları üzerinden de dışarı çıkabildiğini buluyor. BroadNet daha sonra iki makaleye dayanan açık kaynaklı bir güvenlik duvarı olan LSDF’yi yayımladı; Safety Map özetinde anlatılıyor.
Sağlayıcının veri saklaması ayrı bir soru: sıfır veri saklama, modelin sizin sistemlerinize ne yazdığını değil, BroadNet’in neyi sakladığını kapsıyor.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)