BroadRouter
Başlayın

LLM API'ye hassas veri göndermek: maskeleyin, azaltın, az kaydedin

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Bir LLM API'ye hassas veri göndermek için önce görevin hangi alanlara ihtiyaç duyduğuna karar verin ve gerisini atın. İstekten önce adları, numaraları ve kimlikleri geri alınabilir yer tutucularla değiştirin, yanıttan sonra kendi kodunuzda geri yükleyin. Sıfır veri saklama sunan bir sağlayıcı kullanın, istem içeriğini kendi günlüklerinizden uzak tutun ve API anahtarlarını sunucularınıza kilitleyin.

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

Müşteri destek botları adlar ve sipariş numaraları içeren şikâyetleri okur. Çağrı merkezi hatları kart haneleri geçen dökümleri gönderir. Sağlık uygulamaları belirtileri gönderir. Bunların hepsi bir model için faydalıdır ve hepsi sunucularınızdan çıktığı anda hassas veridir.

OWASP, LLM uygulamaları için 2025 Top 10 listesinde hassas bilgilerin ifşasını LLM02 olarak sayıyor. Rehberlerin çoğu modelin neyi açığa çıkarabileceğine odaklanır. Bu yazı sizin kontrol ettiğiniz kısma odaklanıyor: ne gönderdiğiniz ve ne sakladığınız.

Bir LLM API için hassas veri neleri kapsar?

Bir istem yazmadan önce alanları üç kovaya ayırın:

Kova Örnekler Varsayılan kural
Doğrudan tanımlayıcılar Ad, e-posta, telefon, kimlik numarası, hesap numarası Yer tutucularla değiştirin
Özel veya düzenlemeye tabi Sağlık, biyometri, din, kart numaraları, kimlik bilgileri Görev gerektirmedikçe ve hukuki bir dayanağınız olmadıkça göndermeyin
Bağlam Ürün adları, sorun türü, tarihler, tutarlar Genellikle gönderilebilir

GDPR kapsamında özel kategoriler (Madde 9), onları işlemeye başlamadan önce belirli bir koşulun sağlanmasını gerektirir. Kart verileri ve parolalar ya da API anahtarları gibi gizli bilgiler asla bir isteme ulaşmamalıdır.

1. Adım: Görev gerçekte hangi alanlara ihtiyaç duyuyor?

En iyi maskeleme, alanı hiç göndermemektir. Görevin neye ihtiyacı olduğunu sorun:

  1. Bir destek kaydını özetlemek mi? Modelin şikâyete ihtiyacı var, müşterinin adresine değil.
  2. Niyeti sınıflandırmak mı? Mesaj metnine ihtiyacı var, hesap kimliğine değil.
  3. Bir yanıt taslağı yazmak mı? En fazla bir ilk ada ihtiyacı var, onun yerine de bir yer tutucu iş görür.

İstemleri kaydın tamamını JSON olarak boşaltarak değil, seçilmiş alanlardan kurun. Bu aynı zamanda girdi token’larını azaltır, yani para da kazandırır.

2. Adım: Model metni hâlâ anlayacak şekilde nasıl maskelersiniz?

Her değeri türü belirtilmiş, numaralı bir yer tutucuyla değiştirin. Model cümlenin yapısını korur, kodunuz da değerleri sonradan geri yükler.

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Düzenli ifadeler yapılandırılmış değerleri yakalar. Adlar ve adresler ise varlık tanıma gerektirir. Microsoft Presidio gibi açık kaynak araçlar kalıpları, sağlama toplamlarını ve adlandırılmış varlık modellerini birleştirir ve kendi tanıyıcılarınızı eklemenize izin verir. Her dedektörü kendi verinizde test edin: Arapça adlar, Körfez telefon biçimleri ve karışık alfabeli metin, genel amaçlı dedektörlerin kaçırdığı yerlerdir.

Maskelemeyi kendiniz yazmak yerine bir proxy çalıştırmayı tercih ederseniz BroadNet açık kaynak olarak bir tane yayımlıyor: Apache-2.0 lisanslı LLM Sensitive Data Firewall (LSDF). BroadNet’in barındırmadığı modeller dahil, OpenAI uyumlu herhangi bir uç noktanın önüne yerleşir. BroadNet’e göre istekleri, yanıtları, akış parçalarını, akışla gelen araç çağrısı argümanlarını, getirilen bağlamı ve akıl yürütme alanlarını inceler; izler ve günlükler için de ayrı bir temizleyicisi vardır. BroadNet’in kendi veri kümeleri üzerindeki Mayıs 2026 değerlendirmesinde geniş kapsamlı kişisel veri dedektörleri 40 vakalık bir kimlik bilgisi tekrarında 1,000, sentetik klinik veride 0,944 ve geniş kapsamlı İngilizce kişisel veride 0,685 yakalama oranı (recall) elde etti; tek başına Microsoft Presidio’nun değerleri 0,194, 0,056 ve 0,326 oldu (BroadNet’in yazısı). Bunlar BroadNet’in kendi aracı için verdiği rakamlar; herhangi bir şeyi zorunlu kılmadan önce aracın monitor profilini kendi trafiğinizde çalıştırın.

Yer tutucular için iki kural:

  • Tutarlı tutun: bir konuşma içinde [NAME_1] her turda aynı kişi olsun.
  • Modele onları korumasını söyleyin: yukarıdaki sistem isteminde olduğu gibi, değiştirmeden.

3. Adım: Sağlayıcıda veriye ne olur?

Maskeleme dışarı çıkanı azaltır. Sonrasında ne olacağına sağlayıcı karar verir. Şunları sorun:

  • İçerik istekten sonra saklanıyor mu, ne kadar süreyle?
  • Eğitim için kullanılıyor mu, varsayılan ayar ne?
  • Donanımı kim, nerede çalıştırıyor?

Sağlayıcıların yanıtları birbirinden çok farklıdır. Beş sağlayıcının resmî ifadeleri için LLM API veri saklama karşılaştırmasına, teknik sorular için ZDR kontrol listesine, sözleşme tarafı için GDPR kontrol listesine bakın.

4. Adım: İstemleri kendi günlüklerinizden nasıl uzak tutarsınız?

İstemlerin en sık kalıcılaştığı yer sizin kendi altyapınızdır. Yaygın sızıntılar:

  • İstek gövdelerini yazdıran HTTP istemcisi hata ayıklama günlükleri.
  • Tam istemleri varsayılan olarak kaydeden izleme ve gözlemlenebilirlik SDK’ları.
  • Başarısız isteğin içeriğini ekleyen hata raporlayıcılar.
  • Kullanıcının mesajını içeren analitik olayları.
  • İsteklerin tamamını saklayan yeniden deneme ve ölü mektup (dead-letter) kuyrukları.

Bunların yerine şunları kaydedin: istek kimliği, model, istem ve tamamlama token sayıları, gecikme, durum kodu ve kendi maskeleme eşlemenizin kimliği (eşlemenin kendisi asla). Maliyet ve hata ayıklamak için bu yeterlidir. Kullanım günlüğü yazısında tam olarak bu alanları yazan ve çağrı başına maliyeti hesaplayan bir sarmalayıcı var.

5. Adım: API’ye giden yolu nasıl korursunuz?

  • Anahtarları sunucularda tutun, tarayıcı veya mobil kodda asla. LLM API anahtarı güvenliği saklama ve yenilemeyi anlatıyor.
  • Anahtarları IP izin listeleriyle çıkış adreslerinize kilitleyin.
  • Her servis için ayrı bir API anahtarı kullanın; böylece her şeyi durdurmadan birini iptal edebilirsiniz.

6. Adım: Yanıtta neyi kontrol etmelisiniz?

Maskeleme isteği korur. Yanıtın da kontrol edilmesi gerekir, çünkü bir model değerleri tekrarlayabilir, tahmin edebilir veya yeniden oluşturabilir:

  • Yer tutucu bütünlüğü. restore() çalıştıktan sonra eşlemenizde hiç bulunmayan [PHONE_3] gibi artık yer tutucular arayın. Bunlar modelin bir tane uydurduğu anlamına gelir.
  • Çıktıda yeni kişisel veri. Aynı dedektörü yanıt üzerinde de çalıştırın. Sizin hiç göndermediğiniz bir e-posta adresini içeren bir yanıt, müşteriye ulaşmadan önce ikinci kez bakılmayı hak eder.
  • Kullanıcılar arası sızıntı. Yanıtları önbelleğe alıyor veya konuşma durumunu paylaşıyorsanız, bir kullanıcının geri yüklenen değerlerinin asla başka bir kullanıcının yanıtında görünemeyeceğinden emin olun.

Yalnızca sohbet yanıtını değil, her çıktı kanalını kontrol edin. BroadNet’in Safety Map çalışması, görünür yanıt güvenli, kaçırılmış veya yarıda kesilmiş olarak değerlendirilirken hassas değerlerin araç çağrısı argümanlarını dolduran 73 çalıştırmanın 20’sinde bu argümanlar üzerinden, akıl yürütme alanını dolduran 43 çalıştırmanın 29’unda da bu alan üzerinden dışarı çıktığını buldu.

İstemi, modeli veya dedektörü her değiştirdiğinizde döngünün tamamını 50 gerçek, hassas örnekten oluşan sabit bir kümede test edin. Yalnızca yakalananları değil, kaçırılan değerleri sayın: kaçırılan tek bir kart numarası, doğru konmuş yüz yer tutucudan daha önemlidir.

Hassas ses kayıtları da aynı muameleyi gerektirir mi?

Bir sesli not on saniyede bir ad, bir telefon numarası ve bir sağlık bilgisi taşıyabilir. Dökümler bunların hepsini devralır. Dökümü özetlenmek üzere bir LLM’e gitmeden önce maskeleyin ve ham sesi yalnızca gerektiği kadar saklayın. Çağrı merkezi transkripsiyon hattımız, transkripsiyon ile özet adımları arasında maskelemeyi gösteriyor.

BroadNet Inference bu tabloda nerede duruyor?

BroadNet’in gizlilik beyanı, ağ geçidinin “keeps no prompts, messages, images, audio, responses or transcripts” (BroadRouter çevirisi: istem, mesaj, görsel, ses, yanıt veya döküm tutmaz) olduğunu ve çıkarım verilerini “to train, fine-tune or evaluate models” (BroadRouter çevirisi: model eğitmek, ince ayar yapmak veya değerlendirmek için) kullanmadığını söylüyor. Zamanlamalar, token sayıları ve maliyet gibi içerik barındırmayan kayıtlar tutar; tam liste sıfır veri saklama sayfasında. Anahtarlar IP adreslerinizle sınırlandırılabilir. Yukarıdaki örnekte kullanılan Qwen3.8 27B, BroadNet tarafından Arapça test edildi; yer tutucularınız Arapça metnin içinde durduğunda bu önemlidir.

Bu, sağlayıcının tarafını kapsar. Sizin yerinize maskeleme yapmaz, günlüklerinizi de temizlemez. 1, 2 ve 4. adımlar, BroadNet dahil hangi sağlayıcıyı kullanırsanız kullanın sizin işiniz olarak kalır. Düzenlemeye tabi veriler için yazılı bir DPA (veri işleme sözleşmesi) veya alt işleyen listesine ihtiyacınız varsa, veriyi göndermeden önce BroadNet’e sorun; beyana göre alt işleyen listesi talep üzerine sağlanıyor.

Sık sorulan sorular

Kişisel verileri bir LLM API'ye göndermek güvenli mi?

Kontrollerle güvenli olabilir: sağlayıcıyla bir sözleşme, açık bir saklama ve eğitim politikası, istekten önce minimizasyon ve maskeleme, sizin tarafınızda temiz günlükler. Bunlar yoksa ham kişisel veri göndermekten kaçının.

Veriyi ChatGPT'ye veya başka bir LLM API'ye göndermeden önce maskelemeli miyim?

Görevin ihtiyaç duymadığı her şeyi maskeleyin. Özetleme, sınıflandırma ve taslak yazma için adlar ve numaralar genellikle kaliteyi bozmadan yer tutucularla değiştirilebilir, yanıttan sonra da geri yüklenebilir.

Maskeleme ile takma adlandırma arasındaki fark nedir?

Maskeleme (redaction) bir değeri kalıcı olarak kaldırır. Takma adlandırma (pseudonymisation) onu, elinizde tuttuğunuz bir anahtarla geri eşleyebileceğiniz bir yer tutucuyla değiştirir. GDPR'ye göre takma adlandırılmış veri hâlâ kişisel veridir, yani korunması gerekir.

Sıfır veri saklama, her şeyi gönderebileceğim anlamına mı gelir?

Hayır. Sıfır veri saklama, sağlayıcının istekten sonra içeriği tutmadığı anlamına gelir. Veri yine de sistemlerinizden çıkar ve sağlayıcı tarafından işlenir; minimizasyon ve hukuki kontroller hâlâ geçerlidir.

İstemlerin kendi günlüklerimde görünmesini nasıl engellerim?

İstek kimliklerini, modeli, token sayılarını, gecikmeyi ve durumu kaydedin; mesaj gövdelerini asla. İstek gövdelerini çoğu zaman varsayılan olarak yakalayan HTTP istemcisi hata ayıklama günlüklerini, izleme SDK'larını ve hata raporlayıcılarını kontrol edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor