Bot layanan pelanggan membaca keluhan berisi nama dan nomor pesanan. Pipeline call center mengirim transkrip berisi digit kartu. Aplikasi kesehatan mengirim gejala. Semuanya berguna bagi model, dan semuanya adalah data sensitif begitu keluar dari server Anda.
OWASP mencantumkan sensitive information disclosure sebagai LLM02 dalam Top 10 2025 untuk aplikasi LLM. Sebagian besar panduan berfokus pada apa yang mungkin dibocorkan model. Tulisan ini berfokus pada bagian yang Anda kendalikan: apa yang Anda kirim, dan apa yang Anda simpan.
Apa saja yang termasuk data sensitif untuk API LLM?
Kelompokkan field ke dalam tiga kategori sebelum Anda menulis prompt:
| Kategori | Contoh | Aturan default |
|---|---|---|
| Pengenal langsung | Nama, email, telepon, nomor identitas, nomor rekening | Ganti dengan placeholder |
| Khusus atau diatur regulasi | Kesehatan, biometrik, agama, nomor kartu, kredensial | Jangan kirim kecuali tugas membutuhkannya dan Anda punya dasar hukum |
| Konteks | Nama produk, jenis masalah, tanggal, jumlah | Biasanya aman dikirim |
Menurut GDPR, kategori khusus (Pasal 9) membutuhkan syarat tertentu sebelum Anda boleh memprosesnya sama sekali. Data kartu dan rahasia seperti password atau kunci API tidak boleh pernah masuk ke prompt.
Langkah 1: field apa yang benar-benar dibutuhkan tugas?
Redaksi terbaik adalah tidak mengirim field-nya. Tanyakan apa yang dibutuhkan tugas:
- Meringkas tiket? Model butuh keluhannya, bukan alamat pelanggan.
- Mengklasifikasikan intent? Model butuh teks pesan, bukan ID akun.
- Membuat draf balasan? Paling banyak model butuh nama depan, dan placeholder pun cukup.
Susun prompt dari field yang dipilih, bukan dengan membuang seluruh record sebagai JSON. Ini juga mengurangi token input, jadi menghemat biaya.
Langkah 2: bagaimana meredaksi agar model tetap memahami teksnya?
Ganti setiap nilai dengan placeholder bertipe dan bernomor. Model mempertahankan struktur kalimat, dan kode Anda memulihkan nilainya setelahnya.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
Regular expression menangkap nilai yang terstruktur. Nama dan alamat butuh pengenalan entitas. Tool open source seperti Microsoft Presidio menggabungkan pola, checksum, dan model named-entity, serta memungkinkan Anda menambahkan recognizer sendiri. Uji detektor apa pun pada data Anda sendiri: nama Arab, format nomor telepon Teluk, dan teks campuran aksara adalah tempat detektor generik sering meleset.
Jika Anda lebih suka menjalankan proxy daripada menulis redaksi sendiri, BroadNet merilis satu sebagai open source: LLM Sensitive Data Firewall (LSDF), berlisensi Apache-2.0. Proxy ini dipasang di depan endpoint apa pun yang kompatibel dengan OpenAI, termasuk model yang tidak di-host BroadNet. Menurut BroadNet, LSDF memeriksa permintaan, respons, potongan streaming, argumen tool call yang di-stream, konteks hasil retrieval, dan field penalaran, dengan sanitizer terpisah untuk trace dan log. Dalam evaluasi BroadNet pada Mei 2026 dengan korpus miliknya sendiri, detektor PII luasnya mencapai recall 1,000 pada replay kredensial 40 kasus, 0,944 pada data klinis sintetis, dan 0,685 pada PII bahasa Inggris umum, dibanding 0,194, 0,056, dan 0,326 untuk Microsoft Presidio saja (tulisan BroadNet). Itu angka BroadNet untuk tool-nya sendiri; jalankan profil monitor-nya pada trafik Anda sebelum memberlakukan apa pun.
Dua aturan untuk placeholder:
- Jaga konsistensinya dalam satu percakapan, sehingga
[NAME_1]adalah orang yang sama di setiap giliran. - Minta model mempertahankannya tanpa diubah, seperti di system prompt di atas.
Langkah 3: apa yang terjadi pada data di sisi penyedia?
Redaksi mengurangi apa yang keluar. Penyedia menentukan apa yang terjadi selanjutnya. Tanyakan:
- Apakah konten disimpan setelah permintaan, dan berapa lama?
- Apakah dipakai untuk pelatihan, dan apa setelan default-nya?
- Siapa yang mengoperasikan hardware-nya, dan di mana?
Jawaban tiap penyedia sangat berbeda. Lihat perbandingan retensi data API LLM untuk kutipan resmi dari lima penyedia, checklist ZDR untuk pertanyaan teknis, dan checklist GDPR untuk sisi kontrak.
Langkah 4: bagaimana menjauhkan prompt dari log Anda sendiri?
Stack Anda sendiri adalah tempat prompt paling sering tersimpan. Kebocoran yang umum:
- Debug logging HTTP client yang mencetak body permintaan.
- SDK tracing dan observability yang merekam prompt lengkap secara default.
- Error reporter yang melampirkan payload permintaan yang gagal.
- Event analitik yang menyertakan pesan pengguna.
- Antrean retry dan dead-letter queue yang menyimpan permintaan utuh.
Catat ini sebagai gantinya: ID permintaan, model, jumlah token prompt dan completion, latensi, status code, dan ID mapping redaksi Anda (jangan pernah mapping-nya sendiri). Itu cukup untuk men-debug biaya dan error. Tulisan tentang logging pemakaian punya wrapper yang menulis tepat field-field ini dan menghitung biaya per panggilan.
Langkah 5: bagaimana melindungi jalur ke API?
- Simpan kunci di server, jangan pernah di kode browser atau mobile. Keamanan kunci API LLM membahas penyimpanan dan rotasi.
- Kunci akses ke alamat egress Anda dengan IP allow-list.
- Gunakan satu kunci API per layanan, sehingga Anda bisa mencabut satu tanpa menghentikan semuanya.
Langkah 6: apa yang perlu diperiksa pada respons?
Redaksi melindungi permintaan. Respons juga perlu diperiksa, karena model bisa mengulang, menebak, atau menyusun ulang nilai:
- Integritas placeholder. Setelah
restore(), cari sisa token seperti[PHONE_3]yang tidak pernah ada di mapping Anda. Itu berarti model mengarangnya. - PII baru di output. Jalankan detektor yang sama pada respons. Balasan yang berisi alamat email yang tidak pernah Anda kirim layak diperiksa ulang sebelum sampai ke pelanggan.
- Kebocoran antarpengguna. Jika Anda men-cache respons atau berbagi state percakapan, pastikan nilai yang dipulihkan milik satu pengguna tidak pernah muncul di balasan pengguna lain.
Periksa setiap kanal output, bukan hanya balasan chat. Studi Safety Map BroadNet menemukan nilai sensitif keluar lewat argumen tool call di 20 dari 73 run yang mengisinya, dan lewat field penalaran di 29 dari 43 run yang mengisinya, sementara balasan yang terlihat dinilai aman, terlewat, atau terpotong.
Uji seluruh alur pada set tetap berisi 50 contoh nyata yang sensitif setiap kali Anda mengubah prompt, model, atau detektor. Hitung nilai yang terlewat, bukan hanya yang tertangkap: satu nomor kartu yang lolos lebih penting daripada seratus placeholder yang benar.
Apakah audio sensitif butuh perlakuan yang sama?
Satu voice note bisa memuat nama, nomor telepon, dan informasi kesehatan dalam sepuluh detik. Transkrip mewarisi semuanya. Redaksi transkrip sebelum dikirim ke LLM untuk diringkas, dan simpan audio mentah hanya selama diperlukan. Pipeline transkripsi call center kami menunjukkan redaksi di antara langkah transkripsi dan ringkasan.
Posisi BroadNet Inference
Pernyataan privasi BroadNet menyebut gateway-nya “keeps no prompts, messages, images, audio, responses or transcripts” (Terjemahan BroadRouter: tidak menyimpan prompt, pesan, gambar, audio, respons, atau transkrip) dan tidak memakai data inferensi “to train, fine-tune or evaluate models” (Terjemahan BroadRouter: untuk melatih, melakukan fine-tuning, atau mengevaluasi model). BroadNet menyimpan catatan tanpa konten seperti waktu, jumlah token, dan biaya; daftar lengkapnya ada di halaman zero data retention. Kunci bisa dibatasi ke alamat IP Anda. Qwen3.8 27B, yang dipakai dalam contoh di atas, sudah diuji BroadNet dalam bahasa Arab, yang penting ketika placeholder Anda berada di dalam teks Arab.
Itu mencakup sisi penyedia. BroadNet tidak meredaksi untuk Anda, dan tidak membersihkan log Anda. Langkah 1, 2, dan 4 tetap tugas Anda di penyedia mana pun, termasuk BroadNet. Jika Anda butuh DPA tertulis atau daftar subprocessor untuk data yang diatur regulasi, tanyakan ke BroadNet sebelum mengirimnya; pernyataan tersebut menyebut daftar subprocessor tersedia atas permintaan.

