Bot sokongan pelanggan membaca aduan yang mengandungi nama dan nombor pesanan. Saluran pusat panggilan menghantar transkrip dengan digit kad. Aplikasi kesihatan menghantar simptom. Semuanya berguna kepada model, dan semuanya data sensitif sebaik sahaja ia meninggalkan pelayan anda.
OWASP menyenaraikan pendedahan maklumat sensitif sebagai LLM02 dalam Top 10 2025 untuk aplikasi LLM. Kebanyakan panduan memberi tumpuan kepada apa yang mungkin didedahkan oleh model. Catatan ini memberi tumpuan kepada bahagian yang anda kawal: apa yang anda hantar, dan apa yang anda simpan.
Apakah yang dikira sebagai data sensitif untuk API LLM?
Asingkan medan kepada tiga kumpulan sebelum anda menulis prompt:
| Kumpulan | Contoh | Peraturan lalai |
|---|---|---|
| Pengecam langsung | Nama, e-mel, telefon, ID kebangsaan, nombor akaun | Gantikan dengan pemegang tempat |
| Khas atau dikawal selia | Kesihatan, biometrik, agama, nombor kad, kelayakan | Jangan hantar melainkan tugas memerlukannya dan anda mempunyai asas undang-undang |
| Konteks | Nama produk, jenis isu, tarikh, jumlah | Biasanya boleh dihantar |
Di bawah GDPR, kategori khas (Perkara 9) memerlukan syarat tertentu sebelum anda memprosesnya langsung. Data kad dan rahsia seperti kata laluan atau kunci API tidak sekali-kali patut sampai ke prompt.
Langkah 1: medan manakah yang benar-benar diperlukan tugas?
Penyuntingan terbaik ialah tidak menghantar medan itu. Tanya apa yang diperlukan tugas:
- Meringkaskan tiket? Model memerlukan aduan, bukan alamat pelanggan.
- Mengelaskan niat? Ia memerlukan teks mesej, bukan ID akaun.
- Menulis draf balasan? Ia memerlukan nama pertama sahaja paling banyak, dan pemegang tempat pun berfungsi.
Bina prompt daripada medan terpilih, bukan dengan melambakkan seluruh rekod sebagai JSON. Ini juga mengurangkan token input, jadi ia menjimatkan wang.
Langkah 2: bagaimanakah menyunting supaya model masih memahami teks?
Gantikan setiap nilai dengan pemegang tempat yang berjenis dan bernombor. Model mengekalkan struktur ayat, dan kod anda memulihkan nilainya selepas itu.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
Ungkapan biasa (regular expression) menangkap nilai berstruktur. Nama dan alamat memerlukan pengecaman entiti. Alat sumber terbuka seperti Microsoft Presidio menggabungkan corak, checksum dan model entiti bernama, serta membolehkan anda menambah pengecam sendiri. Uji mana-mana pengesan pada data anda sendiri: nama Arab, format telefon Teluk dan teks skrip bercampur ialah tempat pengesan generik terlepas.
Jika anda lebih suka menjalankan proksi daripada menulis penyuntingan sendiri, BroadNet menerbitkannya sebagai sumber terbuka: LLM Sensitive Data Firewall (LSDF), di bawah Apache-2.0. Ia diletakkan di hadapan mana-mana endpoint yang serasi OpenAI, termasuk model yang tidak dihoskan BroadNet, dan BroadNet menyatakan ia memeriksa permintaan, respons, cebisan strim, argumen tool call yang distrim, konteks yang diambil dan medan penaakulan, dengan pembersih berasingan untuk jejak dan log. Dalam penilaian BroadNet pada Mei 2026 ke atas korpusnya sendiri, pengesan PII luasnya mencapai ingatan semula (recall) 1.000 pada ulang main kelayakan 40 kes, 0.944 pada data klinikal sintetik dan 0.685 pada PII bahasa Inggeris yang luas, berbanding 0.194, 0.056 dan 0.326 bagi Microsoft Presidio sahaja (tulisan BroadNet). Itu angka BroadNet untuk alatnya sendiri; jalankan profil monitor pada trafik anda sebelum anda menguatkuasakan apa-apa.
Dua peraturan untuk pemegang tempat:
- Kekalkan secara konsisten dalam satu perbualan, supaya
[NAME_1]ialah orang yang sama dalam setiap giliran. - Suruh model mengekalkannya tanpa diubah, seperti dalam system prompt di atas.
Langkah 3: apakah yang berlaku kepada data di pihak penyedia?
Penyuntingan mengurangkan apa yang keluar. Penyedia menentukan apa yang berlaku seterusnya. Tanya:
- Adakah kandungan disimpan selepas permintaan, dan untuk berapa lama?
- Adakah ia digunakan untuk latihan, dan apakah tetapan lalainya?
- Siapakah yang menjalankan perkakasan, dan di mana?
Jawapan penyedia sangat berbeza. Lihat perbandingan pengekalan data API LLM untuk kata-kata rasmi daripada lima penyedia, senarai semak ZDR untuk soalan teknikal, dan senarai semak GDPR untuk aspek kontrak.
Langkah 4: bagaimanakah menjauhkan prompt daripada log anda sendiri?
Timbunan teknologi anda sendiri ialah tempat prompt paling kerap tersimpan. Kebocoran biasa:
- Log nyahpepijat klien HTTP yang mencetak badan permintaan.
- SDK pengesanan dan kebolehcerapan yang merakam prompt penuh secara lalai.
- Pelapor ralat yang melampirkan muatan permintaan yang gagal.
- Peristiwa analitik yang mengandungi mesej pengguna.
- Baris gilir cubaan semula dan dead-letter queue yang menyimpan seluruh permintaan.
Log ini sebagai gantinya: ID permintaan, model, kiraan token prompt dan completion, kependaman, kod status dan ID pemetaan penyuntingan anda sendiri (jangan sekali-kali pemetaan itu sendiri). Itu sudah cukup untuk menyahpepijat kos dan ralat. Catatan tentang log penggunaan mempunyai pembalut yang menulis tepat medan ini dan mengira kos setiap panggilan.
Langkah 5: bagaimanakah melindungi laluan ke API?
- Simpan kunci di pelayan, jangan sekali-kali dalam kod pelayar atau mudah alih. Keselamatan kunci API LLM merangkumi penyimpanan dan putaran.
- Kunci kunci pada alamat keluar anda dengan senarai benar IP.
- Gunakan satu kunci API bagi setiap perkhidmatan, supaya anda boleh membatalkan satu tanpa menghentikan semuanya.
Langkah 6: apakah yang patut disemak dalam respons?
Penyuntingan melindungi permintaan. Respons juga perlu disemak, kerana model boleh mengulang, meneka atau membina semula nilai:
- Integriti pemegang tempat. Selepas
restore(), cari token tertinggal seperti[PHONE_3]yang tidak pernah ada dalam pemetaan anda. Ia bermakna model mereka-reka satu. - PII baharu dalam output. Jalankan pengesan yang sama pada respons. Balasan yang mengandungi alamat e-mel yang tidak pernah anda hantar wajar disemak semula sebelum sampai kepada pelanggan.
- Kebocoran antara pengguna. Jika anda mencache respons atau berkongsi keadaan perbualan, pastikan nilai yang dipulihkan untuk seorang pengguna tidak sekali-kali muncul dalam balasan pengguna lain.
Semak setiap saluran output, bukan hanya balasan chat. Kajian Safety Map BroadNet mendapati nilai sensitif keluar melalui argumen tool call dalam 20 daripada 73 larian yang mengisinya, dan melalui medan penaakulan dalam 29 daripada 43 larian yang mengisinya, sedangkan balasan yang kelihatan dinilai selamat, terlepas atau terpotong.
Uji keseluruhan gelung pada set tetap 50 contoh sensitif sebenar setiap kali anda menukar prompt, model atau pengesan. Kira nilai yang terlepas, bukan hanya yang ditangkap: satu nombor kad yang terlepas lebih penting daripada seratus pemegang tempat yang betul.
Adakah audio sensitif memerlukan layanan yang sama?
Nota suara boleh membawa nama, nombor telefon dan butiran kesihatan dalam sepuluh saat. Transkrip mewarisi semuanya. Sunting transkrip sebelum ia dihantar ke LLM untuk diringkaskan, dan simpan audio mentah hanya selama yang perlu. Saluran transkripsi pusat panggilan kami menunjukkan penyuntingan antara langkah transkripsi dan ringkasan.
Di mana BroadNet Inference sesuai
Kenyataan privasi BroadNet menyatakan get laluannya “keeps no prompts, messages, images, audio, responses or transcripts” (Terjemahan: tidak menyimpan prompt, mesej, imej, audio, respons atau transkrip) dan ia tidak menggunakan data inferens “to train, fine-tune or evaluate models” (Terjemahan: untuk melatih, menala halus atau menilai model). Ia menyimpan rekod tanpa kandungan seperti masa, kiraan token dan kos; senarai penuh ada di halaman sifar pengekalan data. Kunci boleh dihadkan kepada alamat IP anda. Qwen3.8 27B, yang digunakan dalam contoh di atas, telah diuji dalam bahasa Arab oleh BroadNet, yang penting apabila pemegang tempat anda berada dalam teks Arab.
Itu merangkumi pihak penyedia. Ia tidak menyunting untuk anda, dan ia tidak membersihkan log anda. Langkah 1, 2 dan 4 kekal tugas anda dengan mana-mana penyedia, termasuk BroadNet. Jika anda memerlukan DPA bertulis atau senarai subpemproses untuk data dikawal selia, tanya BroadNet sebelum menghantarnya; kenyataan itu menyebut senarai subpemproses tersedia atas permintaan.

