Nagbabasa ang mga customer support bot ng reklamo na may pangalan at order number. Nagpapadala ang mga call-centre pipeline ng transcript na may digit ng card. Nagpapadala ng sintomas ang mga health app. Kapaki-pakinabang ang lahat ng ito sa model, at sensitive data ang lahat ng ito sa sandaling lumabas ito sa mga server mo.
Inililista ng OWASP ang sensitive information disclosure bilang LLM02 sa 2025 Top 10 nito para sa mga LLM application. Nakatuon ang karamihan ng gabay sa puwedeng ibunyag ng model. Nakatuon ang post na ito sa bahaging kontrolado mo: kung ano ang ipinapadala mo, at kung ano ang itinatago mo.
Ano ang itinuturing na sensitive data para sa LLM API?
Pagbukud-bukurin ang mga field sa tatlong grupo bago ka magsulat ng prompt:
| Grupo | Mga halimbawa | Default na patakaran |
|---|---|---|
| Direktang identifier | Pangalan, email, phone, national ID, account number | Palitan ng placeholder |
| Espesyal o regulated | Kalusugan, biometrics, relihiyon, card number, credentials | Huwag ipadala maliban kung kailangan ng task at may legal na batayan ka |
| Context | Pangalan ng produkto, uri ng isyu, petsa, halaga | Kadalasang puwedeng ipadala |
Sa ilalim ng GDPR, kailangan ng espesyal na kategorya (Article 9) ng tiyak na kondisyon bago mo man lang ito iproseso. Hindi dapat umabot kailanman sa prompt ang card data at mga sikreto gaya ng password o API key.
Step 1: aling mga field ang talagang kailangan ng task?
Ang pinakamahusay na redaction ay ang hindi pagpapadala ng field. Tanungin kung ano ang kailangan ng task:
- Isu-summarise ang ticket? Kailangan ng model ang reklamo, hindi ang address ng customer.
- Iku-classify ang intent? Kailangan nito ang text ng mensahe, hindi ang account ID.
- Magda-draft ng reply? First name lang ang kailangan nito sa pinakamarami, at gumagana ang placeholder.
Buuin ang prompt mula sa mga piniling field, hindi sa pagtatapon ng buong record bilang JSON. Binabawasan din nito ang input token, kaya nakakatipid ka.
Step 2: paano mag-redact nang naiintindihan pa rin ng model ang text?
Palitan ang bawat value ng placeholder na may uri at numero. Napapanatili ng model ang istruktura ng pangungusap, at ibinabalik ng code mo ang mga value pagkatapos.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
Nahuhuli ng regular expression ang mga structured na value. Kailangan ng entity recognition para sa mga pangalan at address. Pinagsasama ng mga open-source tool gaya ng Microsoft Presidio ang mga pattern, checksum at named-entity model, at puwede kang magdagdag ng sarili mong recogniser. Subukan ang anumang detector sa sarili mong data: ang mga pangalang Arabic, format ng phone sa Gulf at text na halo-halo ang script ang kadalasang nalalampasan ng mga generic na detector.
Kung mas gusto mong magpatakbo ng proxy kaysa isulat mismo ang redaction, may inilalathala ang BroadNet bilang open source: ang LLM Sensitive Data Firewall (LSDF), sa ilalim ng Apache-2.0. Nakaupo ito sa harap ng anumang OpenAI-compatible na endpoint, kasama ang mga model na hindi hino-host ng BroadNet, at ayon sa BroadNet, sinusuri nito ang mga request, response, streamed chunk, streamed na tool-call argument, retrieved context at reasoning field, na may hiwalay na sanitiser para sa trace at log. Sa evaluation ng BroadNet noong Mayo 2026 sa sarili nitong mga corpus, nakuha ng mga broad-PII detector nito ang recall na 1.000 sa 40-case na credential replay, 0.944 sa synthetic na clinical data at 0.685 sa broad na English PII, kumpara sa 0.194, 0.056 at 0.326 para sa Microsoft Presidio nang mag-isa (write-up ng BroadNet). Mga numero iyan ng BroadNet para sa sarili nitong tool; patakbuhin ang monitor profile nito sa traffic mo bago ka magpatupad ng anuman.
Dalawang patakaran para sa placeholder:
- Panatilihing pare-pareho sa loob ng isang usapan, para iisang tao ang
[NAME_1]sa bawat turn. - Sabihan ang model na panatilihin ang mga ito nang walang pagbabago, gaya sa system prompt sa itaas.
Step 3: ano ang nangyayari sa data sa provider?
Binabawasan ng redaction ang lumalabas. Ang provider ang nagpapasya kung ano ang susunod. Itanong:
- Itinatago ba ang laman pagkatapos ng request, at gaano katagal?
- Ginagamit ba ito para sa training, at ano ang default?
- Sino ang nagpapatakbo ng hardware, at saan?
Ibang-iba ang mga sagot ng mga provider. Tingnan ang paghahambing ng data retention ng mga LLM API para sa opisyal na wording ng lima sa kanila, ang ZDR checklist para sa mga teknikal na tanong, at ang GDPR checklist para sa panig ng kontrata.
Step 4: paano hindi maisasama ang mga prompt sa sarili mong log?
Sa sarili mong stack kadalasang naiiwan ang mga prompt. Mga karaniwang leak:
- Debug logging ng HTTP client na nagpi-print ng request body.
- Mga tracing at observability SDK na nire-record ang buong prompt sa default.
- Mga error reporter na ikinakabit ang payload ng pumalyang request.
- Mga analytics event na kasama ang mensahe ng user.
- Mga retry queue at dead-letter queue na nag-iimbak ng buong request.
Ito ang i-log sa halip: request ID, model, bilang ng prompt at completion token, latency, status code at ang sarili mong ID ng redaction mapping (hindi kailanman ang mapping mismo). Sapat iyan para i-debug ang gastos at mga error. May wrapper ang post tungkol sa usage logging na eksaktong isinusulat ang mga field na ito at kinukuwenta ang gastos kada call.
Step 5: paano protektahan ang daan papunta sa API?
- Itago ang mga key sa server, hindi kailanman sa browser o mobile code. Tinatalakay ng seguridad ng LLM API key ang pag-iimbak at rotation.
- I-lock ang mga key sa iyong egress address gamit ang IP allow-list.
- Gumamit ng isang API key kada serbisyo, para ma-revoke mo ang isa nang hindi pinapahinto ang lahat.
Step 6: ano ang dapat suriin sa response?
Pinoprotektahan ng redaction ang request. Kailangan ding suriin ang response, dahil puwedeng ulitin, hulaan o buuin ulit ng model ang mga value:
- Integridad ng placeholder. Pagkatapos ng
restore(), hanapin ang mga natirang token gaya ng[PHONE_3]na wala sa mapping mo. Ibig sabihin, nag-imbento ang model. - Bagong PII sa output. Patakbuhin ang parehong detector sa response. Ang reply na may email address na hindi mo ipinadala ay dapat tingnan ulit bago umabot sa customer.
- Leak sa pagitan ng mga user. Kung kina-cache mo ang mga response o nagbabahagi ng conversation state, siguraduhing hindi kailanman lalabas sa reply ng ibang user ang naibalik na value ng isang user.
Suriin ang bawat output channel, hindi lang ang chat reply. Natuklasan ng Safety Map study ng BroadNet na lumalabas ang mga sensitive value sa tool-call argument sa 20 sa 73 run na nag-fill sa mga ito, at sa reasoning field sa 29 sa 43 run na nag-fill dito, habang ang nakikitang reply ay na-rate na ligtas, hindi nahuli o naputol.
Subukan ang buong loop sa isang fixed na set ng 50 totoong sensitive na halimbawa tuwing babaguhin mo ang prompt, ang model o ang detector. Bilangin ang mga value na nakalusot, hindi lang ang mga nahuli: mas mahalaga ang isang nakalusot na card number kaysa sa isandaang tamang placeholder.
Kailangan din ba ng parehong trato ang sensitive na audio?
Puwedeng magdala ang isang voice note ng pangalan, phone number at detalye ng kalusugan sa loob ng sampung segundo. Minamana ng transcript ang lahat ng iyon. I-redact ang transcript bago ito ipadala sa LLM para i-summarise, at itago lang ang raw na audio hangga’t kailangan. Ipinapakita ng aming call-centre transcription pipeline ang redaction sa pagitan ng transcription at summary.
Saan pumapasok ang BroadNet Inference
Sinasabi ng privacy statement ng BroadNet na ang gateway nito ay “keeps no prompts, messages, images, audio, responses or transcripts” (salin: walang itinatagong prompt, mensahe, larawan, audio, response o transcript) at hindi nito ginagamit ang inference data “to train, fine-tune or evaluate models” (salin: para mag-train, mag-fine-tune o mag-evaluate ng mga model). Nagtatago ito ng mga record na walang laman ng content, gaya ng timing, bilang ng token at gastos; nasa pahina ng zero data retention ang buong listahan. Puwedeng limitahan ang mga key sa iyong mga IP address. Ang Qwen3.8 27B, na ginamit sa halimbawa sa itaas, ay sinubukan ng BroadNet sa Arabic, na mahalaga kapag nasa loob ng Arabic na text ang mga placeholder mo.
Sakop niyan ang panig ng provider. Hindi ito nagre-redact para sa iyo, at hindi nito nililinis ang mga log mo. Trabaho mo pa rin ang Step 1, 2 at 4 sa anumang provider, kasama ang BroadNet. Kung kailangan mo ng nakasulat na DPA o listahan ng subprocessor para sa regulated na data, tanungin muna ang BroadNet bago ito ipadala; sinasabi ng statement na makukuha ang listahan ng subprocessor kapag hiniling.

