BroadRouter
Magsimula

Sensitive data sa LLM API: mag-redact, magbawas, mag-log nang kaunti

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Para magpadala ng sensitive data sa LLM API, alamin muna kung aling mga field ang kailangan ng task at tanggalin ang iba. Palitan ang mga pangalan, numero at ID ng reversible na placeholder bago ang request, at ibalik ang mga ito sa sarili mong code pagkatapos. Gumamit ng provider na may zero data retention, huwag ilagay ang laman ng prompt sa sarili mong log, at i-lock ang mga API key sa iyong mga server.

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

Nagbabasa ang mga customer support bot ng reklamo na may pangalan at order number. Nagpapadala ang mga call-centre pipeline ng transcript na may digit ng card. Nagpapadala ng sintomas ang mga health app. Kapaki-pakinabang ang lahat ng ito sa model, at sensitive data ang lahat ng ito sa sandaling lumabas ito sa mga server mo.

Inililista ng OWASP ang sensitive information disclosure bilang LLM02 sa 2025 Top 10 nito para sa mga LLM application. Nakatuon ang karamihan ng gabay sa puwedeng ibunyag ng model. Nakatuon ang post na ito sa bahaging kontrolado mo: kung ano ang ipinapadala mo, at kung ano ang itinatago mo.

Ano ang itinuturing na sensitive data para sa LLM API?

Pagbukud-bukurin ang mga field sa tatlong grupo bago ka magsulat ng prompt:

Grupo Mga halimbawa Default na patakaran
Direktang identifier Pangalan, email, phone, national ID, account number Palitan ng placeholder
Espesyal o regulated Kalusugan, biometrics, relihiyon, card number, credentials Huwag ipadala maliban kung kailangan ng task at may legal na batayan ka
Context Pangalan ng produkto, uri ng isyu, petsa, halaga Kadalasang puwedeng ipadala

Sa ilalim ng GDPR, kailangan ng espesyal na kategorya (Article 9) ng tiyak na kondisyon bago mo man lang ito iproseso. Hindi dapat umabot kailanman sa prompt ang card data at mga sikreto gaya ng password o API key.

Step 1: aling mga field ang talagang kailangan ng task?

Ang pinakamahusay na redaction ay ang hindi pagpapadala ng field. Tanungin kung ano ang kailangan ng task:

  1. Isu-summarise ang ticket? Kailangan ng model ang reklamo, hindi ang address ng customer.
  2. Iku-classify ang intent? Kailangan nito ang text ng mensahe, hindi ang account ID.
  3. Magda-draft ng reply? First name lang ang kailangan nito sa pinakamarami, at gumagana ang placeholder.

Buuin ang prompt mula sa mga piniling field, hindi sa pagtatapon ng buong record bilang JSON. Binabawasan din nito ang input token, kaya nakakatipid ka.

Step 2: paano mag-redact nang naiintindihan pa rin ng model ang text?

Palitan ang bawat value ng placeholder na may uri at numero. Napapanatili ng model ang istruktura ng pangungusap, at ibinabalik ng code mo ang mga value pagkatapos.

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Nahuhuli ng regular expression ang mga structured na value. Kailangan ng entity recognition para sa mga pangalan at address. Pinagsasama ng mga open-source tool gaya ng Microsoft Presidio ang mga pattern, checksum at named-entity model, at puwede kang magdagdag ng sarili mong recogniser. Subukan ang anumang detector sa sarili mong data: ang mga pangalang Arabic, format ng phone sa Gulf at text na halo-halo ang script ang kadalasang nalalampasan ng mga generic na detector.

Kung mas gusto mong magpatakbo ng proxy kaysa isulat mismo ang redaction, may inilalathala ang BroadNet bilang open source: ang LLM Sensitive Data Firewall (LSDF), sa ilalim ng Apache-2.0. Nakaupo ito sa harap ng anumang OpenAI-compatible na endpoint, kasama ang mga model na hindi hino-host ng BroadNet, at ayon sa BroadNet, sinusuri nito ang mga request, response, streamed chunk, streamed na tool-call argument, retrieved context at reasoning field, na may hiwalay na sanitiser para sa trace at log. Sa evaluation ng BroadNet noong Mayo 2026 sa sarili nitong mga corpus, nakuha ng mga broad-PII detector nito ang recall na 1.000 sa 40-case na credential replay, 0.944 sa synthetic na clinical data at 0.685 sa broad na English PII, kumpara sa 0.194, 0.056 at 0.326 para sa Microsoft Presidio nang mag-isa (write-up ng BroadNet). Mga numero iyan ng BroadNet para sa sarili nitong tool; patakbuhin ang monitor profile nito sa traffic mo bago ka magpatupad ng anuman.

Dalawang patakaran para sa placeholder:

  • Panatilihing pare-pareho sa loob ng isang usapan, para iisang tao ang [NAME_1] sa bawat turn.
  • Sabihan ang model na panatilihin ang mga ito nang walang pagbabago, gaya sa system prompt sa itaas.

Step 3: ano ang nangyayari sa data sa provider?

Binabawasan ng redaction ang lumalabas. Ang provider ang nagpapasya kung ano ang susunod. Itanong:

  • Itinatago ba ang laman pagkatapos ng request, at gaano katagal?
  • Ginagamit ba ito para sa training, at ano ang default?
  • Sino ang nagpapatakbo ng hardware, at saan?

Ibang-iba ang mga sagot ng mga provider. Tingnan ang paghahambing ng data retention ng mga LLM API para sa opisyal na wording ng lima sa kanila, ang ZDR checklist para sa mga teknikal na tanong, at ang GDPR checklist para sa panig ng kontrata.

Step 4: paano hindi maisasama ang mga prompt sa sarili mong log?

Sa sarili mong stack kadalasang naiiwan ang mga prompt. Mga karaniwang leak:

  • Debug logging ng HTTP client na nagpi-print ng request body.
  • Mga tracing at observability SDK na nire-record ang buong prompt sa default.
  • Mga error reporter na ikinakabit ang payload ng pumalyang request.
  • Mga analytics event na kasama ang mensahe ng user.
  • Mga retry queue at dead-letter queue na nag-iimbak ng buong request.

Ito ang i-log sa halip: request ID, model, bilang ng prompt at completion token, latency, status code at ang sarili mong ID ng redaction mapping (hindi kailanman ang mapping mismo). Sapat iyan para i-debug ang gastos at mga error. May wrapper ang post tungkol sa usage logging na eksaktong isinusulat ang mga field na ito at kinukuwenta ang gastos kada call.

Step 5: paano protektahan ang daan papunta sa API?

  • Itago ang mga key sa server, hindi kailanman sa browser o mobile code. Tinatalakay ng seguridad ng LLM API key ang pag-iimbak at rotation.
  • I-lock ang mga key sa iyong egress address gamit ang IP allow-list.
  • Gumamit ng isang API key kada serbisyo, para ma-revoke mo ang isa nang hindi pinapahinto ang lahat.

Step 6: ano ang dapat suriin sa response?

Pinoprotektahan ng redaction ang request. Kailangan ding suriin ang response, dahil puwedeng ulitin, hulaan o buuin ulit ng model ang mga value:

  • Integridad ng placeholder. Pagkatapos ng restore(), hanapin ang mga natirang token gaya ng [PHONE_3] na wala sa mapping mo. Ibig sabihin, nag-imbento ang model.
  • Bagong PII sa output. Patakbuhin ang parehong detector sa response. Ang reply na may email address na hindi mo ipinadala ay dapat tingnan ulit bago umabot sa customer.
  • Leak sa pagitan ng mga user. Kung kina-cache mo ang mga response o nagbabahagi ng conversation state, siguraduhing hindi kailanman lalabas sa reply ng ibang user ang naibalik na value ng isang user.

Suriin ang bawat output channel, hindi lang ang chat reply. Natuklasan ng Safety Map study ng BroadNet na lumalabas ang mga sensitive value sa tool-call argument sa 20 sa 73 run na nag-fill sa mga ito, at sa reasoning field sa 29 sa 43 run na nag-fill dito, habang ang nakikitang reply ay na-rate na ligtas, hindi nahuli o naputol.

Subukan ang buong loop sa isang fixed na set ng 50 totoong sensitive na halimbawa tuwing babaguhin mo ang prompt, ang model o ang detector. Bilangin ang mga value na nakalusot, hindi lang ang mga nahuli: mas mahalaga ang isang nakalusot na card number kaysa sa isandaang tamang placeholder.

Kailangan din ba ng parehong trato ang sensitive na audio?

Puwedeng magdala ang isang voice note ng pangalan, phone number at detalye ng kalusugan sa loob ng sampung segundo. Minamana ng transcript ang lahat ng iyon. I-redact ang transcript bago ito ipadala sa LLM para i-summarise, at itago lang ang raw na audio hangga’t kailangan. Ipinapakita ng aming call-centre transcription pipeline ang redaction sa pagitan ng transcription at summary.

Saan pumapasok ang BroadNet Inference

Sinasabi ng privacy statement ng BroadNet na ang gateway nito ay “keeps no prompts, messages, images, audio, responses or transcripts” (salin: walang itinatagong prompt, mensahe, larawan, audio, response o transcript) at hindi nito ginagamit ang inference data “to train, fine-tune or evaluate models” (salin: para mag-train, mag-fine-tune o mag-evaluate ng mga model). Nagtatago ito ng mga record na walang laman ng content, gaya ng timing, bilang ng token at gastos; nasa pahina ng zero data retention ang buong listahan. Puwedeng limitahan ang mga key sa iyong mga IP address. Ang Qwen3.8 27B, na ginamit sa halimbawa sa itaas, ay sinubukan ng BroadNet sa Arabic, na mahalaga kapag nasa loob ng Arabic na text ang mga placeholder mo.

Sakop niyan ang panig ng provider. Hindi ito nagre-redact para sa iyo, at hindi nito nililinis ang mga log mo. Trabaho mo pa rin ang Step 1, 2 at 4 sa anumang provider, kasama ang BroadNet. Kung kailangan mo ng nakasulat na DPA o listahan ng subprocessor para sa regulated na data, tanungin muna ang BroadNet bago ito ipadala; sinasabi ng statement na makukuha ang listahan ng subprocessor kapag hiniling.

Mga tanong

Ligtas bang magpadala ng PII sa LLM API?

Puwede, basta may mga kontrol: kontrata sa provider, malinaw na patakaran sa retention at training, minimisation at redaction bago ang request, at malinis na log sa panig mo. Kung wala ang mga iyon, iwasang magpadala ng raw na PII.

Dapat ko bang i-redact ang data bago ipadala sa ChatGPT o ibang LLM API?

I-redact ang anumang hindi kailangan ng task. Sa summary, classification at pag-draft, kadalasang puwedeng palitan ng placeholder ang mga pangalan at numero nang hindi bumababa ang kalidad, saka ibalik pagkatapos ng response.

Ano ang pagkakaiba ng redaction at pseudonymisation?

Permanenteng tinatanggal ng redaction ang value. Pinapalitan naman ito ng pseudonymisation ng placeholder na maibabalik mo gamit ang key na ikaw ang may hawak. Sa ilalim ng GDPR, personal data pa rin ang pseudonymised na data, kaya kailangan pa rin itong protektahan.

Ibig bang sabihin ng zero data retention na puwede kong ipadala ang kahit ano?

Hindi. Ang ibig sabihin ng zero data retention ay hindi itinatago ng provider ang laman pagkatapos ng request. Lumalabas pa rin ang data sa mga system mo at pinoproseso ng provider, kaya kailangan pa rin ang minimisation at legal na pagsusuri.

Paano ko pipigilang lumabas ang mga prompt sa sarili kong log?

I-log ang request ID, model, bilang ng token, latency at status, pero hindi kailanman ang laman ng mensahe. Suriin ang debug logging ng HTTP client, mga tracing SDK at error reporter, na madalas kumukuha ng request body sa default.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity