BroadRouter
Mulai

Mengirim data sensitif ke API LLM: redaksi, minimalkan, kurangi log

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Untuk mengirim data sensitif ke API LLM, tentukan dulu field mana yang dibutuhkan tugas dan buang sisanya. Ganti nama, nomor, dan ID dengan placeholder yang bisa dibalik sebelum permintaan, lalu pulihkan di kode Anda sendiri setelahnya. Gunakan penyedia dengan zero data retention, jauhkan isi prompt dari log Anda sendiri, dan kunci kunci API ke server Anda.

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

Bot layanan pelanggan membaca keluhan berisi nama dan nomor pesanan. Pipeline call center mengirim transkrip berisi digit kartu. Aplikasi kesehatan mengirim gejala. Semuanya berguna bagi model, dan semuanya adalah data sensitif begitu keluar dari server Anda.

OWASP mencantumkan sensitive information disclosure sebagai LLM02 dalam Top 10 2025 untuk aplikasi LLM. Sebagian besar panduan berfokus pada apa yang mungkin dibocorkan model. Tulisan ini berfokus pada bagian yang Anda kendalikan: apa yang Anda kirim, dan apa yang Anda simpan.

Apa saja yang termasuk data sensitif untuk API LLM?

Kelompokkan field ke dalam tiga kategori sebelum Anda menulis prompt:

Kategori Contoh Aturan default
Pengenal langsung Nama, email, telepon, nomor identitas, nomor rekening Ganti dengan placeholder
Khusus atau diatur regulasi Kesehatan, biometrik, agama, nomor kartu, kredensial Jangan kirim kecuali tugas membutuhkannya dan Anda punya dasar hukum
Konteks Nama produk, jenis masalah, tanggal, jumlah Biasanya aman dikirim

Menurut GDPR, kategori khusus (Pasal 9) membutuhkan syarat tertentu sebelum Anda boleh memprosesnya sama sekali. Data kartu dan rahasia seperti password atau kunci API tidak boleh pernah masuk ke prompt.

Langkah 1: field apa yang benar-benar dibutuhkan tugas?

Redaksi terbaik adalah tidak mengirim field-nya. Tanyakan apa yang dibutuhkan tugas:

  1. Meringkas tiket? Model butuh keluhannya, bukan alamat pelanggan.
  2. Mengklasifikasikan intent? Model butuh teks pesan, bukan ID akun.
  3. Membuat draf balasan? Paling banyak model butuh nama depan, dan placeholder pun cukup.

Susun prompt dari field yang dipilih, bukan dengan membuang seluruh record sebagai JSON. Ini juga mengurangi token input, jadi menghemat biaya.

Langkah 2: bagaimana meredaksi agar model tetap memahami teksnya?

Ganti setiap nilai dengan placeholder bertipe dan bernomor. Model mempertahankan struktur kalimat, dan kode Anda memulihkan nilainya setelahnya.

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Regular expression menangkap nilai yang terstruktur. Nama dan alamat butuh pengenalan entitas. Tool open source seperti Microsoft Presidio menggabungkan pola, checksum, dan model named-entity, serta memungkinkan Anda menambahkan recognizer sendiri. Uji detektor apa pun pada data Anda sendiri: nama Arab, format nomor telepon Teluk, dan teks campuran aksara adalah tempat detektor generik sering meleset.

Jika Anda lebih suka menjalankan proxy daripada menulis redaksi sendiri, BroadNet merilis satu sebagai open source: LLM Sensitive Data Firewall (LSDF), berlisensi Apache-2.0. Proxy ini dipasang di depan endpoint apa pun yang kompatibel dengan OpenAI, termasuk model yang tidak di-host BroadNet. Menurut BroadNet, LSDF memeriksa permintaan, respons, potongan streaming, argumen tool call yang di-stream, konteks hasil retrieval, dan field penalaran, dengan sanitizer terpisah untuk trace dan log. Dalam evaluasi BroadNet pada Mei 2026 dengan korpus miliknya sendiri, detektor PII luasnya mencapai recall 1,000 pada replay kredensial 40 kasus, 0,944 pada data klinis sintetis, dan 0,685 pada PII bahasa Inggris umum, dibanding 0,194, 0,056, dan 0,326 untuk Microsoft Presidio saja (tulisan BroadNet). Itu angka BroadNet untuk tool-nya sendiri; jalankan profil monitor-nya pada trafik Anda sebelum memberlakukan apa pun.

Dua aturan untuk placeholder:

  • Jaga konsistensinya dalam satu percakapan, sehingga [NAME_1] adalah orang yang sama di setiap giliran.
  • Minta model mempertahankannya tanpa diubah, seperti di system prompt di atas.

Langkah 3: apa yang terjadi pada data di sisi penyedia?

Redaksi mengurangi apa yang keluar. Penyedia menentukan apa yang terjadi selanjutnya. Tanyakan:

  • Apakah konten disimpan setelah permintaan, dan berapa lama?
  • Apakah dipakai untuk pelatihan, dan apa setelan default-nya?
  • Siapa yang mengoperasikan hardware-nya, dan di mana?

Jawaban tiap penyedia sangat berbeda. Lihat perbandingan retensi data API LLM untuk kutipan resmi dari lima penyedia, checklist ZDR untuk pertanyaan teknis, dan checklist GDPR untuk sisi kontrak.

Langkah 4: bagaimana menjauhkan prompt dari log Anda sendiri?

Stack Anda sendiri adalah tempat prompt paling sering tersimpan. Kebocoran yang umum:

  • Debug logging HTTP client yang mencetak body permintaan.
  • SDK tracing dan observability yang merekam prompt lengkap secara default.
  • Error reporter yang melampirkan payload permintaan yang gagal.
  • Event analitik yang menyertakan pesan pengguna.
  • Antrean retry dan dead-letter queue yang menyimpan permintaan utuh.

Catat ini sebagai gantinya: ID permintaan, model, jumlah token prompt dan completion, latensi, status code, dan ID mapping redaksi Anda (jangan pernah mapping-nya sendiri). Itu cukup untuk men-debug biaya dan error. Tulisan tentang logging pemakaian punya wrapper yang menulis tepat field-field ini dan menghitung biaya per panggilan.

Langkah 5: bagaimana melindungi jalur ke API?

  • Simpan kunci di server, jangan pernah di kode browser atau mobile. Keamanan kunci API LLM membahas penyimpanan dan rotasi.
  • Kunci akses ke alamat egress Anda dengan IP allow-list.
  • Gunakan satu kunci API per layanan, sehingga Anda bisa mencabut satu tanpa menghentikan semuanya.

Langkah 6: apa yang perlu diperiksa pada respons?

Redaksi melindungi permintaan. Respons juga perlu diperiksa, karena model bisa mengulang, menebak, atau menyusun ulang nilai:

  • Integritas placeholder. Setelah restore(), cari sisa token seperti [PHONE_3] yang tidak pernah ada di mapping Anda. Itu berarti model mengarangnya.
  • PII baru di output. Jalankan detektor yang sama pada respons. Balasan yang berisi alamat email yang tidak pernah Anda kirim layak diperiksa ulang sebelum sampai ke pelanggan.
  • Kebocoran antarpengguna. Jika Anda men-cache respons atau berbagi state percakapan, pastikan nilai yang dipulihkan milik satu pengguna tidak pernah muncul di balasan pengguna lain.

Periksa setiap kanal output, bukan hanya balasan chat. Studi Safety Map BroadNet menemukan nilai sensitif keluar lewat argumen tool call di 20 dari 73 run yang mengisinya, dan lewat field penalaran di 29 dari 43 run yang mengisinya, sementara balasan yang terlihat dinilai aman, terlewat, atau terpotong.

Uji seluruh alur pada set tetap berisi 50 contoh nyata yang sensitif setiap kali Anda mengubah prompt, model, atau detektor. Hitung nilai yang terlewat, bukan hanya yang tertangkap: satu nomor kartu yang lolos lebih penting daripada seratus placeholder yang benar.

Apakah audio sensitif butuh perlakuan yang sama?

Satu voice note bisa memuat nama, nomor telepon, dan informasi kesehatan dalam sepuluh detik. Transkrip mewarisi semuanya. Redaksi transkrip sebelum dikirim ke LLM untuk diringkas, dan simpan audio mentah hanya selama diperlukan. Pipeline transkripsi call center kami menunjukkan redaksi di antara langkah transkripsi dan ringkasan.

Posisi BroadNet Inference

Pernyataan privasi BroadNet menyebut gateway-nya “keeps no prompts, messages, images, audio, responses or transcripts” (Terjemahan BroadRouter: tidak menyimpan prompt, pesan, gambar, audio, respons, atau transkrip) dan tidak memakai data inferensi “to train, fine-tune or evaluate models” (Terjemahan BroadRouter: untuk melatih, melakukan fine-tuning, atau mengevaluasi model). BroadNet menyimpan catatan tanpa konten seperti waktu, jumlah token, dan biaya; daftar lengkapnya ada di halaman zero data retention. Kunci bisa dibatasi ke alamat IP Anda. Qwen3.8 27B, yang dipakai dalam contoh di atas, sudah diuji BroadNet dalam bahasa Arab, yang penting ketika placeholder Anda berada di dalam teks Arab.

Itu mencakup sisi penyedia. BroadNet tidak meredaksi untuk Anda, dan tidak membersihkan log Anda. Langkah 1, 2, dan 4 tetap tugas Anda di penyedia mana pun, termasuk BroadNet. Jika Anda butuh DPA tertulis atau daftar subprocessor untuk data yang diatur regulasi, tanyakan ke BroadNet sebelum mengirimnya; pernyataan tersebut menyebut daftar subprocessor tersedia atas permintaan.

Pertanyaan umum

Apakah aman mengirim data pribadi ke API LLM?

Bisa aman, dengan kontrol: kontrak dengan penyedia, kebijakan retensi dan pelatihan yang jelas, minimisasi dan redaksi sebelum permintaan, serta log yang bersih di sisi Anda. Tanpa itu semua, hindari mengirim data pribadi mentah.

Apakah saya perlu meredaksi data sebelum mengirimnya ke ChatGPT atau API LLM lain?

Redaksi apa pun yang tidak dibutuhkan tugas. Untuk ringkasan, klasifikasi, dan membuat draf, nama dan nomor biasanya bisa diganti placeholder tanpa menurunkan kualitas, lalu dipulihkan setelah respons diterima.

Apa bedanya redaksi dan pseudonimisasi?

Redaksi menghapus nilai untuk selamanya. Pseudonimisasi menggantinya dengan placeholder yang bisa dipetakan kembali memakai kunci yang Anda simpan. Menurut GDPR, data yang dipseudonimisasi tetap data pribadi, jadi tetap perlu dilindungi.

Apakah zero data retention berarti saya boleh mengirim apa saja?

Tidak. Zero data retention berarti penyedia tidak menyimpan konten setelah permintaan. Data tetap keluar dari sistem Anda dan diproses oleh penyedia, jadi minimisasi dan pemeriksaan hukum tetap berlaku.

Bagaimana mencegah prompt muncul di log saya sendiri?

Catat ID permintaan, model, jumlah token, latensi, dan status, jangan pernah isi pesan. Periksa debug logging HTTP client, SDK tracing, dan error reporter, yang sering merekam body permintaan secara default.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity