BroadRouter
शुरू करें

LLM API को संवेदनशील डेटा भेजना: redact करें, कम भेजें, कम लॉग करें

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

LLM API को संवेदनशील डेटा भेजने के लिए पहले तय करें कि टास्क को कौन-से फ़ील्ड चाहिए, और बाक़ी हटा दें। अनुरोध से पहले नाम, नंबर और ID को वापस बदले जा सकने वाले placeholder से बदलें, और जवाब आने पर अपने कोड में उन्हें बहाल करें। ज़ीरो डेटा रिटेंशन वाला प्रोवाइडर चुनें, प्रॉम्प्ट कंटेंट अपने लॉग से बाहर रखें, और API key को अपने सर्वर तक सीमित करें।

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

कस्टमर सपोर्ट बॉट नाम और ऑर्डर नंबर वाली शिकायतें पढ़ते हैं। कॉल सेंटर पाइपलाइन कार्ड के अंकों वाले ट्रांसक्रिप्ट भेजती हैं। हेल्थ ऐप लक्षण भेजते हैं। यह सब मॉडल के लिए उपयोगी है, और जैसे ही यह आपके सर्वर से बाहर जाता है, यह सब संवेदनशील डेटा है।

OWASP ने LLM ऐप्लिकेशन के अपने 2025 Top 10 में sensitive information disclosure को LLM02 के रूप में रखा है। ज़्यादातर सलाह इस पर केंद्रित है कि मॉडल क्या उजागर कर सकता है। यह पोस्ट उस हिस्से पर है जो आपके नियंत्रण में है: आप क्या भेजते हैं, और क्या रखते हैं।

LLM API के लिए संवेदनशील डेटा क्या है?

प्रॉम्प्ट लिखने से पहले फ़ील्ड को तीन श्रेणियों में बाँटें:

श्रेणी उदाहरण डिफ़ॉल्ट नियम
सीधे पहचानने वाले नाम, ईमेल, फ़ोन, राष्ट्रीय ID, अकाउंट नंबर placeholder से बदलें
विशेष या नियंत्रित स्वास्थ्य, बायोमेट्रिक्स, धर्म, कार्ड नंबर, credentials तभी भेजें जब टास्क को ज़रूरत हो और आपके पास क़ानूनी आधार हो
संदर्भ प्रोडक्ट के नाम, समस्या का प्रकार, तारीख़ें, रक़में आम तौर पर भेजना ठीक है

GDPR के तहत विशेष श्रेणियों (अनुच्छेद 9) को प्रोसेस करने से पहले ही किसी ख़ास शर्त की ज़रूरत होती है। कार्ड डेटा और पासवर्ड या API key जैसे secret कभी प्रॉम्प्ट तक नहीं पहुँचने चाहिए।

चरण 1: टास्क को असल में कौन-से फ़ील्ड चाहिए?

सबसे अच्छा redaction है फ़ील्ड भेजना ही नहीं। पूछें कि टास्क को क्या चाहिए:

  1. टिकट का सारांश? मॉडल को शिकायत चाहिए, ग्राहक का पता नहीं।
  2. इरादे का वर्गीकरण? उसे मैसेज का टेक्स्ट चाहिए, अकाउंट ID नहीं।
  3. जवाब का ड्राफ़्ट? उसे ज़्यादा से ज़्यादा पहला नाम चाहिए, और placeholder भी काम करता है।

पूरा रिकॉर्ड JSON के रूप में डालने के बजाय चुने हुए फ़ील्ड से प्रॉम्प्ट बनाएँ। इससे इनपुट टोकन भी घटते हैं, यानी पैसा भी बचता है।

चरण 2: redact कैसे करें कि मॉडल फिर भी टेक्स्ट समझे?

हर मान को प्रकार वाले, क्रमांकित placeholder से बदलें। मॉडल वाक्य की संरचना बनाए रखता है, और आपका कोड बाद में मान बहाल कर देता है।

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

Regular expression संरचित मान पकड़ते हैं। नाम और पते के लिए entity recognition चाहिए। Microsoft Presidio जैसे ओपन-सोर्स टूल पैटर्न, checksum और named-entity मॉडल को मिलाते हैं, और आपको अपने recogniser जोड़ने देते हैं। किसी भी detector को अपने डेटा पर टेस्ट करें: अरबी नाम, खाड़ी देशों के फ़ोन फ़ॉर्मैट और मिली-जुली लिपि वाला टेक्स्ट वही जगहें हैं जहाँ सामान्य detector चूकते हैं।

अगर आप redaction ख़ुद लिखने के बजाय proxy चलाना पसंद करते हैं, तो BroadNet ने एक ओपन सोर्स के रूप में प्रकाशित किया है: LLM Sensitive Data Firewall (LSDF), Apache-2.0 के तहत। यह किसी भी OpenAI-compatible endpoint के आगे बैठता है, उन मॉडलों के भी जिन्हें BroadNet होस्ट नहीं करता, और BroadNet के अनुसार यह अनुरोध, जवाब, स्ट्रीम किए गए chunk, स्ट्रीम किए गए tool-call arguments, रिट्रीव किया गया कॉन्टेक्स्ट और reasoning फ़ील्ड जाँचता है, और ट्रेस व लॉग के लिए एक अलग sanitiser भी है। मई 2026 में BroadNet के अपने corpora पर किए मूल्यांकन में इसके broad-PII detectors ने 40 मामलों के credential replay में 1.000, सिंथेटिक क्लिनिकल डेटा में 0.944 और व्यापक अंग्रेज़ी PII में 0.685 recall किया, जबकि अकेले Microsoft Presidio ने 0.194, 0.056 और 0.326 (BroadNet का लेख)। ये BroadNet के अपने टूल के लिए BroadNet के आँकड़े हैं; कुछ भी लागू करने से पहले इसकी monitor प्रोफ़ाइल अपने ट्रैफ़िक पर चलाएँ।

placeholder के दो नियम:

  • उन्हें एक जैसा रखें पूरी बातचीत में, ताकि हर टर्न में [NAME_1] वही व्यक्ति हो।
  • मॉडल से कहें कि उन्हें न बदले, जैसा ऊपर के सिस्टम प्रॉम्प्ट में है।

चरण 3: प्रोवाइडर के यहाँ डेटा के साथ क्या होता है?

Redaction घटाता है कि क्या बाहर जाता है। आगे क्या होगा, यह प्रोवाइडर तय करता है। पूछें:

  • क्या अनुरोध के बाद कंटेंट स्टोर होता है, और कितने समय तक?
  • क्या इसका ट्रेनिंग में इस्तेमाल होता है, और डिफ़ॉल्ट क्या है?
  • हार्डवेयर कौन चलाता है, और कहाँ?

प्रोवाइडर बहुत अलग-अलग जवाब देते हैं। पाँच प्रोवाइडर के आधिकारिक शब्दों के लिए LLM API डेटा रिटेंशन की तुलना, तकनीकी सवालों के लिए ZDR चेकलिस्ट, और कॉन्ट्रैक्ट वाले पक्ष के लिए GDPR चेकलिस्ट देखें।

चरण 4: प्रॉम्प्ट को अपने ही लॉग से बाहर कैसे रखें?

प्रॉम्प्ट सबसे ज़्यादा आपके अपने स्टैक में टिके रहते हैं। आम लीक:

  • HTTP क्लाइंट की debug लॉगिंग जो अनुरोध का body प्रिंट करती है।
  • ट्रेसिंग और observability SDK जो डिफ़ॉल्ट रूप से पूरे प्रॉम्प्ट रिकॉर्ड करते हैं।
  • एरर रिपोर्टर जो विफल अनुरोध का payload जोड़ देते हैं।
  • एनालिटिक्स इवेंट जिनमें यूज़र का मैसेज होता है।
  • Retry queue और dead-letter queue जो पूरे अनुरोध स्टोर करती हैं।

इसके बजाय यह लॉग करें: अनुरोध ID, मॉडल, प्रॉम्प्ट और completion टोकन की गिनती, लेटेंसी, स्टेटस कोड और आपकी अपनी redaction mapping की ID (mapping ख़ुद कभी नहीं)। लागत और एरर debug करने के लिए इतना काफ़ी है। usage लॉगिंग पोस्ट में एक wrapper है जो ठीक यही फ़ील्ड लिखता है और हर कॉल की लागत निकालता है।

चरण 5: API तक के रास्ते को कैसे सुरक्षित करें?

  • key सर्वर पर रखें, कभी ब्राउज़र या मोबाइल कोड में नहीं। LLM API key सुरक्षा स्टोरेज और rotation बताती है।
  • IP allow-list से key को अपने egress पतों तक सीमित करें।
  • हर सर्विस के लिए एक अलग API key रखें, ताकि सब कुछ रोके बिना एक को रद्द कर सकें।

चरण 6: जवाब में क्या जाँचना चाहिए?

Redaction अनुरोध की रक्षा करता है। जवाब की भी जाँच ज़रूरी है, क्योंकि मॉडल मान दोहरा सकता है, अनुमान लगा सकता है या दोबारा बना सकता है:

  • placeholder की अखंडता। restore() के बाद [PHONE_3] जैसे बचे हुए टोकन देखें जो आपकी mapping में कभी थे ही नहीं। इसका मतलब है कि मॉडल ने एक गढ़ लिया।
  • आउटपुट में नया PII। वही detector जवाब पर भी चलाएँ। जिस जवाब में ऐसा ईमेल पता हो जो आपने कभी भेजा ही नहीं, उसे ग्राहक तक पहुँचने से पहले दोबारा देखना चाहिए।
  • एक यूज़र का डेटा दूसरे तक। अगर आप जवाब कैश करते हैं या बातचीत की स्थिति साझा करते हैं, तो पक्का करें कि एक यूज़र के बहाल किए गए मान कभी दूसरे यूज़र के जवाब में न आएँ।

हर आउटपुट चैनल जाँचें, सिर्फ़ चैट जवाब नहीं। BroadNet की Safety Map स्टडी ने पाया कि संवेदनशील मान tool-call arguments भरने वाले 73 में से 20 रन में उनके ज़रिए बाहर गए, और reasoning फ़ील्ड भरने वाले 43 में से 29 रन में उसके ज़रिए, जबकि दिखने वाले जवाब को सुरक्षित, चूका हुआ या अधूरा आँका गया।

जब भी आप प्रॉम्प्ट, मॉडल या detector बदलें, पूरे लूप को 50 असली, संवेदनशील उदाहरणों के एक तय सेट पर टेस्ट करें। सिर्फ़ पकड़े गए नहीं, छूटे हुए मान गिनें: एक छूटा हुआ कार्ड नंबर सौ सही placeholder से ज़्यादा मायने रखता है।

क्या संवेदनशील ऑडियो के साथ भी यही बर्ताव चाहिए?

एक वॉइस नोट दस सेकंड में नाम, फ़ोन नंबर और स्वास्थ्य की जानकारी ले जा सकता है। ट्रांसक्रिप्ट को यह सब विरासत में मिलता है। सारांश के लिए LLM को भेजने से पहले ट्रांसक्रिप्ट redact करें, और कच्चा ऑडियो सिर्फ़ उतनी देर रखें जितना ज़रूरी हो। हमारी कॉल सेंटर ट्रांसक्रिप्शन पाइपलाइन ट्रांसक्रिप्शन और सारांश के चरणों के बीच redaction दिखाती है।

BroadNet Inference कहाँ फ़िट होता है

BroadNet का प्राइवेसी स्टेटमेंट कहता है कि उसका gateway “keeps no prompts, messages, images, audio, responses or transcripts” (अनुवाद: कोई प्रॉम्प्ट, मैसेज, इमेज, ऑडियो, जवाब या ट्रांसक्रिप्ट नहीं रखता) और वह inference डेटा का इस्तेमाल “to train, fine-tune or evaluate models” (अनुवाद: मॉडल को ट्रेन, फ़ाइन-ट्यून या मूल्यांकन करने के लिए) नहीं करता। यह बिना कंटेंट वाले रिकॉर्ड रखता है, जैसे समय, टोकन गिनती और लागत; पूरी सूची ज़ीरो डेटा रिटेंशन पेज पर है। key को आपके IP पतों तक सीमित किया जा सकता है। ऊपर के उदाहरण में इस्तेमाल हुआ Qwen3.8 27B BroadNet ने अरबी में टेस्ट किया है, जो तब मायने रखता है जब आपके placeholder अरबी टेक्स्ट के अंदर हों।

यह प्रोवाइडर का पक्ष है। यह आपके लिए redact नहीं करता, और आपके लॉग साफ़ नहीं करता। किसी भी प्रोवाइडर के साथ, BroadNet समेत, चरण 1, 2 और 4 आपकी ज़िम्मेदारी रहते हैं। अगर नियंत्रित डेटा के लिए आपको लिखित DPA या subprocessor सूची चाहिए, तो डेटा भेजने से पहले BroadNet से पूछें; स्टेटमेंट कहता है कि subprocessor सूची अनुरोध पर उपलब्ध है।

अक्सर पूछे जाने वाले सवाल

क्या LLM API को PII भेजना सुरक्षित है?

नियंत्रणों के साथ हो सकता है: प्रोवाइडर के साथ कॉन्ट्रैक्ट, साफ़ रिटेंशन और ट्रेनिंग नीति, अनुरोध से पहले न्यूनीकरण और redaction, और आपकी तरफ़ साफ़ लॉग। इनके बिना कच्चा PII भेजने से बचें।

क्या ChatGPT या किसी दूसरे LLM API को भेजने से पहले डेटा redact करना चाहिए?

जो कुछ टास्क को नहीं चाहिए, उसे redact करें। सारांश, वर्गीकरण और ड्राफ़्टिंग में नाम और नंबर आम तौर पर गुणवत्ता घटाए बिना placeholder से बदले जा सकते हैं, और जवाब के बाद बहाल किए जा सकते हैं।

redaction और pseudonymisation में क्या फ़र्क़ है?

Redaction किसी मान को हमेशा के लिए हटा देता है। Pseudonymisation उसे ऐसे placeholder से बदलता है जिसे आप अपने पास रखी key से वापस जोड़ सकते हैं। GDPR के तहत pseudonymised डेटा भी व्यक्तिगत डेटा ही है, इसलिए उसे भी सुरक्षा चाहिए।

क्या ज़ीरो डेटा रिटेंशन का मतलब है कि मैं कुछ भी भेज सकता हूँ?

नहीं। ज़ीरो डेटा रिटेंशन का मतलब है कि प्रोवाइडर अनुरोध के बाद कंटेंट नहीं रखता। डेटा फिर भी आपके सिस्टम से बाहर जाता है और प्रोवाइडर उसे प्रोसेस करता है, इसलिए न्यूनीकरण और क़ानूनी जाँच फिर भी लागू होती हैं।

प्रॉम्प्ट को अपने ही लॉग में आने से कैसे रोकूँ?

अनुरोध ID, मॉडल, टोकन गिनती, लेटेंसी और स्टेटस लॉग करें, मैसेज का कंटेंट कभी नहीं। HTTP क्लाइंट की debug लॉगिंग, ट्रेसिंग SDK और एरर रिपोर्टर जाँचें, जो अक्सर डिफ़ॉल्ट रूप से अनुरोध का body रिकॉर्ड करते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें