BroadRouter
시작하기

LLM API에 민감한 데이터 보내기: 가리고, 줄이고, 덜 기록하기

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

LLM API에 민감한 데이터를 보내려면 먼저 작업에 필요한 필드를 정하고 나머지는 빼세요. 이름, 번호, ID는 요청 전에 되돌릴 수 있는 플레이스홀더로 바꾸고, 응답 후 자체 코드에서 복원하세요. 데이터 비보관을 제공하는 업체를 쓰고, 프롬프트 내용은 자체 로그에 남기지 말며, API 키는 자체 서버에서만 쓰도록 묶어 두세요.

The word "PRIVATE" in bold letters, with the text "Control what AI sees." and "LSDF by BroadNet".

고객 지원 봇은 이름과 주문 번호가 담긴 불만 사항을 읽습니다. 콜센터 파이프라인은 카드 번호가 들어간 녹취록을 보냅니다. 건강 앱은 증상을 보냅니다. 모두 모델에 유용하며, 서버를 떠나는 순간 모두 민감한 데이터입니다.

OWASP는 2025년 LLM 애플리케이션 Top 10에서 민감 정보 노출을 LLM02로 꼽습니다. 대부분의 가이드는 모델이 무엇을 드러낼 수 있는지에 집중합니다. 이 글은 직접 통제할 수 있는 부분, 즉 무엇을 보내고 무엇을 남기는지에 집중합니다.

LLM API에서 민감한 데이터란 무엇인가요?

프롬프트를 쓰기 전에 필드를 세 가지로 나누세요.

분류 예 기본 규칙
직접 식별자 이름, 이메일, 전화번호, 국가 신분증 번호, 계좌 번호 플레이스홀더로 대체
특수 또는 규제 대상 건강, 생체 정보, 종교, 카드 번호, 자격 증명 작업에 꼭 필요하고 법적 근거가 있을 때만 전송
맥락 제품명, 문의 유형, 날짜, 금액 대개 보내도 무방

GDPR에서 특수 범주(제9조)는 처리 자체를 하기 전에 특정 요건이 필요합니다. 카드 데이터와 비밀번호나 API 키 같은 비밀 정보는 절대 프롬프트에 들어가서는 안 됩니다.

1단계: 작업에 실제로 필요한 필드는 무엇인가요?

가장 좋은 마스킹은 그 필드를 아예 보내지 않는 것입니다. 작업에 무엇이 필요한지 물어보세요.

  1. 티켓 요약? 모델에게 필요한 것은 불만 내용이지 고객 주소가 아닙니다.
  2. 의도 분류? 메시지 본문이 필요하지 계정 ID가 아닙니다.
  3. 답장 초안? 많아야 이름 정도가 필요하며, 플레이스홀더로도 충분합니다.

레코드 전체를 JSON으로 통째로 넣지 말고, 선택한 필드로 프롬프트를 만드세요. 이렇게 하면 입력 토큰도 줄어 비용이 절약됩니다.

2단계: 모델이 문장을 여전히 이해하도록 마스킹하려면?

각 값을 종류와 번호가 붙은 플레이스홀더로 바꾸세요. 모델은 문장 구조를 그대로 유지하고, 우리 코드가 나중에 값을 복원합니다.

import os, re
from openai import OpenAI

PATTERNS = {   # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
    "EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
    "IBAN":  r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
    "PHONE": r"\+?\d[\d\s-]{7,}\d",
}

def redact(text):
    mapping, n = {}, {}
    for kind, pat in PATTERNS.items():
        def sub(m):
            n[kind] = n.get(kind, 0) + 1
            key = f"[{kind}_{n[kind]}]"
            mapping[key] = m.group(0)
            return key
        text = re.sub(pat, sub, text)
    return text, mapping

def restore(text, mapping):
    for key, value in mapping.items():
        text = text.replace(key, value)
    return text

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.

ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    messages=[
        {"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
        {"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
    ],
).choices[0].message.content
print(restore(reply, mapping))   # the mapping never left your server

정규식은 구조화된 값을 잡아냅니다. 이름과 주소에는 개체명 인식이 필요합니다. Microsoft Presidio 같은 오픈소스 도구는 패턴, 체크섬, 개체명 모델을 결합하며, 자체 인식기를 추가할 수 있습니다. 어떤 탐지기든 자체 데이터로 테스트하세요. 아랍어 이름, 걸프 지역 전화번호 형식, 여러 문자 체계가 섞인 텍스트는 범용 탐지기가 놓치는 부분입니다.

마스킹을 직접 작성하기보다 프록시를 쓰고 싶다면, BroadNet이 오픈소스로 공개한 것이 있습니다. Apache-2.0 라이선스의 LLM Sensitive Data Firewall(LSDF)입니다. BroadNet이 호스팅하지 않는 모델을 포함해 모든 OpenAI 호환 엔드포인트 앞에 둘 수 있으며, BroadNet에 따르면 요청, 응답, 스트리밍 청크, 스트리밍되는 도구 호출 인자, 검색된 컨텍스트, 추론 필드를 검사하고, 트레이스와 로그를 위한 별도의 정제기도 있습니다. BroadNet이 자체 코퍼스로 진행한 2026년 5월 평가에서, 광범위 PII 탐지기의 재현율은 40건의 자격 증명 재현 테스트에서 1.000, 합성 임상 데이터에서 0.944, 광범위한 영어 PII에서 0.685였고, Microsoft Presidio 단독으로는 각각 0.194, 0.056, 0.326이었습니다(BroadNet의 글). 이는 BroadNet이 자사 도구에 대해 낸 수치입니다. 무언가를 차단하도록 적용하기 전에 monitor 프로필로 실제 트래픽에서 먼저 돌려 보세요.

플레이스홀더에 관한 두 가지 규칙:

  • 한 대화 안에서는 일관되게 유지하세요. [NAME_1]은 모든 턴에서 같은 사람이어야 합니다.
  • 위의 시스템 프롬프트처럼 모델에게 그대로 유지하라고 지시하세요.

3단계: 제공업체에서 데이터는 어떻게 되나요?

마스킹은 밖으로 나가는 것을 줄입니다. 그다음 일은 제공업체가 결정합니다. 다음을 물어보세요.

  • 요청 후 내용이 저장되나요? 얼마나 오래 저장되나요?
  • 학습에 사용되나요? 기본값은 무엇인가요?
  • 하드웨어는 누가, 어디에서 운영하나요?

제공업체마다 답이 크게 다릅니다. 다섯 곳의 공식 문구는 LLM API 데이터 보관 정책 비교에서, 기술적인 질문은 ZDR 체크리스트에서, 계약 쪽은 GDPR 체크리스트에서 확인하세요.

4단계: 프롬프트가 자체 로그에 남지 않게 하려면?

프롬프트가 가장 자주 남는 곳은 우리 자신의 스택입니다. 흔한 유출 경로는 다음과 같습니다.

  • 요청 본문을 출력하는 HTTP 클라이언트 디버그 로깅.
  • 기본적으로 전체 프롬프트를 기록하는 트레이싱 및 관측성 SDK.
  • 실패한 요청 페이로드를 첨부하는 오류 보고 도구.
  • 사용자 메시지를 포함하는 분석 이벤트.
  • 요청 전체를 저장하는 재시도 큐와 데드레터 큐.

대신 이것을 기록하세요. 요청 ID, 모델, 프롬프트와 완성 토큰 수, 지연 시간, 상태 코드, 그리고 자체 마스킹 매핑 ID(매핑 자체는 절대 아님)입니다. 비용과 오류를 디버깅하기에는 이것으로 충분합니다. 사용량 로깅 글에는 정확히 이 필드들을 기록하고 호출당 비용을 계산하는 래퍼가 있습니다.

5단계: API까지 가는 경로는 어떻게 보호하나요?

  • 키는 서버에만 두고, 브라우저나 모바일 코드에는 절대 넣지 마세요. 보관과 교체는 LLM API 키 보안에서 다룹니다.
  • IP 허용 목록으로 키를 자체 송신 주소에 묶으세요.
  • 서비스마다 API 키를 하나씩 쓰세요. 그래야 전체를 멈추지 않고 하나만 폐기할 수 있습니다.

6단계: 응답에서는 무엇을 확인해야 하나요?

마스킹은 요청을 보호합니다. 응답도 확인이 필요합니다. 모델이 값을 그대로 되풀이하거나, 추측하거나, 재구성할 수 있기 때문입니다.

  • 플레이스홀더 무결성. restore() 후에 매핑에 없던 [PHONE_3] 같은 토큰이 남아 있는지 보세요. 모델이 하나를 지어냈다는 뜻입니다.
  • 출력의 새로운 개인정보. 응답에도 같은 탐지기를 돌리세요. 보낸 적 없는 이메일 주소가 들어간 답장은 고객에게 가기 전에 다시 살펴볼 가치가 있습니다.
  • 사용자 간 유출. 응답을 캐시하거나 대화 상태를 공유한다면, 한 사용자의 복원된 값이 다른 사용자의 답장에 절대 나타나지 않도록 하세요.

채팅 답장만이 아니라 모든 출력 채널을 확인하세요. BroadNet의 Safety Map 연구에 따르면, 눈에 보이는 답장은 안전, 누락 또는 잘림으로 평가되었는데도 민감한 값이 도구 호출 인자로는 그 인자를 채운 73회 실행 중 20회에서, 추론 필드로는 그 필드를 채운 43회 실행 중 29회에서 새어 나갔습니다.

프롬프트, 모델, 탐지기를 바꿀 때마다 실제 민감한 예시 50개로 된 고정 세트로 전체 흐름을 테스트하세요. 잡아낸 값만이 아니라 놓친 값을 세세요. 카드 번호 하나를 놓친 것이 올바른 플레이스홀더 백 개보다 더 중요합니다.

민감한 음성도 똑같이 다뤄야 하나요?

음성 메모 하나는 10초 안에 이름, 전화번호, 건강 정보를 담을 수 있습니다. 녹취록은 이 모든 것을 그대로 물려받습니다. 요약을 위해 LLM에 보내기 전에 녹취록을 마스킹하고, 원본 오디오는 꼭 필요한 기간만 보관하세요. 콜센터 전사 파이프라인은 전사 단계와 요약 단계 사이에서 마스킹하는 방법을 보여 줍니다.

BroadNet Inference의 역할

BroadNet의 개인정보 처리 방침에 따르면 게이트웨이는 “keeps no prompts, messages, images, audio, responses or transcripts”(번역: 프롬프트, 메시지, 이미지, 오디오, 응답, 녹취록을 보관하지 않음)이며, 추론 데이터를 “to train, fine-tune or evaluate models”(번역: 모델을 학습, 파인튜닝, 평가하는 데) 사용하지 않습니다. 소요 시간, 토큰 수, 비용 같은 내용 없는 기록은 남기며, 전체 목록은 데이터 비보관 페이지에 있습니다. 키는 자체 IP 주소로 제한할 수 있습니다. 위 예시에서 쓴 Qwen3.8 27B는 BroadNet이 아랍어로 테스트했으며, 플레이스홀더가 아랍어 텍스트 안에 들어갈 때 이 점이 중요합니다.

여기까지가 제공업체 쪽입니다. 마스킹을 대신해 주지도, 로그를 정리해 주지도 않습니다. 1, 2, 4단계는 BroadNet을 포함해 어떤 제공업체를 쓰든 우리의 몫입니다. 규제 대상 데이터에 서면 DPA나 하위 처리자 목록이 필요하다면 보내기 전에 BroadNet에 문의하세요. 방침에 따르면 하위 처리자 목록은 요청 시 제공됩니다.

자주 묻는 질문

LLM API에 개인정보(PII)를 보내도 안전한가요?

통제 장치가 있다면 그럴 수 있습니다. 제공업체와의 계약, 명확한 보관 및 학습 정책, 요청 전 최소화와 마스킹, 그리고 우리 쪽의 깨끗한 로그가 필요합니다. 이것들이 없다면 원본 개인정보는 보내지 마세요.

ChatGPT나 다른 LLM API에 보내기 전에 데이터를 마스킹해야 하나요?

작업에 필요 없는 것은 모두 가리세요. 요약, 분류, 초안 작성에서는 대개 이름과 번호를 플레이스홀더로 바꿔도 품질이 떨어지지 않으며, 응답 후에 복원하면 됩니다.

마스킹(redaction)과 가명 처리(pseudonymisation)는 어떻게 다른가요?

마스킹은 값을 영구히 제거합니다. 가명 처리는 값을 플레이스홀더로 바꾸고, 직접 보관하는 키로 원래 값에 되짚을 수 있게 합니다. GDPR에서 가명 처리된 데이터는 여전히 개인정보이므로 계속 보호해야 합니다.

데이터 비보관이면 무엇이든 보내도 되나요?

아닙니다. 데이터 비보관은 제공업체가 요청 후 내용을 보관하지 않는다는 뜻입니다. 데이터는 여전히 우리 시스템을 떠나 제공업체가 처리하므로, 최소화와 법적 검토는 여전히 필요합니다.

프롬프트가 자체 로그에 남지 않게 하려면 어떻게 하나요?

요청 ID, 모델, 토큰 수, 지연 시간, 상태를 기록하고 메시지 본문은 절대 기록하지 마세요. HTTP 클라이언트 디버그 로깅, 트레이싱 SDK, 오류 보고 도구를 확인하세요. 이들은 기본적으로 요청 본문을 수집하는 경우가 많습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기