고객 지원 봇은 이름과 주문 번호가 담긴 불만 사항을 읽습니다. 콜센터 파이프라인은 카드 번호가 들어간 녹취록을 보냅니다. 건강 앱은 증상을 보냅니다. 모두 모델에 유용하며, 서버를 떠나는 순간 모두 민감한 데이터입니다.
OWASP는 2025년 LLM 애플리케이션 Top 10에서 민감 정보 노출을 LLM02로 꼽습니다. 대부분의 가이드는 모델이 무엇을 드러낼 수 있는지에 집중합니다. 이 글은 직접 통제할 수 있는 부분, 즉 무엇을 보내고 무엇을 남기는지에 집중합니다.
LLM API에서 민감한 데이터란 무엇인가요?
프롬프트를 쓰기 전에 필드를 세 가지로 나누세요.
| 분류 | 예 | 기본 규칙 |
|---|---|---|
| 직접 식별자 | 이름, 이메일, 전화번호, 국가 신분증 번호, 계좌 번호 | 플레이스홀더로 대체 |
| 특수 또는 규제 대상 | 건강, 생체 정보, 종교, 카드 번호, 자격 증명 | 작업에 꼭 필요하고 법적 근거가 있을 때만 전송 |
| 맥락 | 제품명, 문의 유형, 날짜, 금액 | 대개 보내도 무방 |
GDPR에서 특수 범주(제9조)는 처리 자체를 하기 전에 특정 요건이 필요합니다. 카드 데이터와 비밀번호나 API 키 같은 비밀 정보는 절대 프롬프트에 들어가서는 안 됩니다.
1단계: 작업에 실제로 필요한 필드는 무엇인가요?
가장 좋은 마스킹은 그 필드를 아예 보내지 않는 것입니다. 작업에 무엇이 필요한지 물어보세요.
- 티켓 요약? 모델에게 필요한 것은 불만 내용이지 고객 주소가 아닙니다.
- 의도 분류? 메시지 본문이 필요하지 계정 ID가 아닙니다.
- 답장 초안? 많아야 이름 정도가 필요하며, 플레이스홀더로도 충분합니다.
레코드 전체를 JSON으로 통째로 넣지 말고, 선택한 필드로 프롬프트를 만드세요. 이렇게 하면 입력 토큰도 줄어 비용이 절약됩니다.
2단계: 모델이 문장을 여전히 이해하도록 마스킹하려면?
각 값을 종류와 번호가 붙은 플레이스홀더로 바꾸세요. 모델은 문장 구조를 그대로 유지하고, 우리 코드가 나중에 값을 복원합니다.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
정규식은 구조화된 값을 잡아냅니다. 이름과 주소에는 개체명 인식이 필요합니다. Microsoft Presidio 같은 오픈소스 도구는 패턴, 체크섬, 개체명 모델을 결합하며, 자체 인식기를 추가할 수 있습니다. 어떤 탐지기든 자체 데이터로 테스트하세요. 아랍어 이름, 걸프 지역 전화번호 형식, 여러 문자 체계가 섞인 텍스트는 범용 탐지기가 놓치는 부분입니다.
마스킹을 직접 작성하기보다 프록시를 쓰고 싶다면, BroadNet이 오픈소스로 공개한 것이 있습니다. Apache-2.0 라이선스의 LLM Sensitive Data Firewall(LSDF)입니다. BroadNet이 호스팅하지 않는 모델을 포함해 모든 OpenAI 호환 엔드포인트 앞에 둘 수 있으며, BroadNet에 따르면 요청, 응답, 스트리밍 청크, 스트리밍되는 도구 호출 인자, 검색된 컨텍스트, 추론 필드를 검사하고, 트레이스와 로그를 위한 별도의 정제기도 있습니다. BroadNet이 자체 코퍼스로 진행한 2026년 5월 평가에서, 광범위 PII 탐지기의 재현율은 40건의 자격 증명 재현 테스트에서 1.000, 합성 임상 데이터에서 0.944, 광범위한 영어 PII에서 0.685였고, Microsoft Presidio 단독으로는 각각 0.194, 0.056, 0.326이었습니다(BroadNet의 글). 이는 BroadNet이 자사 도구에 대해 낸 수치입니다. 무언가를 차단하도록 적용하기 전에 monitor 프로필로 실제 트래픽에서 먼저 돌려 보세요.
플레이스홀더에 관한 두 가지 규칙:
- 한 대화 안에서는 일관되게 유지하세요.
[NAME_1]은 모든 턴에서 같은 사람이어야 합니다. - 위의 시스템 프롬프트처럼 모델에게 그대로 유지하라고 지시하세요.
3단계: 제공업체에서 데이터는 어떻게 되나요?
마스킹은 밖으로 나가는 것을 줄입니다. 그다음 일은 제공업체가 결정합니다. 다음을 물어보세요.
- 요청 후 내용이 저장되나요? 얼마나 오래 저장되나요?
- 학습에 사용되나요? 기본값은 무엇인가요?
- 하드웨어는 누가, 어디에서 운영하나요?
제공업체마다 답이 크게 다릅니다. 다섯 곳의 공식 문구는 LLM API 데이터 보관 정책 비교에서, 기술적인 질문은 ZDR 체크리스트에서, 계약 쪽은 GDPR 체크리스트에서 확인하세요.
4단계: 프롬프트가 자체 로그에 남지 않게 하려면?
프롬프트가 가장 자주 남는 곳은 우리 자신의 스택입니다. 흔한 유출 경로는 다음과 같습니다.
- 요청 본문을 출력하는 HTTP 클라이언트 디버그 로깅.
- 기본적으로 전체 프롬프트를 기록하는 트레이싱 및 관측성 SDK.
- 실패한 요청 페이로드를 첨부하는 오류 보고 도구.
- 사용자 메시지를 포함하는 분석 이벤트.
- 요청 전체를 저장하는 재시도 큐와 데드레터 큐.
대신 이것을 기록하세요. 요청 ID, 모델, 프롬프트와 완성 토큰 수, 지연 시간, 상태 코드, 그리고 자체 마스킹 매핑 ID(매핑 자체는 절대 아님)입니다. 비용과 오류를 디버깅하기에는 이것으로 충분합니다. 사용량 로깅 글에는 정확히 이 필드들을 기록하고 호출당 비용을 계산하는 래퍼가 있습니다.
5단계: API까지 가는 경로는 어떻게 보호하나요?
- 키는 서버에만 두고, 브라우저나 모바일 코드에는 절대 넣지 마세요. 보관과 교체는 LLM API 키 보안에서 다룹니다.
- IP 허용 목록으로 키를 자체 송신 주소에 묶으세요.
- 서비스마다 API 키를 하나씩 쓰세요. 그래야 전체를 멈추지 않고 하나만 폐기할 수 있습니다.
6단계: 응답에서는 무엇을 확인해야 하나요?
마스킹은 요청을 보호합니다. 응답도 확인이 필요합니다. 모델이 값을 그대로 되풀이하거나, 추측하거나, 재구성할 수 있기 때문입니다.
- 플레이스홀더 무결성.
restore()후에 매핑에 없던[PHONE_3]같은 토큰이 남아 있는지 보세요. 모델이 하나를 지어냈다는 뜻입니다. - 출력의 새로운 개인정보. 응답에도 같은 탐지기를 돌리세요. 보낸 적 없는 이메일 주소가 들어간 답장은 고객에게 가기 전에 다시 살펴볼 가치가 있습니다.
- 사용자 간 유출. 응답을 캐시하거나 대화 상태를 공유한다면, 한 사용자의 복원된 값이 다른 사용자의 답장에 절대 나타나지 않도록 하세요.
채팅 답장만이 아니라 모든 출력 채널을 확인하세요. BroadNet의 Safety Map 연구에 따르면, 눈에 보이는 답장은 안전, 누락 또는 잘림으로 평가되었는데도 민감한 값이 도구 호출 인자로는 그 인자를 채운 73회 실행 중 20회에서, 추론 필드로는 그 필드를 채운 43회 실행 중 29회에서 새어 나갔습니다.
프롬프트, 모델, 탐지기를 바꿀 때마다 실제 민감한 예시 50개로 된 고정 세트로 전체 흐름을 테스트하세요. 잡아낸 값만이 아니라 놓친 값을 세세요. 카드 번호 하나를 놓친 것이 올바른 플레이스홀더 백 개보다 더 중요합니다.
민감한 음성도 똑같이 다뤄야 하나요?
음성 메모 하나는 10초 안에 이름, 전화번호, 건강 정보를 담을 수 있습니다. 녹취록은 이 모든 것을 그대로 물려받습니다. 요약을 위해 LLM에 보내기 전에 녹취록을 마스킹하고, 원본 오디오는 꼭 필요한 기간만 보관하세요. 콜센터 전사 파이프라인은 전사 단계와 요약 단계 사이에서 마스킹하는 방법을 보여 줍니다.
BroadNet Inference의 역할
BroadNet의 개인정보 처리 방침에 따르면 게이트웨이는 “keeps no prompts, messages, images, audio, responses or transcripts”(번역: 프롬프트, 메시지, 이미지, 오디오, 응답, 녹취록을 보관하지 않음)이며, 추론 데이터를 “to train, fine-tune or evaluate models”(번역: 모델을 학습, 파인튜닝, 평가하는 데) 사용하지 않습니다. 소요 시간, 토큰 수, 비용 같은 내용 없는 기록은 남기며, 전체 목록은 데이터 비보관 페이지에 있습니다. 키는 자체 IP 주소로 제한할 수 있습니다. 위 예시에서 쓴 Qwen3.8 27B는 BroadNet이 아랍어로 테스트했으며, 플레이스홀더가 아랍어 텍스트 안에 들어갈 때 이 점이 중요합니다.
여기까지가 제공업체 쪽입니다. 마스킹을 대신해 주지도, 로그를 정리해 주지도 않습니다. 1, 2, 4단계는 BroadNet을 포함해 어떤 제공업체를 쓰든 우리의 몫입니다. 규제 대상 데이터에 서면 DPA나 하위 처리자 목록이 필요하다면 보내기 전에 BroadNet에 문의하세요. 방침에 따르면 하위 처리자 목록은 요청 시 제공됩니다.

