Safety Map은 대규모 언어 모델이 민감한 데이터를 어떻게 다루는지에 대한 BroadNet의 조사입니다. 프리프린트 The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling은 2026년 4월 22일 Zenodo에 DOI 10.5281/zenodo.19688433으로 공개되었으며, 저자는 Mohammad Al Zubaidi입니다. BroadNet의 민감 데이터 평가 방법과 짝을 이루는 논문입니다.
아래 내용은 초록과 BroadNet 연구 페이지를 저희가 요약한 것입니다. 판정은 BroadNet의 판정입니다.
조사 범위는 어떻게 되나요?
| 항목 | 범위 |
|---|---|
| 모델 | 독립 연구소 14곳의 모델 39개 |
| 프로브 시나리오 | 7개 |
| 범주 | 자격 증명, 개인정보(PII), 보호 대상 건강 정보(PHI), 금융 계좌 번호, 데이터 유출 방지(DLP) 스캔 |
| 근거 | 다회 실행 평가 약 1,300회에서 나온, 분류된 모델-프로브 조합 135개 이상 |
BroadNet 카탈로그에 따르면 BroadNet은 자체 하드웨어에서 실행한 적 없는 원격 및 API 모델 약 90개를 안전성, 라우팅, 아랍어 테스트 하네스에 돌렸으며, 그 결과가 이 지도에 반영되었습니다.
주요 결과는 무엇인가요?
안전성은 점수 하나가 아니라 표면입니다. 서로 겹치는 세 가지 축에 따라 달라집니다.
- 아키텍처. 논문은 라우팅 설계와 관계없이 자격 증명에서 활성 파라미터 약 24B의 용량 하한을 보고하며, 활성 파라미터가 작은 전문가 혼합 모델이 주된 사례입니다.
- 세대. 같은 모델 계열 안에서도 정렬 품질이 경계를 움직입니다.
- 연구소의 정렬 투자. 유명 연구소의 플래그십이라는 이름이 보장이 되지는 않습니다.
세 가지 중 어느 하나도 단독으로 안전성을 예측하지 못하며, 서로 결합됩니다.
안전성은 범주 사이에서 전이되지 않습니다. 같은 모델이라도 자격 증명과 사회보장번호를 깔끔하게 다룬다고 해서 이름, 건강 기록, 계좌 번호까지 그렇게 다루지는 않았습니다.
출력 채널은 각각 따로 유출합니다. 실무적으로 가장 무게가 큰 결과입니다.
tool_calls.arguments를 채운 실행 73회 중 20회가 도구 호출을 통해 민감한 값을 보냈습니다. 그 실행들의 모델 중에는 출시 당일에 테스트된 Moonshot Kimi K2.6이 있었는데, 논문이 자격 증명, 개인정보, 금융 데이터, DLP에서는 다회 실행 기준으로 안전하다고 평가한 모델입니다.- 제공업체가
reasoning_content를 20자 이상 채운 실행 43회 중 29회는 채팅 답변이 안전, 누락, 잘림으로 평가된 상태에서 추론 안에 민감한 값을 유출했습니다.
가지치기(pruning)는 안전성을 깨뜨릴 수 있습니다. NVIDIA가 신경망 구조 탐색으로 만든 Meta Llama 계열의 가지치기 버전 두 개가 서로 다른 출력 채널을 통해 건강 데이터 안전성을 잃었습니다.
논문은 5단계 순위로 끝납니다. 테스트한 모든 범주에서 일관되게 안전한 최상위 그룹은 Claude Opus 4.7, GPT-5.4와 GPT-5.4-mini, Gemini 3 Flash, Gemini 3.1 Pro입니다. 초록에 따르면 xAI Grok과 Meta Llama의 플래그십은 이 그룹에 들지 못합니다.
내 스택에서는 무엇을 바꿔야 하나요?
- 모든 채널을 필터링하세요. 보이는 답변만 검사하면 도구 호출 인수와 추론 필드를 놓칩니다. 도구 호출이나 추론 모델을 쓴다면 둘 다 검사하세요.
- 범주별로 테스트하세요. 자격 증명 결과가 깨끗하다고 건강 데이터나 급여 데이터에 대해 알 수 있는 것은 없습니다.
- 모델이 업데이트되면 다시 테스트하세요. Kimi K2.6 결과는 출시 당일 모델에서 나왔습니다.
- 가능하면 먼저 가리세요. 모델은 본 적 없는 것을 유출할 수 없습니다. 민감한 데이터 가이드에서 Python으로 플레이스홀더 마스킹을 하는 방법을 보여 줍니다.
LSDF란 무엇인가요?
LSDF(LLM Sensitive Data Firewall)는 BroadNet이 이 두 논문을 바탕으로 만들어 Apache-2.0 오픈소스로 github.com/brntech/lsdf에 공개한 통제 수단입니다. OpenAI 호환 chat completions API용 리버스 프록시로, 클라이언트의 base URL을 LSDF로 지정하면 모델 서버나 제공업체로 전달합니다. BroadNet에 따르면 LSDF는 요청, 응답, 스트리밍 청크, 스트리밍되는 도구 호출 인수, 검색된 컨텍스트, 추론 필드를 검사하고, 트레이스와 로그는 따로 정제합니다.
BroadNet이 자체 코퍼스로 2026년 5월에 수행한 평가는 다음과 같은 재현율(recall)을 보고합니다.
| 탐지기 구성 | 자격 증명 재현 | 임상 PHI | 광범위한 영어 PII |
|---|---|---|---|
| 정규식만 | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF 광범위 PII 탐지기 | 1.000 | 0.944 | 0.685 |
이 수치는 공급업체가 직접 고른 코퍼스로 자사 도구를 평가한 결과입니다. 출발점으로는 유용하며, 저장소에 재현 스크립트가 포함되어 있어 직접 확인할 수 있습니다. LSDF는 BroadNet이 호스팅하지 않는 모델을 포함해 어떤 모델 앞에서도 동작합니다.
한계는 무엇인가요?
이 논문은 동료 심사를 거치지 않은 프리프린트입니다. BroadNet의 책임 있는 공개 정책에 따라 정확한 프롬프트, 자격 증명 형식, 임계값은 공개 버전에서 빠졌으며, 요청하면 모델 제공업체와 연구자에게 공유됩니다. 모델 버전은 빠르게 바뀌므로, 2026년 4월의 판정은 테스트를 대신하는 것이 아니라 테스트해야 할 이유입니다.
