Safety Map 是 BroadNet 关于大语言模型如何处理敏感数据的评测。预印本 The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling(Safety Map:大模型敏感数据处理中哪些能迁移、哪些不能)于 2026 年 4 月 22 日发布在 Zenodo 上,DOI 为 10.5281/zenodo.19688433,作者为 Mohammad Al Zubaidi。它是 BroadNet 敏感数据评测方法的配套论文。
以下是我们对摘要和 BroadNet 研究页面的总结。结论均出自 BroadNet。
这项评测覆盖了哪些内容?
| 维度 | 覆盖范围 |
|---|---|
| 模型 | 39 个,来自 14 家独立实验室 |
| 探针场景 | 7 个 |
| 类别 | 凭据、个人身份信息(PII)、受保护健康信息(PHI)、金融账号、数据防泄漏(DLP)扫描 |
| 证据 | 来自约 1,300 次多轮评测的 135 个以上已分类的“模型 × 探针”组合 |
BroadNet 的模型目录称,它已让约 90 个远程和 API 模型(从未在自家硬件上运行过)通过其安全、路由和阿拉伯语测试框架,这些结果构成了这张地图。
主要发现有哪些?
安全性是一个面,而不是一个分数。 它沿三个相互叠加的维度变化:
- 架构。 论文报告,在凭据类别上,无论采用哪种路由设计,都存在约 24B 激活参数的容量下限,激活参数较少的混合专家模型是主要案例。
- 代际。 对齐质量会在同一模型家族内移动这条边界。
- 实验室在对齐上的投入。 知名实验室的旗舰标签并不是保证。
三者中没有哪一个能单独预测安全性;它们是组合起作用的。
安全性不会在类别之间迁移。 在同一个模型中,能妥善处理凭据和社会安全号码,并不意味着能同样处理姓名、健康记录或账号。
各输出通道独立泄露。 这是最有实际意义的发现:
- 在填写了
tool_calls.arguments的 73 次运行中,有 20 次通过工具调用发送了敏感值。其中一个是发布当天的 Moonshot Kimi K2.6,论文认为该模型在凭据、个人信息、金融数据和 DLP 上的多轮评测在其他方面都是安全的。 - 在服务商为
reasoning_content填入至少 20 个字符的 43 次运行中,有 29 次把敏感值泄露到了思考内容里,而此时聊天回复被评为安全、漏检或被截断。
剪枝可能破坏安全性。 NVIDIA 用神经架构搜索制作的两个相互独立的 Meta Llama 系列剪枝版本,分别通过不同的输出通道破坏了健康数据的安全性。
论文最后给出了一个五档排名。排在最前、在所有测试类别上都一致安全的集群是 Claude Opus 4.7、GPT-5.4 和 GPT-5.4-mini、Gemini 3 Flash 以及 Gemini 3.1 Pro。摘要指出,xAI Grok 和 Meta Llama 的旗舰模型都没有进入这个集群。
你自己的技术栈应该做哪些调整?
- 过滤每一个通道。 只检查可见回复,会漏掉工具调用参数和思考字段。如果你使用工具调用或思考模型,两者都要检查。
- 按类别测试。 凭据测试结果干净,并不能说明健康或薪资数据也安全。
- 模型更新后重新测试。 Kimi K2.6 的结果来自发布当天的模型。
- 能脱敏的先脱敏。 模型无法泄露它从未见过的东西。我们的敏感数据指南演示了如何用 Python 做占位符脱敏。
LSDF 是什么?
LSDF,即 LLM Sensitive Data Firewall(大模型敏感数据防火墙),是 BroadNet 基于这两篇论文构建的管控工具,以 Apache-2.0 协议开源,地址为 github.com/brntech/lsdf。它是面向 OpenAI 兼容 chat completions API 的反向代理:把客户端的 base URL 指向它,它再转发到你的模型服务器或供应商。BroadNet 称,它会检查请求、响应、流式数据块、流式工具调用参数、检索到的上下文和思考字段,并单独对追踪记录和日志做脱敏。
BroadNet 2026 年 5 月在自有语料上的评测报告了以下召回率:
| 检测器组合 | 凭据重放 | 临床 PHI | 广义英文 PII |
|---|---|---|---|
| 仅正则表达式 | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF 广义 PII 检测器 | 1.000 | 0.944 | 0.685 |
这些是厂商在自选语料上为自家工具给出的数字。它们可以作为起点,仓库也附带了重放脚本,方便你自行验证。LSDF 可以部署在任何模型之前,包括 BroadNet 不托管的模型。
有哪些局限?
这篇论文是预印本,未经同行评审。根据 BroadNet 的负责任发布政策,确切的提示词、凭据格式和阈值不在公开版本中,可应模型提供方和研究人员的请求提供。模型版本更新很快,所以 2026 年 4 月的结论是你应该去测试的理由,而不能代替测试。
