BroadRouter

Safety Map:39 个大模型如何处理敏感数据

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于 · 更新于

Safety Map 是 BroadNet 于 2026 年 4 月发布的预印本(DOI 10.5281/zenodo.19688433)。它用 7 个探针,在凭据、个人信息、健康数据、账号和 DLP 扫描等类别上测试了 14 家实验室的 39 个模型,共约 1,300 次多轮评测。安全性在类别之间、输出通道之间都不能迁移:填写了工具调用参数的 73 次运行中,有 20 次通过参数泄露了数据。

Safety Map 是 BroadNet 关于大语言模型如何处理敏感数据的评测。预印本 The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling(Safety Map:大模型敏感数据处理中哪些能迁移、哪些不能)于 2026 年 4 月 22 日发布在 Zenodo 上,DOI 为 10.5281/zenodo.19688433,作者为 Mohammad Al Zubaidi。它是 BroadNet 敏感数据评测方法的配套论文。

以下是我们对摘要和 BroadNet 研究页面的总结。结论均出自 BroadNet。

这项评测覆盖了哪些内容?

维度 覆盖范围
模型 39 个,来自 14 家独立实验室
探针场景 7 个
类别 凭据、个人身份信息(PII)、受保护健康信息(PHI)、金融账号、数据防泄漏(DLP)扫描
证据 来自约 1,300 次多轮评测的 135 个以上已分类的“模型 × 探针”组合

BroadNet 的模型目录称,它已让约 90 个远程和 API 模型(从未在自家硬件上运行过)通过其安全、路由和阿拉伯语测试框架,这些结果构成了这张地图。

主要发现有哪些?

安全性是一个面,而不是一个分数。 它沿三个相互叠加的维度变化:

  • 架构。 论文报告,在凭据类别上,无论采用哪种路由设计,都存在约 24B 激活参数的容量下限,激活参数较少的混合专家模型是主要案例。
  • 代际。 对齐质量会在同一模型家族内移动这条边界。
  • 实验室在对齐上的投入。 知名实验室的旗舰标签并不是保证。

三者中没有哪一个能单独预测安全性;它们是组合起作用的。

安全性不会在类别之间迁移。 在同一个模型中,能妥善处理凭据和社会安全号码,并不意味着能同样处理姓名、健康记录或账号。

各输出通道独立泄露。 这是最有实际意义的发现:

  • 在填写了 tool_calls.arguments 的 73 次运行中,有 20 次通过工具调用发送了敏感值。其中一个是发布当天的 Moonshot Kimi K2.6,论文认为该模型在凭据、个人信息、金融数据和 DLP 上的多轮评测在其他方面都是安全的。
  • 在服务商为 reasoning_content 填入至少 20 个字符的 43 次运行中,有 29 次把敏感值泄露到了思考内容里,而此时聊天回复被评为安全、漏检或被截断。

剪枝可能破坏安全性。 NVIDIA 用神经架构搜索制作的两个相互独立的 Meta Llama 系列剪枝版本,分别通过不同的输出通道破坏了健康数据的安全性。

论文最后给出了一个五档排名。排在最前、在所有测试类别上都一致安全的集群是 Claude Opus 4.7、GPT-5.4 和 GPT-5.4-mini、Gemini 3 Flash 以及 Gemini 3.1 Pro。摘要指出,xAI Grok 和 Meta Llama 的旗舰模型都没有进入这个集群。

你自己的技术栈应该做哪些调整?

  1. 过滤每一个通道。 只检查可见回复,会漏掉工具调用参数和思考字段。如果你使用工具调用或思考模型,两者都要检查。
  2. 按类别测试。 凭据测试结果干净,并不能说明健康或薪资数据也安全。
  3. 模型更新后重新测试。 Kimi K2.6 的结果来自发布当天的模型。
  4. 能脱敏的先脱敏。 模型无法泄露它从未见过的东西。我们的敏感数据指南演示了如何用 Python 做占位符脱敏。

LSDF 是什么?

LSDF,即 LLM Sensitive Data Firewall(大模型敏感数据防火墙),是 BroadNet 基于这两篇论文构建的管控工具,以 Apache-2.0 协议开源,地址为 github.com/brntech/lsdf。它是面向 OpenAI 兼容 chat completions API 的反向代理:把客户端的 base URL 指向它,它再转发到你的模型服务器或供应商。BroadNet 称,它会检查请求、响应、流式数据块、流式工具调用参数、检索到的上下文和思考字段,并单独对追踪记录和日志做脱敏。

BroadNet 2026 年 5 月在自有语料上的评测报告了以下召回率:

检测器组合 凭据重放 临床 PHI 广义英文 PII
仅正则表达式 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
LSDF 广义 PII 检测器 1.000 0.944 0.685

这些是厂商在自选语料上为自家工具给出的数字。它们可以作为起点,仓库也附带了重放脚本,方便你自行验证。LSDF 可以部署在任何模型之前,包括 BroadNet 不托管的模型。

有哪些局限?

这篇论文是预印本,未经同行评审。根据 BroadNet 的负责任发布政策,确切的提示词、凭据格式和阈值不在公开版本中,可应模型提供方和研究人员的请求提供。模型版本更新很快,所以 2026 年 4 月的结论是你应该去测试的理由,而不能代替测试。

常见问题

Safety Map 里哪些模型表现最好?

摘要把一个前沿对齐集群排在最前,它们在所有测试类别上都一致安全:Claude Opus 4.7、GPT-5.4 和 GPT-5.4-mini、Gemini 3 Flash 以及 Gemini 3.1 Pro。Claude Sonnet 4.6 紧随其后,15 次运行中有一次仅涉及出生日期的健康数据泄露。

从不泄露 API 密钥的模型,处理患者数据就安全吗?

不一定。论文发现安全性按类别分离:一个能保护凭据、社会安全号码和数据库密码的模型,仍可能在每次运行中都说出薪资文件里的员工姓名。

为什么工具调用很重要?

因为很多过滤器只检查聊天回复。在模型填写了工具调用参数的 73 次运行中,有 20 次通过这个通道发送了敏感值,其中包括一个在其他方面多轮评测都安全的模型。

小型混合专家模型更容易泄露吗?

论文报告,在凭据类别上存在约 24B 激活参数的容量下限,主要体现在激活参数较少的混合专家(MoE)设计上。BroadNet 面向从业者的文章说,它尚未发现哪个激活参数低于 24B 的 MoE 模型在其结构化数据探针上不泄露。

BroadNet Inference 上的模型在 Safety Map 里吗?

摘要没有列出这些模型各自的结论,而且这篇预印本发布于 2026 年 4 月,之后发布的模型不可能包含在内。Gemma 4 VL 26B 约有 4B 激活参数,所以如果它会接触到凭据或个人数据,请用你自己的敏感数据探针测试,或者在发送前脱敏。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity