---
title: "Safety Map：39 个大模型的敏感数据泄露评测（BroadNet） | BroadRouter"
description: "BroadNet 评测了来自 14 家实验室的 39 个大模型对凭据、个人信息、健康和金融数据的处理：哪些安全能力可以迁移、哪些不能，以及工具调用和思考过程中的泄露。"
url: https://broadrouter.com/zh/blog/llm-safety-map-39-models/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/llm-safety-map-39-models/)（2026-11-16 更新）。

# Safety Map：39 个大模型如何处理敏感数据

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

Safety Map 是 BroadNet 于 2026 年 4 月发布的预印本（DOI 10.5281/zenodo.19688433）。它用 7 个探针，在凭据、个人信息、健康数据、账号和 DLP 扫描等类别上测试了 14 家实验室的 39 个模型，共约 1,300 次多轮评测。安全性在类别之间、输出通道之间都不能迁移：填写了工具调用参数的 73 次运行中，有 20 次通过参数泄露了数据。

## 要点

-   Zenodo 预印本，DOI 10.5281/zenodo.19688433，2026 年 4 月 22 日，CC BY 4.0。未经同行评审。
-   39 个模型、14 家实验室、7 个探针场景、5 个敏感数据类别，约 1,300 次多轮评测。
-   三个维度相互叠加：架构、模型代际和实验室在对齐上的投入。任何一个单独都无法预测安全性。
-   各输出通道独立泄露：73 次工具调用运行中有 20 次、43 次思考内容运行中有 29 次携带了敏感值。
-   BroadNet 把研究结果做成了 LSDF，一个面向 OpenAI 兼容流量的开源（Apache-2.0）防火墙。

**本页内容**

1.  这项评测覆盖了哪些内容？
2.  主要发现有哪些？
3.  你自己的技术栈应该做哪些调整？
4.  LSDF 是什么？
5.  有哪些局限？

Safety Map 是 BroadNet 关于大语言模型如何处理敏感数据的评测。预印本 _The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling_（Safety Map：大模型敏感数据处理中哪些能迁移、哪些不能）于 2026 年 4 月 22 日发布在 Zenodo 上，DOI 为 [10.5281/zenodo.19688433](https://doi.org/10.5281/zenodo.19688433)，作者为 Mohammad Al Zubaidi。它是 BroadNet [敏感数据评测方法](https://broadrouter.com/zh/blog/llm-sensitive-data-safety-evaluation-method/)的配套论文。

以下是我们对摘要和 BroadNet 研究页面的总结。结论均出自 BroadNet。

## 这项评测覆盖了哪些内容？

| 维度 | 覆盖范围 |
| --- | --- |
| 模型 | 39 个，来自 14 家独立实验室 |
| 探针场景 | 7 个 |
| 类别 | 凭据、个人身份信息（PII）、受保护健康信息（PHI）、金融账号、数据防泄漏（DLP）扫描 |
| 证据 | 来自约 1,300 次多轮评测的 135 个以上已分类的“模型 × 探针”组合 |

BroadNet 的模型目录称，它已让约 90 个远程和 API 模型（从未在自家硬件上运行过）通过其安全、路由和阿拉伯语测试框架，这些结果构成了这张地图。

## 主要发现有哪些？

**安全性是一个面，而不是一个分数。** 它沿三个相互叠加的维度变化：

-   **架构。** 论文报告，在凭据类别上，无论采用哪种路由设计，都存在约 24B 激活参数的容量下限，激活参数较少的混合专家模型是主要案例。
-   **代际。** 对齐质量会在同一模型家族内移动这条边界。
-   **实验室在对齐上的投入。** 知名实验室的旗舰标签并不是保证。

三者中没有哪一个能单独预测安全性；它们是组合起作用的。

**安全性不会在类别之间迁移。** 在同一个模型中，能妥善处理凭据和社会安全号码，并不意味着能同样处理姓名、健康记录或账号。

**各输出通道独立泄露。** 这是最有实际意义的发现：

-   在填写了 `tool_calls.arguments` 的 73 次运行中，有 20 次通过工具调用发送了敏感值。其中一个是发布当天的 Moonshot Kimi K2.6，论文认为该模型在凭据、个人信息、金融数据和 DLP 上的多轮评测在其他方面都是安全的。
-   在服务商为 `reasoning_content` 填入至少 20 个字符的 43 次运行中，有 29 次把敏感值泄露到了思考内容里，而此时聊天回复被评为安全、漏检或被截断。

**剪枝可能破坏安全性。** NVIDIA 用神经架构搜索制作的两个相互独立的 Meta Llama 系列剪枝版本，分别通过不同的输出通道破坏了健康数据的安全性。

论文最后给出了一个五档排名。排在最前、在所有测试类别上都一致安全的集群是 Claude Opus 4.7、GPT-5.4 和 GPT-5.4-mini、Gemini 3 Flash 以及 Gemini 3.1 Pro。摘要指出，xAI Grok 和 Meta Llama 的旗舰模型都没有进入这个集群。

## 你自己的技术栈应该做哪些调整？

1.  **过滤每一个通道。** 只检查可见回复，会漏掉工具调用参数和思考字段。如果你使用[工具调用](https://broadrouter.com/zh/glossary/tool-calling/)或思考模型，两者都要检查。
2.  **按类别测试。** 凭据测试结果干净，并不能说明健康或薪资数据也安全。
3.  **模型更新后重新测试。** Kimi K2.6 的结果来自发布当天的模型。
4.  **能脱敏的先脱敏。** 模型无法泄露它从未见过的东西。我们的[敏感数据指南](https://broadrouter.com/zh/blog/llm-api-sensitive-data/)演示了如何用 Python 做占位符脱敏。

## LSDF 是什么？

LSDF，即 LLM Sensitive Data Firewall（大模型敏感数据防火墙），是 BroadNet 基于这两篇论文构建的管控工具，以 Apache-2.0 协议开源，地址为 [github.com/brntech/lsdf](https://github.com/brntech/lsdf)。它是面向 OpenAI 兼容 chat completions API 的反向代理：把客户端的 base URL 指向它，它再转发到你的模型服务器或供应商。BroadNet 称，它会检查请求、响应、流式数据块、流式工具调用参数、检索到的上下文和思考字段，并单独对追踪记录和日志做脱敏。

BroadNet 2026 年 5 月在自有语料上的评测报告了以下召回率：

| 检测器组合 | 凭据重放 | 临床 PHI | 广义英文 PII |
| --- | --- | --- | --- |
| 仅正则表达式 | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF 广义 PII 检测器 | 1.000 | 0.944 | 0.685 |

这些是厂商在自选语料上为自家工具给出的数字。它们可以作为起点，仓库也附带了重放脚本，方便你自行验证。LSDF 可以部署在任何模型之前，包括 BroadNet 不托管的模型。

## 有哪些局限？

这篇论文是预印本，未经同行评审。根据 BroadNet 的负责任发布政策，确切的提示词、凭据格式和阈值不在公开版本中，可应模型提供方和研究人员的请求提供。模型版本更新很快，所以 2026 年 4 月的结论是你应该去测试的理由，而不能代替测试。

相关免费工具（英文）

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[个人身份信息（PII）](https://broadrouter.com/zh/glossary/pii/)

个人身份信息（PII）是可用于区分或追溯个人身份的信息，例如姓名、身份证号或生物特征记录，以及与该人关联或可关联的其他信息。GDPR 用的是更宽泛的“个人数据”。在大模型应用中，PII 脱敏会在提示词离开你的系统之前将其移除。

[混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/)

混合专家模型（MoE）是一种神经网络设计：一层中包含许多专家子网络，由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大，但每个 token 只使用一小部分激活参数。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[模型许可证（model license）](https://broadrouter.com/zh/glossary/model-license/)

模型许可证是规定模型权重、代码和输出可以如何使用、修改和分发的法律条款。开放权重模型采用 Apache 2.0、MIT 等标准软件许可证，或采用自定义模型许可证，后者可能附加条件，例如限制大型商业服务。

## 常见问题

### Safety Map 里哪些模型表现最好？

摘要把一个前沿对齐集群排在最前，它们在所有测试类别上都一致安全：Claude Opus 4.7、GPT-5.4 和 GPT-5.4-mini、Gemini 3 Flash 以及 Gemini 3.1 Pro。Claude Sonnet 4.6 紧随其后，15 次运行中有一次仅涉及出生日期的健康数据泄露。

### 从不泄露 API 密钥的模型，处理患者数据就安全吗？

不一定。论文发现安全性按类别分离：一个能保护凭据、社会安全号码和数据库密码的模型，仍可能在每次运行中都说出薪资文件里的员工姓名。

### 为什么工具调用很重要？

因为很多过滤器只检查聊天回复。在模型填写了工具调用参数的 73 次运行中，有 20 次通过这个通道发送了敏感值，其中包括一个在其他方面多轮评测都安全的模型。

### 小型混合专家模型更容易泄露吗？

论文报告，在凭据类别上存在约 24B 激活参数的容量下限，主要体现在激活参数较少的混合专家（MoE）设计上。BroadNet 面向从业者的文章说，它尚未发现哪个激活参数低于 24B 的 MoE 模型在其结构化数据探针上不泄露。

### BroadNet Inference 上的模型在 Safety Map 里吗？

摘要没有列出这些模型各自的结论，而且这篇预印本发布于 2026 年 4 月，之后发布的模型不可能包含在内。Gemma 4 VL 26B 约有 4B 激活参数，所以如果它会接触到凭据或个人数据，请用你自己的敏感数据探针测试，或者在发送前脱敏。

## 继续阅读

-   [如何测试大模型的敏感数据安全：BroadNet 的方法](https://broadrouter.com/zh/blog/llm-sensitive-data-safety-evaluation-method/)
-   [把敏感数据发给大模型 API：脱敏、最小化、少记日志](https://broadrouter.com/zh/blog/llm-api-sensitive-data/)
-   [开源模型的工具调用：schema、并行调用与重试](https://broadrouter.com/zh/blog/tool-calling-open-models/)
-   [思考 token：为什么你付费的输出比看到的多](https://broadrouter.com/zh/blog/reasoning-tokens-cost/)
-   [埃及数据保护法（2020 年第 151 号法律）与大模型 API](https://broadrouter.com/zh/blog/egypt-data-protection-law-llm-api/)
-   [沙特与阿联酋 PDPL 和大模型 API：数据跨境检查清单](https://broadrouter.com/zh/blog/saudi-uae-pdpl-llm-api-checklist/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-safety-map-39-models&utm_content=page-cta) ·

**来源**

-   [Al Zubaidi，The Safety Map: What Does and Doesn't Transfer in LLM Sensitive-Data Handling，Zenodo 预印本，2026-04-22（记录于 2026-11-15 获取）](https://doi.org/10.5281/zenodo.19688433)
-   [BroadNet Research：Safety Map 主要发现（2026-11-15 获取）（英文）](https://www.broadnet.ai/research)
-   [BroadNet 博客，The firewall behind our LLM safety research is now open source（2026 年 9 月 9 日；2026-11-15 获取）（英文）](https://www.broadnet.ai/blog/open-source-sensitive-data-firewall)
-   [LSDF 代码仓库，Apache-2.0（2026-11-15 获取）](https://github.com/brntech/lsdf)
-   [BroadNet 模型目录：已评测的远程和 API 模型（2026-11-15 获取）（英文）](https://www.broadnet.ai/inference/models)
