Safety Map は、大規模言語モデルが機密データをどう扱うかについての BroadNet の調査です。プレプリント The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling(Safety Map:LLM の機密データの扱いで、何が移転し何が移転しないか)は、2026 年 4 月 22 日に Zenodo で DOI 10.5281/zenodo.19688433 として公開され、著者は Mohammad Al Zubaidi です。BroadNet の機密データ評価手法の姉妹編にあたります。
以下は、要旨と BroadNet の研究ページを私たちがまとめたものです。判定はすべて BroadNet によるものです。
調査の対象は?
| 項目 | 対象範囲 |
|---|---|
| モデル | 39、独立した 14 のラボから |
| プローブシナリオ | 7 |
| カテゴリー | 認証情報、個人を特定できる情報(PII)、保護対象医療情報(PHI)、金融口座番号、データ損失防止(DLP)スキャン |
| 根拠 | 約 1,300 回の複数回評価から得た、135 以上の分類済みのモデルとプローブの組み合わせ |
BroadNet のカタログによると、自社ハードウェアでは一度も動かしていないリモートおよび API モデル約 90 個を、安全性、ルーティング、アラビア語のテストハーネスにかけており、その結果がこのマップの元になっています。
主な知見は?
安全性は 1 つのスコアではなく、面です。 積み重なる 3 つの軸に沿って変わります。
- アーキテクチャ。 論文は、ルーティング設計を問わず、認証情報について約 24B のアクティブパラメーターという容量の下限を報告しており、アクティブパラメーターが少ない Mixture of Experts モデルが主なケースです。
- 世代。 アライメントの質によって、同じモデルファミリー内でも境界が動きます。
- ラボのアライメントへの投資。 有名なラボのフラッグシップという肩書きは保証になりません。
3 つのどれも単独では安全性を予測できず、組み合わさって効きます。
安全性はカテゴリー間で移転しません。 同じモデルでも、認証情報や社会保障番号をきちんと扱えたからといって、名前、診療記録、口座番号も同様に扱えるとは限りませんでした。
出力チャネルはそれぞれ独立に漏えいします。 実務上最も重い知見です。
tool_calls.argumentsを埋めた 73 回のうち 20 回が、ツール呼び出しを通じて機密値を送りました。それらの実行に使われたモデルの中に、リリース当日にテストされた Moonshot Kimi K2.6 があり、論文はこのモデルを、それ以外の点では認証情報、PII、金融データ、DLP で複数回評価において安全と評価しています。- プロバイダーが
reasoning_contentに 20 文字以上を入れた 43 回のうち 29 回で、チャットの返答が安全、見逃し、または途中切れと評価された一方で、推論に機密値が漏れていました。
枝刈りで安全性が壊れることがあります。 NVIDIA がニューラルアーキテクチャサーチで作成した、Meta の Llama 系の独立した 2 つの枝刈り版は、それぞれ別の出力チャネルを通じて医療データの安全性が崩れました。
論文は最後に 5 段階のランキングを示しています。テストしたすべてのカテゴリーで一様に安全な最上位クラスターは、Claude Opus 4.7、GPT-5.4 と GPT-5.4-mini、Gemini 3 Flash、Gemini 3.1 Pro です。要旨によると、xAI Grok と Meta Llama のフラッグシップはこのクラスターに入っていません。
自分のスタックで何を変えるべきですか?
- すべてのチャネルをフィルタリングする。 見える返答だけをチェックすると、ツール呼び出しの引数や推論フィールドを見逃します。ツール呼び出しや推論モデルを使うなら、両方を検査してください。
- カテゴリーごとにテストする。 認証情報で問題がなかったとしても、医療データや給与データについては何も分かりません。
- モデルの更新時に再テストする。 Kimi K2.6 の結果は、リリース当日のモデルによるものでした。
- できるところは先にマスキングする。 モデルは見ていないものを漏らせません。機密データのガイドで、Python でのプレースホルダーによるマスキングを紹介しています。
LSDF とは?
LSDF(LLM Sensitive Data Firewall、LLM 機密データファイアウォール)は、BroadNet がこの 2 本の論文をもとに作った制御ツールで、Apache-2.0 のオープンソースとして github.com/brntech/lsdf で公開されています。OpenAI 互換の chat completions API 用のリバースプロキシで、クライアントのベース URL をこれに向けると、モデルサーバーやプロバイダーに転送します。BroadNet によると、リクエスト、レスポンス、ストリーミングのチャンク、ストリーミングされるツール呼び出しの引数、検索で取得したコンテキスト、推論フィールドを検査し、トレースとログは別途サニタイズします。
BroadNet が 2026 年 5 月に自社のコーパスで評価した再現率は次のとおりです。
| 検出器の構成 | 認証情報のリプレイ | 臨床 PHI | 広範な英語 PII |
|---|---|---|---|
| 正規表現のみ | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF の広範 PII 検出器 | 1.000 | 0.944 | 0.685 |
これはベンダーが自社ツールについて、自ら選んだコーパスで出した数字です。出発点としては有用で、リポジトリにはリプレイが同梱されているので確認できます。LSDF は BroadNet がホストしていないモデルを含め、どのモデルの前にも置けます。
限界は?
この論文はプレプリントで、査読は経ていません。BroadNet の責任ある公開ポリシーにより、正確なプロンプト、認証情報の形式、しきい値は公開版から除かれており、モデル提供者や研究者には依頼に応じて共有されます。モデルのバージョンは急速に変わるので、2026 年 4 月の判定はテストする理由であって、テストの代わりにはなりません。
