---
title: "Safety Map：39 の LLM と機密データの漏えい（BroadNet） | BroadRouter"
description: "BroadNet は 14 のラボの LLM 39 個を、認証情報、個人情報、医療・金融データで調査しました。移転する安全性としない安全性、ツール呼び出しと推論からの漏えいを解説します。"
url: https://broadrouter.com/ja/blog/llm-safety-map-39-models/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/llm-safety-map-39-models/)（2026-11-16 更新）。

# Safety Map：39 の LLM は機密データをどう扱うか

BroadNet Inference チーム · 約 3 分で読めます · 公開日 2026-11-15 · 更新日 2026-11-16

Safety Map は BroadNet が 2026 年 4 月に公開したプレプリント（DOI 10.5281/zenodo.19688433）です。14 のラボの 39 モデルを、認証情報、個人情報、医療データ、口座番号、DLP にまたがる 7 プローブと約 1,300 回の複数回評価でテストしました。安全性はカテゴリーや出力チャネルの間で移転せず、ツール呼び出しの引数を埋めた 73 回中 20 回はそこから漏えいしました。

## 要点

-   Zenodo のプレプリント、DOI 10.5281/zenodo.19688433、2026 年 4 月 22 日、CC BY 4.0。査読は経ていません。
-   39 モデル、14 のラボ、7 つのプローブシナリオ、5 つの機密データカテゴリー、約 1,300 回の複数回評価。
-   3 つの軸が積み重なります。アーキテクチャ、モデルの世代、ラボのアライメントへの投資です。どれも単独では安全性を予測できません。
-   出力チャネルはそれぞれ独立に漏えいします。ツール呼び出しの 73 回中 20 回、推論の 43 回中 29 回が機密値を含んでいました。
-   BroadNet はこの知見を、OpenAI 互換トラフィック向けのオープンソース（Apache-2.0）のファイアウォール LSDF にしました。

**このページの内容**

1.  調査の対象は？
2.  主な知見は？
3.  自分のスタックで何を変えるべきですか？
4.  LSDF とは？
5.  限界は？

Safety Map は、大規模言語モデルが機密データをどう扱うかについての BroadNet の調査です。プレプリント _The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling_（Safety Map：LLM の機密データの扱いで、何が移転し何が移転しないか）は、2026 年 4 月 22 日に Zenodo で DOI [10.5281/zenodo.19688433](https://doi.org/10.5281/zenodo.19688433) として公開され、著者は Mohammad Al Zubaidi です。BroadNet の[機密データ評価手法](https://broadrouter.com/ja/blog/llm-sensitive-data-safety-evaluation-method/)の姉妹編にあたります。

以下は、要旨と BroadNet の研究ページを私たちがまとめたものです。判定はすべて BroadNet によるものです。

## 調査の対象は？

| 項目 | 対象範囲 |
| --- | --- |
| モデル | 39、独立した 14 のラボから |
| プローブシナリオ | 7 |
| カテゴリー | 認証情報、個人を特定できる情報（PII）、保護対象医療情報（PHI）、金融口座番号、データ損失防止（DLP）スキャン |
| 根拠 | 約 1,300 回の複数回評価から得た、135 以上の分類済みのモデルとプローブの組み合わせ |

BroadNet のカタログによると、自社ハードウェアでは一度も動かしていないリモートおよび API モデル約 90 個を、安全性、ルーティング、アラビア語のテストハーネスにかけており、その結果がこのマップの元になっています。

## 主な知見は？

**安全性は 1 つのスコアではなく、面です。** 積み重なる 3 つの軸に沿って変わります。

-   **アーキテクチャ。** 論文は、ルーティング設計を問わず、認証情報について約 24B のアクティブパラメーターという容量の下限を報告しており、アクティブパラメーターが少ない Mixture of Experts モデルが主なケースです。
-   **世代。** アライメントの質によって、同じモデルファミリー内でも境界が動きます。
-   **ラボのアライメントへの投資。** 有名なラボのフラッグシップという肩書きは保証になりません。

3 つのどれも単独では安全性を予測できず、組み合わさって効きます。

**安全性はカテゴリー間で移転しません。** 同じモデルでも、認証情報や社会保障番号をきちんと扱えたからといって、名前、診療記録、口座番号も同様に扱えるとは限りませんでした。

**出力チャネルはそれぞれ独立に漏えいします。** 実務上最も重い知見です。

-   `tool_calls.arguments` を埋めた 73 回のうち 20 回が、ツール呼び出しを通じて機密値を送りました。それらの実行に使われたモデルの中に、リリース当日にテストされた Moonshot Kimi K2.6 があり、論文はこのモデルを、それ以外の点では認証情報、PII、金融データ、DLP で複数回評価において安全と評価しています。
-   プロバイダーが `reasoning_content` に 20 文字以上を入れた 43 回のうち 29 回で、チャットの返答が安全、見逃し、または途中切れと評価された一方で、推論に機密値が漏れていました。

**枝刈りで安全性が壊れることがあります。** NVIDIA がニューラルアーキテクチャサーチで作成した、Meta の Llama 系の独立した 2 つの枝刈り版は、それぞれ別の出力チャネルを通じて医療データの安全性が崩れました。

論文は最後に 5 段階のランキングを示しています。テストしたすべてのカテゴリーで一様に安全な最上位クラスターは、Claude Opus 4.7、GPT-5.4 と GPT-5.4-mini、Gemini 3 Flash、Gemini 3.1 Pro です。要旨によると、xAI Grok と Meta Llama のフラッグシップはこのクラスターに入っていません。

## 自分のスタックで何を変えるべきですか？

1.  **すべてのチャネルをフィルタリングする。** 見える返答だけをチェックすると、ツール呼び出しの引数や推論フィールドを見逃します。[ツール呼び出し](https://broadrouter.com/ja/glossary/tool-calling/)や推論モデルを使うなら、両方を検査してください。
2.  **カテゴリーごとにテストする。** 認証情報で問題がなかったとしても、医療データや給与データについては何も分かりません。
3.  **モデルの更新時に再テストする。** Kimi K2.6 の結果は、リリース当日のモデルによるものでした。
4.  **できるところは先にマスキングする。** モデルは見ていないものを漏らせません。[機密データのガイド](https://broadrouter.com/ja/blog/llm-api-sensitive-data/)で、Python でのプレースホルダーによるマスキングを紹介しています。

## LSDF とは？

LSDF（LLM Sensitive Data Firewall、LLM 機密データファイアウォール）は、BroadNet がこの 2 本の論文をもとに作った制御ツールで、Apache-2.0 のオープンソースとして [github.com/brntech/lsdf](https://github.com/brntech/lsdf) で公開されています。OpenAI 互換の chat completions API 用のリバースプロキシで、クライアントのベース URL をこれに向けると、モデルサーバーやプロバイダーに転送します。BroadNet によると、リクエスト、レスポンス、ストリーミングのチャンク、ストリーミングされるツール呼び出しの引数、検索で取得したコンテキスト、推論フィールドを検査し、トレースとログは別途サニタイズします。

BroadNet が 2026 年 5 月に自社のコーパスで評価した再現率は次のとおりです。

| 検出器の構成 | 認証情報のリプレイ | 臨床 PHI | 広範な英語 PII |
| --- | --- | --- | --- |
| 正規表現のみ | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF の広範 PII 検出器 | 1.000 | 0.944 | 0.685 |

これはベンダーが自社ツールについて、自ら選んだコーパスで出した数字です。出発点としては有用で、リポジトリにはリプレイが同梱されているので確認できます。LSDF は BroadNet がホストしていないモデルを含め、どのモデルの前にも置けます。

## 限界は？

この論文はプレプリントで、査読は経ていません。BroadNet の責任ある公開ポリシーにより、正確なプロンプト、認証情報の形式、しきい値は公開版から除かれており、モデル提供者や研究者には依頼に応じて共有されます。モデルのバージョンは急速に変わるので、2026 年 4 月の判定はテストする理由であって、テストの代わりにはなりません。

関連する無料ツール（英語）

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[PII（個人を特定できる情報）](https://broadrouter.com/ja/glossary/pii/)

PII（個人を特定できる情報）とは、氏名、ID 番号、生体情報など個人の身元を識別・追跡できる情報と、その人に結び付いた、または結び付けうる情報です。GDPR ではより広い「個人データ」を使います。LLM では、プロンプトが社外に出る前に PII をマスキングします。

[混合エキスパート（MoE）](https://broadrouter.com/ja/glossary/mixture-of-experts/)

混合エキスパート（MoE）とは、層の中に多数のエキスパート（サブネットワーク）を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。

[Chat Completions API（チャット補完 API）](https://broadrouter.com/ja/glossary/chat-completions-api/)

Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。

[Ogg Opus](https://broadrouter.com/ja/glossary/ogg-opus/)

Ogg Opus とは、Opus コーデック（RFC 6716）で符号化し、Ogg コンテナ（RFC 7845）に格納した音声です。低ビットレートでの音声や双方向の音声向けに設計されており、WhatsApp がボイスメッセージに使う形式で、通常は .ogg または .opus ファイルです。

[OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)

OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。

[ベース URL（base URL）](https://broadrouter.com/ja/glossary/base-url/)

ベース URL とは、https://api.example.com/v1 のような API の固定のルートアドレスで、クライアントが /chat/completions などのエンドポイントパスの前に付けます。OpenAI 互換の SDK では、API キーとモデル ID と一緒にベース URL を変えるだけで、同じコードを別のプロバイダーに向けられます。

[モデルライセンス（model license）](https://broadrouter.com/ja/glossary/model-license/)

モデルライセンスとは、モデルの重み、コード、出力の利用・改変・共有の条件を定めた法的な取り決めです。オープンウェイトモデルは Apache 2.0 や MIT などの標準ライセンス、または大規模な商用サービスへの制限などの条件を加えうる独自ライセンスで公開されます。

## よくある質問

### Safety Map で最も成績がよかったモデルはどれですか？

要旨では、テストしたすべてのカテゴリーで一様に安全なフロンティアアライメントのクラスターが最上位に置かれています。Claude Opus 4.7、GPT-5.4 と GPT-5.4-mini、Gemini 3 Flash、Gemini 3.1 Pro です。Claude Sonnet 4.6 はそのすぐ下で、15 回中 1 回、生年月日のみの医療データの漏えいがありました。

### API キーを決して漏らさないモデルなら、患者データも安全ですか？

必ずしもそうではありません。論文によると、安全性はカテゴリーごとに分かれます。認証情報、社会保障番号、データベースのパスワードを守れたモデルが、給与資料に載っている従業員の名前を毎回出力してしまうこともありました。

### なぜツール呼び出しが重要なのですか？

多くのフィルターはチャットの返答しか確認しないからです。モデルがツール呼び出しの引数を埋めた 73 回のうち 20 回で、そのチャネルを通じて機密値が送られました。その中には、それ以外の点では複数回評価で安全だったモデルも含まれます。

### 小さな Mixture of Experts モデルは漏えいしやすいですか？

論文は、認証情報について約 24B のアクティブパラメーターという容量の下限を報告しており、アクティブパラメーターが少ない Mixture of Experts（MoE）設計がその主な例です。BroadNet の実務者向け記事は、構造化データのプローブで漏えいしない、アクティブパラメーター 24B 未満の MoE モデルはまだ見つかっていないとしています。

### BroadNet Inference のモデルは Safety Map に含まれていますか？

要旨にはそれらのモデルごとの判定は載っていません。また、プレプリントは 2026 年 4 月のものなので、それ以降に出たモデルは含まれ得ません。Gemma 4 VL 26B のアクティブパラメーターは約 4B なので、認証情報や個人データを扱わせるなら、自分の機密データ用プローブでテストするか、送信前にマスキングしてください。

## 続けて読む

-   [LLM の機密データ安全性をテストする方法：BroadNet の手法](https://broadrouter.com/ja/blog/llm-sensitive-data-safety-evaluation-method/)
-   [機密データを LLM API に送るとき：マスキング、最小化、ログ削減](https://broadrouter.com/ja/blog/llm-api-sensitive-data/)
-   [オープンモデルのツール呼び出し：スキーマ、並列呼び出し、リトライ](https://broadrouter.com/ja/blog/tool-calling-open-models/)
-   [推論トークン：見えている以上の出力に課金される理由](https://broadrouter.com/ja/blog/reasoning-tokens-cost/)
-   [エジプトのデータ保護法（2020 年法律第 151 号）と LLM API](https://broadrouter.com/ja/blog/egypt-data-protection-law-llm-api/)
-   [サウジ・UAE の PDPL と LLM API：越境移転チェックリスト](https://broadrouter.com/ja/blog/saudi-uae-pdpl-llm-api-checklist/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-safety-map-39-models&utm_content=page-cta) ·

**出典**

-   [Al Zubaidi、The Safety Map: What Does and Doesn't Transfer in LLM Sensitive-Data Handling、Zenodo プレプリント、2026-04-22（レコードは 2026-11-15 取得）](https://doi.org/10.5281/zenodo.19688433)
-   [BroadNet Research：Safety Map の主な知見（2026-11-15 取得）（英語）](https://www.broadnet.ai/research)
-   [BroadNet ブログ、The firewall behind our LLM safety research is now open source（2026 年 9 月 9 日、2026-11-15 取得）（英語）](https://www.broadnet.ai/blog/open-source-sensitive-data-firewall)
-   [LSDF リポジトリ、Apache-2.0（2026-11-15 取得）](https://github.com/brntech/lsdf)
-   [BroadNet モデルカタログ：ベンチマーク済みのリモートおよび API モデル（2026-11-15 取得）（英語）](https://www.broadnet.ai/inference/models)
