BroadRouter

Safety Map: как 39 LLM обращаются с конфиденциальными данными

Команда BroadNet Inference · 3 мин чтения · Опубликовано · Обновлено

Safety Map — препринт BroadNet от апреля 2026 года (DOI 10.5281/zenodo.19688433). В нём 39 моделей из 14 лабораторий прошли 7 тестов на учётные данные, ПДн, медицинские данные, номера счетов и DLP-сканирование — около 1300 многократных прогонов. Безопасность не переносилась между категориями и каналами вывода: 20 из 73 прогонов с аргументами вызова инструментов допустили через них утечку.

Safety Map — исследование BroadNet о том, как большие языковые модели обращаются с конфиденциальными данными. Препринт The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling (перевод: «Карта безопасности: что переносится и что не переносится в обращении LLM с конфиденциальными данными») опубликован на Zenodo 22 апреля 2026 года под DOI 10.5281/zenodo.19688433, автор — Mohammad Al Zubaidi. Это парная работа к методу оценки обращения с конфиденциальными данными от BroadNet.

Ниже — наш пересказ аннотации и исследовательской страницы BroadNet. Вердикты принадлежат BroadNet.

Что охватило исследование?

Параметр Охват
Модели 39, из 14 независимых лабораторий
Тестовые сценарии 7
Категории Учётные данные, ПДн, защищённая медицинская информация (PHI), номера финансовых счетов, сканирование для предотвращения утечек (DLP)
Доказательная база 135+ классифицированных сочетаний «модель — тест» из примерно 1300 многократных прогонов

Каталог BroadNet сообщает, что компания прогнала около 90 удалённых и API-моделей, которые никогда не запускала на своём оборудовании, через свои тестовые стенды безопасности, маршрутизации и арабского языка, и что эти результаты легли в основу карты.

Каковы главные выводы?

Безопасность — это поверхность, а не одна оценка. Она меняется вдоль трёх осей, которые складываются:

  • Архитектура. Статья сообщает о пороге ёмкости около 24B активных параметров для учётных данных при разных схемах маршрутизации, и главный случай здесь — модели mixture-of-experts с небольшим числом активных параметров.
  • Поколение. Качество выравнивания сдвигает границу внутри семейства моделей.
  • Вложения лаборатории в выравнивание. Флагманское название от известной лаборатории — не гарантия.

Ни одна из трёх осей сама по себе безопасность не предсказывает; они действуют вместе.

Безопасность не переносится между категориями. Аккуратное обращение с учётными данными и номерами социального страхования у той же модели не распространялось на имена, медицинские записи или номера счетов.

Каналы вывода протекают независимо. Это вывод с наибольшим практическим весом:

  • Из 73 прогонов, в которых заполнялось tool_calls.arguments, в 20 конфиденциальные значения ушли через вызов инструмента. Среди моделей, давших эти прогоны, была Kimi K2.6 от Moonshot, протестированная в день выхода, — модель, которую статья в остальном оценивает как безопасную во многократных прогонах на учётных данных, ПДн, финансовых данных и DLP.
  • Из 43 прогонов, в которых провайдер заполнял reasoning_content хотя бы 20 символами, в 29 конфиденциальные значения утекли в рассуждения, тогда как ответ в чате был оценён как безопасный, пропущен или обрезан.

Прунинг может сломать безопасность. Две независимые урезанные версии линейки Llama от Meta, сделанные NVIDIA с помощью поиска нейронной архитектуры, потеряли безопасность в отношении медицинских данных через разные каналы вывода.

Статья заканчивается пятиуровневым рейтингом. Его верхний кластер, одинаково безопасный во всех проверенных категориях, — Claude Opus 4.7, GPT-5.4 и GPT-5.4-mini, Gemini 3 Flash и Gemini 3.1 Pro. По словам аннотации, флагманы xAI Grok и Meta Llama в этот кластер не входят.

Что стоит изменить в собственном стеке?

  1. Фильтруйте каждый канал. Проверка видимого ответа пропускает аргументы вызова инструментов и поля рассуждений. Если вы используете вызов инструментов или модель с рассуждениями, проверяйте и то и другое.
  2. Тестируйте по категориям. Чистый результат на учётных данных ничего не говорит о медицинских данных или зарплатах.
  3. Перепроверяйте при обновлении моделей. Результат Kimi K2.6 получен на модели в день её выхода.
  4. Где можно, маскируйте заранее. Модель не сольёт того, чего никогда не видела. Наша статья о конфиденциальных данных показывает маскирование плейсхолдерами на Python.

Что такое LSDF?

LSDF, LLM Sensitive Data Firewall, — защитный механизм, который BroadNet построила на основе этих двух статей и выпустила с открытым исходным кодом под Apache-2.0 на github.com/brntech/lsdf. Это обратный прокси для OpenAI-совместимого API chat completions: вы направляете на него базовый URL своего клиента, а он пересылает запросы на ваш сервер моделей или провайдеру. По словам BroadNet, он проверяет запросы, ответы, чанки стриминга, аргументы вызова инструментов в потоке, извлечённый контекст и поля рассуждений, а трассировки и логи очищает отдельно.

Оценка BroadNet на собственных корпусах в мае 2026 года показывает такую полноту (recall):

Набор детекторов Повтор учётных данных Клиническая PHI Широкие английские ПДн
Только регулярные выражения 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
Детекторы широких ПДн LSDF 1.000 0.944 0.685

Это цифры поставщика для собственного инструмента на выбранных им корпусах. Как отправная точка они полезны, а в репозитории есть сценарий повтора, чтобы вы могли их проверить. LSDF работает перед любой моделью, включая те, которые BroadNet не размещает.

Каковы ограничения?

Статья — препринт и рецензирование не проходила. Согласно политике ответственной публикации BroadNet, точные промпты, форматы учётных данных и пороги в публичной версии не приводятся и предоставляются поставщикам моделей и исследователям по запросу. Версии моделей меняются быстро, так что вердикт апреля 2026 года — повод протестировать, а не замена тестированию.

Вопросы и ответы

Какие модели лучше всего показали себя в Safety Map?

Аннотация ставит на вершину кластер моделей с передовым выравниванием, одинаково безопасных во всех проверенных категориях: Claude Opus 4.7, GPT-5.4 и GPT-5.4-mini, Gemini 3 Flash и Gemini 3.1 Pro. Чуть ниже Claude Sonnet 4.6 — с одной утечкой медицинских данных, только даты рождения, за 15 прогонов.

Если модель никогда не сливает API-ключи, можно ли доверить ей данные пациентов?

Не обязательно. Статья показала, что безопасность различается по категориям: модель, которая защищала учётные данные, номера социального страхования и пароли от баз данных, всё равно могла в каждом прогоне называть сотрудников из документа о зарплатах.

Почему важны вызовы инструментов?

Потому что многие фильтры проверяют только ответ в чате. Из 73 прогонов, в которых модель заполняла аргументы вызова инструментов, в 20 конфиденциальные значения ушли через этот канал — в том числе у модели, которая в остальном была безопасна во многократных прогонах.

Чаще ли протекают небольшие модели mixture-of-experts?

Статья сообщает о пороге ёмкости около 24B активных параметров для учётных данных, и главным его проявлением стали архитектуры mixture-of-experts с небольшим числом активных параметров. В практической заметке BroadNet сказано, что ей пока не встретилась MoE-модель меньше 24B активных параметров, которая не протекала бы на её тестах со структурированными данными.

Есть ли модели BroadNet Inference в Safety Map?

Аннотация не приводит по ним вердиктов, а препринт датирован апрелем 2026 года, так что модель, выпущенная позже, в него попасть не могла. У Gemma 4 VL 26B около 4B активных параметров, так что если она будет видеть учётные или персональные данные, проверьте её собственными тестами на конфиденциальные данные или маскируйте данные перед отправкой.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity