BroadRouter

Как проверить LLM на утечку конфиденциальных данных: метод BroadNet

Команда BroadNet Inference · 3 мин чтения · Опубликовано

Препринт BroadNet от апреля 2026 года (DOI 10.5281/zenodo.19574049, также на SSRN) описывает проверку обращения с конфиденциальными данными до развёртывания. Тестируйте четыре категории (учётные данные, ПДн, медицинские и финансовые данные) по отдельности, считайте утечки и пропуски разными сбоями, оценивайте бинарно и прогоняйте каждый тест не меньше трёх раз. Правила в промпте и дообучение на негативных примерах в её тестах увеличивали утечки.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

Исследовательское подразделение BroadNet опубликовало практический метод проверки того, не сливает ли большая языковая модель конфиденциальные данные, — до её развёртывания. Препринт How to Evaluate an LLM for Sensitive Data Safety Before Deploying It (перевод: «Как оценить безопасность LLM в обращении с конфиденциальными данными до развёртывания») размещён на Zenodo под DOI 10.5281/zenodo.19574049, датирован 14 апреля 2026 года и продублирован на SSRN. В записи на Zenodo автором указан Mohammad Al Zubaidi.

Эта страница пересказывает метод и его выводы. Это работа BroadNet, и выводы принадлежат ей; мы их не воспроизводили.

Почему обычные бенчмарки этого не ловят?

Публичные бенчмарки измеряют возможности: что модель умеет в лучшем случае. Но модель, которую поставили проверять файл конфигурации или клиническую запись, должна ещё и чего-то не делать — не повторять найденный секрет. Пример из статьи хорошо это показывает. Модель, которая набирает 95 на 99 задачах и выдаёт API-ключ на сотой, в среднем получает 94 — и всё равно непригодна для продакшена.

BroadNet называет это проверкой нижней границы, а не потолка, и статья рассматривает «capability and constraint» (перевод: «возможности и ограничения») как независимые оси.

Что проверяет метод?

Четыре категории, каждая тестируется отдельно:

Категория Примеры Как модель её распознаёт
Учётные данные API-ключи, токены, SSH-ключи, пароли от баз данных В основном по формату; у паролей в строках подключения формальных признаков нет
Персональные данные (ПДн) Имена, email, номера телефонов, государственные идентификаторы По формату для структурированных идентификаторов, по смыслу для свободного текста
Защищённая медицинская информация (PHI) Диагнозы, рецепты, клинические записи Часто по контексту: диагноз рядом с именем
Финансовые данные Номера счетов, остатки, транзакции По формату, но реже воспринимаются как конфиденциальные

Аннотация сообщает о тестировании «24+ models across 6 model families» (перевод: «более 24 моделей из 6 семейств») и выявляет чёткую иерархию: распознавание по формату — например, структурированных учётных данных и номеров социального страхования — гораздо надёжнее распознавания по контексту, например имён, которые становятся конфиденциальными рядом с диагнозом. Одна модель с нулевой долей утечек учётных данных сливала идентификаторы пациентов в каждом прогоне теста на PHI.

Как оценивать результаты?

Статья предлагает минимальный протокол:

  1. Бинарная оценка. Каждый прогон либо безопасен, либо нет; никаких частичных баллов за «в основном безопасный» ответ.
  2. Утечки и пропуски оцениваются отдельно. Сведение их в одно число скрывает тот вид сбоя, который важен именно для вашего сценария.
  3. Несколько прогонов. Три и более на модель и тест, потому что одна и та же модель может сегодня пройти тест, а завтра допустить утечку.
  4. Категория за категорией. Безопасность на учётных данных ничего не говорит о безопасности на медицинских записях.

Практическое описание BroadNet добавляет рабочие правила, которые компания применяет в пилотах: использовать только синтетические данные, тестировать полную конфигурацию развёртывания (включая системный промпт, инструменты и поиск), требовать пять чистых прогонов подряд перед продакшеном и перепроверять самостоятельно размещённые модели ежемесячно, а сторонние модели, которые часто обновляются, — еженедельно.

Что не сработало?

Два распространённых исправления в тестах BroadNet сделали только хуже:

  • Инструкции в промпте. Фразу «не раскрывай учётные данные» модели иногда игнорировали, а самая жёсткая стратегия промптинга вызвала утечки у модели, которая в базовой конфигурации была чистой.
  • Дообучение на негативных примерах. Обучение модели отказывать по категории повышало долю утечек, а не снижало её.

По словам BroadNet, сработали три слоя вместе: выбрать для категории модель с меньшим риском, фильтровать вывод детерминированным инструментом (компания называет Microsoft Presidio и LLM Guard) и маскировать входные данные ещё до сборки промпта, если задаче не нужны сами значения. Наше руководство по отправке конфиденциальных данных в LLM API показывает этап маскирования в коде.

Чего статья не публикует?

Согласно политике ответственной публикации, BroadNet публикует категории, принципы оценки, размеры выборок и оговорки, но не точные шаблоны промптов, форматы учётных данных и пороги прохождения. Её довод: публикация снизила бы усилия, необходимые для извлечения данных, при том что у тех, кто развёртывает модели, защиты от этого нет. Поставщики моделей и исследователи безопасности могут запросить эти данные. Поэтому метод воспроизводим по форме, но не цифра в цифру.

Как это связано с BroadNet Inference?

Это проверка моделей, а не провайдера. Она применима к любой модели в любом API, включая модели BroadNet Inference. Парная статья, Safety Map, применяет метод к 39 моделям из 14 лабораторий и обнаруживает, что конфиденциальные значения могут утекать и через аргументы вызова инструментов и поля рассуждений. Позже BroadNet выпустила файрвол с открытым исходным кодом, построенный на обеих статьях, — LSDF; он описан в пересказе Safety Map.

Хранение данных у провайдера — отдельный вопрос: нулевое хранение данных определяет, что хранит BroadNet, но не то, что модель записывает в ваши собственные системы.

Вопросы и ответы

Чем утечка отличается от пропуска?

Утечка — это когда модель повторяет конфиденциальное значение там, где не должна, например вставляет API-ключ в отчёт. Пропуск — когда модель не помечает конфиденциальное значение, хотя это её задача. Метод BroadNet оценивает их отдельно, потому что риски у них разные.

Сколько прогонов нужно для теста?

Не меньше трёх на каждый тест. Практический протокол BroadNet добавляет требование пяти чистых прогонов подряд, прежде чем признать модель безопасной для продакшена, — минимум за два календарных дня, чтобы поймать изменения на стороне провайдера.

Помогает ли системный промпт «никогда не раскрывай секреты»?

Ненадёжно. В тестах BroadNet самая жёсткая стратегия промптинга вызвала утечки у модели, которая без неё была чистой, а дообучение на негативных примерах тоже повышало долю утечек.

Можно ли получить точные тестовые промпты BroadNet?

Публично — нет. Согласно политике ответственной публикации, BroadNet не раскрывает точные шаблоны промптов, форматы учётных данных и пороги прохождения и передаёт их поставщикам моделей и исследователям безопасности по запросу.

Делает ли нулевое хранение данных эту проверку ненужной?

Нет. Нулевое хранение данных определяет, что хранит провайдер. Эта проверка касается того, что модель пишет в собственный вывод, который потом попадает в ваши логи, тикеты и последующие системы.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity