Боты поддержки читают жалобы с именами и номерами заказов. Конвейеры колл-центров отправляют расшифровки с цифрами банковских карт. Медицинские приложения отправляют симптомы. Всё это полезно модели, и всё это становится конфиденциальными данными в тот момент, когда покидает ваши серверы.
OWASP ставит раскрытие конфиденциальной информации под номером LLM02 в своём Top 10 для LLM-приложений 2025 года. Большинство рекомендаций посвящено тому, что может раскрыть модель. Эта статья — о той части, которую контролируете вы: что вы отправляете и что храните.
Что считается конфиденциальными данными для LLM API?
Прежде чем писать промпт, разложите поля по трём корзинам:
| Корзина | Примеры | Правило по умолчанию |
|---|---|---|
| Прямые идентификаторы | Имя, email, телефон, национальный ID, номер счёта | Заменять метками |
| Особые или регулируемые | Здоровье, биометрия, религия, номера карт, учётные данные | Не отправлять, если задача этого не требует и нет правового основания |
| Контекст | Названия продуктов, тип обращения, даты, суммы | Обычно можно отправлять |
По GDPR для обработки особых категорий (статья 9) вообще нужно конкретное основание. Данные карт и секреты вроде паролей или API-ключей никогда не должны попадать в промпт.
Шаг 1: какие поля задаче действительно нужны?
Лучшее маскирование — не отправлять поле вовсе. Спросите, что нужно задаче:
- Сделать сводку обращения? Модели нужна жалоба, а не адрес клиента.
- Классифицировать намерение? Ей нужен текст сообщения, а не ID аккаунта.
- Набросать ответ? Ей нужно максимум имя, и метка тоже подойдёт.
Собирайте промпты из выбранных полей, а не выгружайте всю запись в JSON. Это ещё и сокращает входные токены, то есть экономит деньги.
Шаг 2: как маскировать, чтобы модель всё ещё понимала текст?
Заменяйте каждое значение типизированной нумерованной меткой. Модель сохраняет структуру предложения, а ваш код потом восстанавливает значения.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
Регулярные выражения ловят структурированные значения. Для имён и адресов нужно распознавание именованных сущностей. Инструменты с открытым исходным кодом, например Microsoft Presidio, сочетают шаблоны, контрольные суммы и NER-модели и позволяют добавлять собственные распознаватели. Проверяйте любой детектор на своих данных: арабские имена, телефонные форматы стран Залива и текст со смешанными алфавитами — именно там универсальные детекторы ошибаются.
Если вы предпочитаете запустить прокси, а не писать маскирование сами, BroadNet публикует такой прокси с открытым исходным кодом: LLM Sensitive Data Firewall (LSDF) под лицензией Apache-2.0. Он стоит перед любым OpenAI-совместимым эндпоинтом, включая модели, которые BroadNet не размещает, и, по словам BroadNet, проверяет запросы, ответы, фрагменты потока, потоковые аргументы вызовов инструментов, извлечённый контекст и поля рассуждений, а для трассировок и логов у него есть отдельный санитайзер. В оценке BroadNet от мая 2026 года на собственных корпусах компании его детекторы широкого класса ПДн показали полноту 1.000 на воспроизведении 40 случаев с учётными данными, 0.944 на синтетических клинических данных и 0.685 на широком наборе английских ПДн — против 0.194, 0.056 и 0.326 у одного Microsoft Presidio (материал BroadNet). Это цифры BroadNet о собственном инструменте; прежде чем что-либо блокировать, прогоните профиль monitor на своём трафике.
Два правила для меток:
- Держите их согласованными в пределах разговора, чтобы
[NAME_1]был одним и тем же человеком на каждом ходе. - Просите модель сохранять их без изменений, как в системном промпте выше.
Шаг 3: что происходит с данными у провайдера?
Маскирование сокращает то, что уходит наружу. Что будет дальше, решает провайдер. Спросите:
- Хранится ли содержимое после запроса и как долго?
- Используется ли оно для обучения и что установлено по умолчанию?
- Кто управляет оборудованием и где оно находится?
Провайдеры отвечают очень по-разному. Официальные формулировки пяти из них собраны в статье сравнение хранения данных в LLM API, технические вопросы — в чек-листе ZDR, а договорная сторона — в чек-листе по GDPR.
Шаг 4: как не допустить промпты в собственные логи?
Чаще всего промпты оседают в вашем собственном стеке. Типичные утечки:
- Отладочное логирование HTTP-клиента, которое печатает тела запросов.
- SDK трассировки и наблюдаемости, по умолчанию записывающие промпты целиком.
- Системы отчётов об ошибках, которые прикладывают тело неудачного запроса.
- События аналитики, содержащие сообщение пользователя.
- Очереди повторов и очереди недоставленных сообщений, хранящие запросы целиком.
Логируйте вместо этого: ID запроса, модель, число токенов промпта и ответа, задержку, код статуса и ID вашего сопоставления меток (но никогда само сопоставление). Этого достаточно, чтобы разбираться со стоимостью и ошибками. В статье о логировании использования есть обёртка, которая пишет именно эти поля и считает стоимость каждого вызова.
Шаг 5: как защитить путь к API?
- Держите ключи на серверах, никогда — в браузерном или мобильном коде. Хранение и ротация описаны в статье о безопасности ключей LLM API.
- Привяжите ключи к своим исходящим адресам с помощью списков разрешённых IP.
- Используйте отдельный API-ключ для каждого сервиса, чтобы можно было отозвать один, не останавливая всё.
Шаг 6: что проверять в ответе?
Маскирование защищает запрос. Ответ тоже нужно проверять, потому что модель может повторить, угадать или восстановить значения:
- Целостность меток. После
restore()ищите оставшиеся метки вроде[PHONE_3], которых не было в вашем сопоставлении. Значит, модель её выдумала. - Новые ПДн в выводе. Прогоните тот же детектор по ответу. Ответ с адресом email, который вы не отправляли, стоит перепроверить, прежде чем он дойдёт до клиента.
- Утечка между пользователями. Если вы кэшируете ответы или делите состояние разговора, убедитесь, что восстановленные значения одного пользователя никогда не попадут в ответ другому.
Проверяйте каждый канал вывода, а не только текст ответа. Исследование BroadNet Safety Map обнаружило, что конфиденциальные значения уходили через аргументы вызова инструментов в 20 из 73 прогонов, где они заполнялись, и через поле рассуждений в 29 из 43 прогонов, где оно заполнялось, тогда как видимый ответ при этом оценивался как безопасный, пропущенный или обрезанный.
Тестируйте весь цикл на фиксированном наборе из 50 реальных конфиденциальных примеров при каждой смене промпта, модели или детектора. Считайте пропущенные значения, а не только пойманные: один пропущенный номер карты важнее сотни правильных меток.
Нужна ли такая же обработка конфиденциальному аудио?
Голосовое сообщение за десять секунд может передать имя, номер телефона и сведения о здоровье. Расшифровки наследуют всё это. Маскируйте расшифровку до того, как она пойдёт в LLM для сводки, и храните исходное аудио не дольше, чем необходимо. Наш конвейер транскрибации звонков колл-центра показывает маскирование между шагами распознавания и сводки.
Где здесь BroadNet Inference
В заявлении о конфиденциальности BroadNet сказано, что её шлюз “keeps no prompts, messages, images, audio, responses or transcripts” (перевод: «не хранит промпты, сообщения, изображения, аудио, ответы или расшифровки») и что она не использует данные инференса “to train, fine-tune or evaluate models” (перевод: «для обучения, дообучения или оценки моделей»). Она хранит записи без содержимого — тайминги, число токенов и стоимость; полный список приведён на странице о нулевом хранении данных. Ключи можно ограничить вашими IP-адресами. Qwen3.8 27B из примера выше BroadNet протестировала на арабском языке, что важно, когда ваши метки стоят внутри арабского текста.
Это закрывает сторону провайдера. Маскировать за вас он не будет и ваши логи не почистит. Шаги 1, 2 и 4 остаются вашей задачей с любым провайдером, включая BroadNet. Если для регулируемых данных вам нужен письменный DPA или список субобработчиков, запросите их у BroadNet до отправки данных; в заявлении сказано, что список субобработчиков предоставляется по запросу.

