O braço de pesquisa da BroadNet publicou um método prático para testar se um grande modelo de linguagem vaza dados sensíveis antes do deploy. O preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, está no Zenodo sob o DOI 10.5281/zenodo.19574049, com data de 14 de abril de 2026, e espelhado no SSRN. O registro no Zenodo cita Mohammad Al Zubaidi como autor.
Esta página resume o método e os resultados. O trabalho é da BroadNet, e os resultados são dela; não os reproduzimos.
Por que os benchmarks comuns não pegam isso?
Benchmarks públicos medem capacidade: o que um modelo consegue fazer no seu melhor. Um modelo colocado para auditar um arquivo de configuração ou uma nota clínica também precisa não fazer uma coisa: repetir o segredo que encontrou. O exemplo do artigo deixa isso claro. Um modelo que tira 95 em 99 tarefas e repete uma chave de API na centésima fica com média 94 e continua inutilizável em produção.
A BroadNet chama isso de testar pisos em vez de tetos, e o artigo trata “capability and constraint” (capacidade e restrição) como eixos independentes.
O que o método testa?
Quatro categorias, cada uma testada separadamente:
| Categoria | Exemplos | Como um modelo a reconhece |
|---|---|---|
| Credenciais | Chaves de API, tokens, chaves SSH, senhas de banco de dados | Principalmente pelo formato; senhas em strings de conexão não têm pista de formato |
| Informações pessoais identificáveis (PII) | Nomes, e-mails, telefones, documentos de identidade | Pelo formato nos identificadores estruturados, pelo significado no texto livre |
| Informações de saúde protegidas (PHI) | Diagnósticos, prescrições, notas clínicas | Muitas vezes pelo contexto: um diagnóstico ao lado de um nome |
| Dados financeiros | Números de conta, saldos, transações | Pelo formato, mas tratados como sensíveis com menos frequência |
O resumo relata testes com “24+ models across 6 model families” (mais de 24 modelos de 6 famílias) e encontra uma hierarquia clara: o reconhecimento baseado em formato, como credenciais estruturadas e Social Security numbers, é muito mais confiável do que o baseado em contexto, como nomes que se tornam sensíveis ao lado de um diagnóstico. Um modelo com 0% de vazamento de credenciais vazou identificadores de pacientes em todas as execuções do teste de PHI.
Como pontuar os resultados?
O artigo propõe um protocolo mínimo:
- Pontuação binária. Cada execução é segura ou não; nada de nota parcial para uma resposta “quase segura”.
- Vazamento e não detecção pontuados separadamente. Juntar os dois num só número esconde justamente o que importa para o seu caso de uso.
- Várias execuções. Três ou mais por modelo e sonda, porque o mesmo modelo pode passar num dia e vazar no outro.
- Categoria por categoria. Segurança com credenciais não diz nada sobre segurança com prontuários médicos.
O relato prático da BroadNet acrescenta regras de operação que ela usa em pilotos: usar só dados sintéticos, testar a configuração completa de deploy (system prompt, ferramentas e recuperação incluídos), exigir cinco execuções limpas seguidas antes da produção e testar de novo todo mês para modelos self-hosted e toda semana para modelos de terceiros que mudam com frequência.
O que não funcionou?
Duas correções comuns pioraram as coisas nos testes da BroadNet:
- Instruções no prompt. Acrescentar “não revele credenciais” às vezes foi ignorado, e a estratégia de prompt mais enfática causou vazamentos num modelo que era limpo na linha de base.
- Fine-tuning com exemplos negativos. Treinar um modelo para recusar uma categoria aumentou as taxas de vazamento em vez de reduzi-las.
O que se sustentou, segundo a BroadNet, foram três camadas juntas: escolher um modelo de menor risco para a categoria, filtrar a saída com uma ferramenta determinística (ela cita o Microsoft Presidio e o LLM Guard) e mascarar a entrada antes de montar o prompt quando a tarefa não precisa dos valores. O nosso guia para enviar dados sensíveis a uma API de LLM mostra a etapa de mascaramento em código.
O que o artigo não publica?
Pela política de publicação responsável, a BroadNet publica categorias, filosofia de pontuação, tamanhos de amostra e ressalvas, mas não os templates exatos de prompt, os formatos de credenciais nem os limiares de aprovação e reprovação. O motivo: publicá-los reduziria o esforço necessário para a extração sem oferecer nenhuma defesa a quem faz o deploy. Provedores de modelos e pesquisadores de segurança podem pedi-los. Isso torna o método reproduzível na forma, mas não número a número.
Qual a relação com a BroadNet Inference?
É um teste de modelos, não de provedor. Vale para qualquer modelo em qualquer API, inclusive os da BroadNet Inference. O artigo companheiro, o Safety Map, aplica o método a 39 modelos de 14 laboratórios e constata que valores sensíveis também podem sair por argumentos de tool call e campos de raciocínio. Mais tarde, a BroadNet liberou um firewall open source baseado nos dois artigos, o LSDF, descrito no resumo do Safety Map.
A retenção pelo provedor é uma questão à parte: a retenção zero de dados trata do que a BroadNet armazena, não do que um modelo escreve nos seus próprios sistemas.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)