---
title: "Avaliar LLMs com dados sensíveis: o método da BroadNet"
description: "O método publicado pela BroadNet para testar, antes do deploy, se um LLM vaza credenciais, PII, dados de saúde ou financeiros: categorias, leak e miss, 3+ execuções."
url: https://broadrouter.com/pt/blog/llm-sensitive-data-safety-evaluation-method/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (atualizado em 2026-11-15).

# Como testar a segurança de um LLM com dados sensíveis: método BroadNet

Pela equipe da BroadNet Inference · 3 min de leitura · Publicado em 2026-11-15

O preprint da BroadNet de abril de 2026 (DOI 10.5281/zenodo.19574049, também no SSRN) define um teste de segurança com dados sensíveis antes do deploy. Teste quatro categorias (credenciais, PII, dados de saúde e financeiros) separadamente, conte vazamentos e não detecções como falhas diferentes, use pontuação binária e rode cada teste pelo menos três vezes. Nos testes dela, regras no prompt e fine-tuning com exemplos negativos pioraram os vazamentos.

## Pontos principais

-   Preprint no Zenodo, DOI 10.5281/zenodo.19574049 (14 de abril de 2026, CC BY 4.0), espelhado no SSRN como 10.2139/ssrn.6565139. Sem revisão por pares.
-   Benchmarks de capacidade medem o que um modelo consegue fazer; este método mede o que ele não pode fazer.
-   Dois modos de falha: vazar (repetir um valor sensível) e não detectar (não sinalizá-lo). Pontue os dois separadamente.
-   A segurança não é determinística: baseie cada veredito em 3 ou mais execuções, nunca em uma só.
-   Nos testes da BroadNet, instruções agressivas no prompt e fine-tuning com exemplos negativos aumentaram as taxas de vazamento.

**Nesta página**

1.  Por que os benchmarks comuns não pegam isso?
2.  O que o método testa?
3.  Como pontuar os resultados?
4.  O que não funcionou?
5.  O que o artigo não publica?
6.  Qual a relação com a BroadNet Inference?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

O braço de pesquisa da BroadNet publicou um método prático para testar se um grande modelo de linguagem vaza dados sensíveis antes do deploy. O preprint, _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_, está no Zenodo sob o DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), com data de 14 de abril de 2026, e espelhado no SSRN. O registro no Zenodo cita Mohammad Al Zubaidi como autor.

Esta página resume o método e os resultados. O trabalho é da BroadNet, e os resultados são dela; não os reproduzimos.

## Por que os benchmarks comuns não pegam isso?

Benchmarks públicos medem capacidade: o que um modelo consegue fazer no seu melhor. Um modelo colocado para auditar um arquivo de configuração ou uma nota clínica também precisa _não_ fazer uma coisa: repetir o segredo que encontrou. O exemplo do artigo deixa isso claro. Um modelo que tira 95 em 99 tarefas e repete uma chave de API na centésima fica com média 94 e continua inutilizável em produção.

A BroadNet chama isso de testar pisos em vez de tetos, e o artigo trata “capability and constraint” (capacidade e restrição) como eixos independentes.

## O que o método testa?

Quatro categorias, cada uma testada separadamente:

| Categoria | Exemplos | Como um modelo a reconhece |
| --- | --- | --- |
| Credenciais | Chaves de API, tokens, chaves SSH, senhas de banco de dados | Principalmente pelo formato; senhas em strings de conexão não têm pista de formato |
| Informações pessoais identificáveis (PII) | Nomes, e-mails, telefones, documentos de identidade | Pelo formato nos identificadores estruturados, pelo significado no texto livre |
| Informações de saúde protegidas (PHI) | Diagnósticos, prescrições, notas clínicas | Muitas vezes pelo contexto: um diagnóstico ao lado de um nome |
| Dados financeiros | Números de conta, saldos, transações | Pelo formato, mas tratados como sensíveis com menos frequência |

O resumo relata testes com “24+ models across 6 model families” (mais de 24 modelos de 6 famílias) e encontra uma hierarquia clara: o reconhecimento baseado em formato, como credenciais estruturadas e Social Security numbers, é muito mais confiável do que o baseado em contexto, como nomes que se tornam sensíveis ao lado de um diagnóstico. Um modelo com 0% de vazamento de credenciais vazou identificadores de pacientes em todas as execuções do teste de PHI.

## Como pontuar os resultados?

O artigo propõe um protocolo mínimo:

1.  **Pontuação binária.** Cada execução é segura ou não; nada de nota parcial para uma resposta “quase segura”.
2.  **Vazamento e não detecção pontuados separadamente.** Juntar os dois num só número esconde justamente o que importa para o seu caso de uso.
3.  **Várias execuções.** Três ou mais por modelo e sonda, porque o mesmo modelo pode passar num dia e vazar no outro.
4.  **Categoria por categoria.** Segurança com credenciais não diz nada sobre segurança com prontuários médicos.

O relato prático da BroadNet acrescenta regras de operação que ela usa em pilotos: usar só dados sintéticos, testar a configuração completa de deploy (system prompt, ferramentas e recuperação incluídos), exigir cinco execuções limpas seguidas antes da produção e testar de novo todo mês para modelos self-hosted e toda semana para modelos de terceiros que mudam com frequência.

## O que não funcionou?

Duas correções comuns pioraram as coisas nos testes da BroadNet:

-   **Instruções no prompt.** Acrescentar “não revele credenciais” às vezes foi ignorado, e a estratégia de prompt mais enfática causou vazamentos num modelo que era limpo na linha de base.
-   **Fine-tuning com exemplos negativos.** Treinar um modelo para recusar uma categoria aumentou as taxas de vazamento em vez de reduzi-las.

O que se sustentou, segundo a BroadNet, foram três camadas juntas: escolher um modelo de menor risco para a categoria, filtrar a saída com uma ferramenta determinística (ela cita o [Microsoft Presidio](https://github.com/microsoft/presidio) e o LLM Guard) e mascarar a entrada antes de montar o prompt quando a tarefa não precisa dos valores. O nosso [guia para enviar dados sensíveis a uma API de LLM](https://broadrouter.com/pt/blog/llm-api-sensitive-data/) mostra a etapa de mascaramento em código.

## O que o artigo não publica?

Pela política de publicação responsável, a BroadNet publica categorias, filosofia de pontuação, tamanhos de amostra e ressalvas, mas não os templates exatos de prompt, os formatos de credenciais nem os limiares de aprovação e reprovação. O motivo: publicá-los reduziria o esforço necessário para a extração sem oferecer nenhuma defesa a quem faz o deploy. Provedores de modelos e pesquisadores de segurança podem pedi-los. Isso torna o método reproduzível na forma, mas não número a número.

## Qual a relação com a BroadNet Inference?

É um teste de modelos, não de provedor. Vale para qualquer modelo em qualquer API, inclusive os da [BroadNet Inference](https://broadrouter.com/pt/models/). O artigo companheiro, [o Safety Map](https://broadrouter.com/pt/blog/llm-safety-map-39-models/), aplica o método a 39 modelos de 14 laboratórios e constata que valores sensíveis também podem sair por argumentos de tool call e campos de raciocínio. Mais tarde, a BroadNet liberou um firewall open source baseado nos dois artigos, o LSDF, descrito no resumo do Safety Map.

A retenção pelo provedor é uma questão à parte: a [retenção zero de dados](https://broadrouter.com/pt/privacy/) trata do que a BroadNet armazena, não do que um modelo escreve nos seus próprios sistemas.

Ferramentas gratuitas sobre o tema (em inglês)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[PII (informações pessoais identificáveis)](https://broadrouter.com/pt/glossary/pii/)

PII (personally identifiable information) é a informação que permite distinguir ou rastrear a identidade de uma pessoa, como nome, número de documento ou registro biométrico, mais outras informações ligadas ou vinculáveis a ela. O termo mais amplo do GDPR é dados pessoais. Com LLMs, a anonimização de PII remove esses dados dos prompts antes que saiam dos seus sistemas.

[Chave de API (API key)](https://broadrouter.com/pt/glossary/api-key/)

Uma chave de API é uma string secreta que identifica e autoriza um cliente que chama uma API. As APIs de LLM normalmente a esperam em um cabeçalho Authorization: Bearer, e qualquer pessoa que tenha a chave pode fazer requisições cobradas da conta dona dela.

[Fine-tuning (ajuste fino de LLM)](https://broadrouter.com/pt/glossary/fine-tuning/)

Fine-tuning é o processo de continuar treinando um modelo de linguagem pré-treinado com um conjunto de dados menor e específico, como conversas de exemplo, para que seus pesos mudem e ele execute aquela tarefa ou estilo de forma mais confiável, sem instruções longas ou exemplos em todo prompt.

[Prompt de sistema (system prompt)](https://broadrouter.com/pt/glossary/system-prompt/)

O system prompt, ou prompt de sistema, é o texto de instruções que uma aplicação envia a um modelo de linguagem antes da conversa, em geral como mensagem com o papel system ou developer. Ele define o papel, as regras, o tom e o formato de saída do modelo, que deve segui-lo mesmo quando mensagens do usuário o contradizem.

[Retenção zero de dados (zero data retention)](https://broadrouter.com/pt/glossary/zero-data-retention/)

Retenção zero de dados (ZDR) é uma política de tratamento de dados em que um provedor de IA processa prompts e saídas só para atender uma requisição e não guarda esse conteúdo depois, nem em logs, nem em caches, nem em dados de treinamento. Registros sem conteúdo, como contagens de tokens e tempos, costumam continuar sendo guardados.

[Tool calling (chamada de ferramentas)](https://broadrouter.com/pt/glossary/tool-calling/)

Tool calling, também chamado de function calling ou chamada de ferramentas, é um recurso de APIs de LLM em que o modelo devolve um pedido estruturado para executar uma função definida pelo desenvolvedor, com argumentos JSON. A aplicação executa a função e devolve o resultado; o modelo nunca executa código sozinho.

## Perguntas frequentes

### Qual a diferença entre vazamento e não detecção?

Vazamento (leak) é o modelo repetir um valor sensível onde não devia, por exemplo copiando uma chave de API num relatório. Não detecção (miss) é o modelo deixar de sinalizar um valor sensível quando essa é justamente a tarefa dele. O método da BroadNet pontua os dois separadamente porque os riscos são diferentes.

### Quantas execuções o teste precisa?

Pelo menos três por sonda. O protocolo prático da BroadNet acrescenta cinco execuções limpas seguidas antes de considerar um modelo seguro para produção, distribuídas em pelo menos dois dias corridos para pegar mudanças do lado do provedor.

### Um system prompt dizendo "nunca revele segredos" ajuda?

Não de forma confiável. Nos testes da BroadNet, a estratégia de prompt mais enfática causou vazamentos num modelo que era limpo sem ela, e o fine-tuning com exemplos negativos também aumentou as taxas de vazamento.

### Posso obter os prompts de teste exatos da BroadNet?

Não publicamente. Pela política de publicação responsável, a BroadNet não divulga os templates exatos de prompt, os formatos de credenciais nem os limiares de aprovação e reprovação, e os compartilha com provedores de modelos e pesquisadores de segurança mediante pedido.

### Retenção zero de dados torna este teste desnecessário?

Não. A retenção zero de dados controla o que o provedor armazena. Este teste trata do que o modelo escreve na própria saída, que depois vai parar nos seus logs, tickets e sistemas a jusante.

## Continue lendo

-   [O Safety Map: como 39 LLMs lidam com dados sensíveis](https://broadrouter.com/pt/blog/llm-safety-map-39-models/)
-   [Dados sensíveis numa API de LLM: mascare, minimize, registre menos](https://broadrouter.com/pt/blog/llm-api-sensitive-data/)
-   [Como avaliar um LLM antes de trocar de provedor](https://broadrouter.com/pt/blog/evaluate-llm-before-switching/)
-   [API de LLM com retenção zero de dados: checklist de 10 perguntas](https://broadrouter.com/pt/blog/zero-data-retention-llm-api-checklist/)
-   [Lei de proteção de dados do Egito (Lei 151 de 2020) e APIs de LLM](https://broadrouter.com/pt/blog/egypt-data-protection-law-llm-api/)
-   [PDPL saudita e dos EAU e APIs de LLM: checklist de transferência](https://broadrouter.com/pt/blog/saudi-uae-pdpl-llm-api-checklist/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Fontes**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, preprint no Zenodo, 2026-04-14 (registro consultado em 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [O mesmo artigo no SSRN, abstract 6565139 (DOI informado pela BroadNet; consultado em 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Blog da BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12 de maio de 2026; consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: política de publicação responsável (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (consultado em 2026-11-15)](https://github.com/microsoft/presidio)
