BroadRouter

O Safety Map: como 39 LLMs lidam com dados sensíveis

Pela equipe da BroadNet Inference · 3 min de leitura · Publicado em · Atualizado em

O Safety Map é um preprint da BroadNet de abril de 2026 (DOI 10.5281/zenodo.19688433). Ele testou 39 modelos de 14 laboratórios em 7 sondas sobre credenciais, PII, dados de saúde, números de conta e varredura DLP, em cerca de 1.300 avaliações com várias execuções. A segurança não se transferiu entre categorias nem entre canais de saída: 20 de 73 execuções que preencheram argumentos de tool call vazaram dados por ali.

O Safety Map é o levantamento da BroadNet sobre como os grandes modelos de linguagem lidam com dados sensíveis. O preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, foi publicado no Zenodo em 22 de abril de 2026 com o DOI 10.5281/zenodo.19688433, tendo Mohammad Al Zubaidi como autor. Ele acompanha o método de avaliação de dados sensíveis da BroadNet.

O que segue é o nosso resumo do abstract e da página de pesquisa da BroadNet. Os vereditos são da BroadNet.

O que o levantamento cobriu?

Dimensão Cobertura
Modelos 39, de 14 laboratórios independentes
Cenários de sonda 7
Categorias Credenciais, PII, informações de saúde protegidas (PHI), números de contas financeiras, varredura de prevenção contra perda de dados (DLP)
Evidências Mais de 135 combinações modelo-sonda classificadas, a partir de cerca de 1.300 avaliações com várias execuções

O catálogo da BroadNet diz que ela passou cerca de 90 modelos remotos e via API, que nunca rodou no próprio hardware, pelos seus bancos de testes de segurança, roteamento e árabe, e que esses resultados alimentam este mapa.

Quais são os principais resultados?

Segurança é uma superfície, não uma nota única. Ela varia em três eixos que se somam:

  • Arquitetura. O artigo relata um piso de capacidade de cerca de 24B de parâmetros ativos para credenciais, em diferentes designs de roteamento, com os modelos mixture of experts de poucos parâmetros ativos como caso principal.
  • Geração. A qualidade do alinhamento desloca a fronteira dentro de uma mesma família de modelos.
  • Investimento do laboratório em alinhamento. O rótulo de modelo carro-chefe de um laboratório conhecido não é garantia.

Nenhum dos três prevê a segurança sozinho; eles se combinam.

A segurança não se transfere entre categorias. Lidar bem com credenciais e Social Security numbers não se refletiu, no mesmo modelo, em nomes, prontuários médicos ou números de conta.

Os canais de saída vazam de forma independente. É o resultado com mais peso prático:

  • De 73 execuções que preencheram tool_calls.arguments, 20 enviaram valores sensíveis pela tool call. Entre os modelos por trás dessas execuções estava o Kimi K2.6 da Moonshot, testado no dia do lançamento, um modelo que o artigo classifica como seguro em várias execuções em todo o resto, para credenciais, PII, dados financeiros e DLP.
  • De 43 execuções em que o provedor preencheu reasoning_content com pelo menos 20 caracteres, 29 vazaram valores sensíveis no raciocínio enquanto a resposta do chat era classificada como segura, ausente ou truncada.

Poda pode quebrar a segurança. Duas versões podadas independentes da linha Llama da Meta, feitas pela NVIDIA com neural architecture search, quebraram a segurança com dados de saúde por canais de saída diferentes.

O artigo termina com um ranking de cinco níveis. O grupo do topo, uniformemente seguro em todas as categorias testadas, reúne Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. O resumo diz que os carros-chefes do xAI Grok e do Meta Llama não entram nesse grupo.

O que mudar na sua stack?

  1. Filtre todos os canais. Uma checagem na resposta visível não pega argumentos de tool call nem campos de raciocínio. Se você usa tool calling ou um modelo de raciocínio, inspecione os dois.
  2. Teste por categoria. Um resultado limpo em credenciais não diz nada sobre dados de saúde ou de salários.
  3. Teste de novo a cada atualização do modelo. O resultado do Kimi K2.6 veio de um modelo no dia do lançamento.
  4. Mascare antes, quando puder. Um modelo não vaza o que nunca viu. O nosso guia de dados sensíveis mostra o mascaramento com placeholders em Python.

O que é o LSDF?

O LSDF, LLM Sensitive Data Firewall, é o controle que a BroadNet construiu a partir desses dois artigos e liberou como open source sob Apache-2.0 em github.com/brntech/lsdf. É um proxy reverso para a API de chat completions compatível com a OpenAI: você aponta a base URL do seu cliente para ele, e ele encaminha para o seu servidor de modelos ou provedor. Segundo a BroadNet, ele inspeciona requisições, respostas, chunks em streaming, argumentos de tool call em streaming, contexto recuperado e campos de raciocínio, e higieniza traces e logs separadamente.

A avaliação da BroadNet de maio de 2026, nos próprios corpora, informa este recall:

Pilha de detectores Replay de credenciais PHI clínico PII amplo em inglês
Só regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
Detectores de PII amplo do LSDF 1,000 0,944 0,685

São números de um fornecedor sobre a própria ferramenta, em corpora escolhidos por ele. Servem como ponto de partida, e o repositório inclui o replay para você conferir. O LSDF funciona na frente de qualquer modelo, inclusive os que a BroadNet não hospeda.

Quais são os limites?

O artigo é um preprint, sem revisão por pares. Pela política de publicação responsável da BroadNet, prompts exatos, formatos de credenciais e limiares ficam fora da versão pública e são compartilhados com provedores de modelos e pesquisadores mediante pedido. As versões dos modelos mudam rápido, então um veredito de abril de 2026 é motivo para testar, não um substituto para o teste.

Perguntas frequentes

Quais modelos se saíram melhor no Safety Map?

O resumo coloca no topo um grupo de alinhamento de fronteira, uniformemente seguro em todas as categorias testadas: Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. O Claude Sonnet 4.6 fica logo abaixo, com um único vazamento de dado de saúde, só a data de nascimento, em 15 execuções.

Um modelo que nunca vaza chaves de API é seguro com dados de pacientes?

Não necessariamente. O artigo constatou que a segurança se dissocia por categoria: um modelo que protegia credenciais, Social Security numbers e senhas de banco de dados ainda podia citar nomes de funcionários num documento de salários em todas as execuções.

Por que as tool calls importam?

Porque muitos filtros só checam a resposta do chat. De 73 execuções em que o modelo preencheu argumentos de tool call, 20 enviaram valores sensíveis por esse canal, inclusive num modelo que era seguro em várias execuções em todo o resto.

Modelos mixture of experts pequenos vazam mais?

O artigo relata um piso de capacidade de cerca de 24B de parâmetros ativos para credenciais, com os designs mixture of experts de poucos parâmetros ativos como principal expressão disso. O post prático da BroadNet diz que ela ainda não encontrou um modelo MoE abaixo de 24B de parâmetros ativos que não vaze nas suas sondas de dados estruturados.

Os modelos da BroadNet Inference estão no Safety Map?

O resumo não traz vereditos por modelo para eles, e o preprint é de abril de 2026, então um modelo lançado depois não pode estar nele. O Gemma 4 VL 26B tem cerca de 4B de parâmetros ativos, então teste-o com as suas próprias sondas de dados sensíveis, ou mascare os dados antes de enviar, se ele for ver credenciais ou dados pessoais.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity