BroadRouter

La Safety Map: come 39 LLM gestiscono i dati sensibili

A cura del team di BroadNet Inference · 3 min di lettura · Pubblicato · Aggiornato

La Safety Map è un preprint di BroadNet dell’aprile 2026 (DOI 10.5281/zenodo.19688433). Ha testato 39 modelli di 14 laboratori con 7 sonde su credenziali, PII, dati sanitari, numeri di conto e scansione DLP, in circa 1.300 valutazioni multi-run. La sicurezza non si è trasferita tra categorie né tra canali di output: 20 delle 73 esecuzioni che compilavano argomenti di tool call hanno fatto trapelare dati da lì.

La Safety Map è l’indagine di BroadNet su come i modelli linguistici di grandi dimensioni gestiscono i dati sensibili. Il preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, è stato pubblicato su Zenodo il 22 aprile 2026 con DOI 10.5281/zenodo.19688433, e ha come autore Mohammad Al Zubaidi. Accompagna il metodo di valutazione dei dati sensibili di BroadNet.

Quello che segue è il nostro riassunto dell’abstract e della pagina di ricerca di BroadNet. I verdetti sono di BroadNet.

Cosa copriva l’indagine?

Dimensione Copertura
Modelli 39, da 14 laboratori indipendenti
Scenari di sonda 7
Categorie Credenziali, PII, informazioni sanitarie protette (PHI), numeri di conti finanziari, scansione di data loss prevention (DLP)
Evidenze Oltre 135 combinazioni modello-sonda classificate, da circa 1.300 valutazioni multi-run

Il catalogo di BroadNet afferma di aver fatto passare circa 90 modelli remoti e via API, mai eseguiti sul proprio hardware, attraverso i suoi banchi di prova di sicurezza, routing e arabo, e che quei risultati alimentano questa mappa.

Quali sono i risultati principali?

La sicurezza è una superficie, non un punteggio unico. Varia lungo tre assi che si sommano:

  • Architettura. Lo studio indica una soglia di capacità di circa 24B di parametri attivi sulle credenziali, trasversale ai diversi design di routing, con i modelli mixture of experts a pochi parametri attivi come caso principale.
  • Generazione. La qualità dell’allineamento sposta il confine all’interno di una stessa famiglia di modelli.
  • L’investimento del laboratorio nell’allineamento. Un’etichetta di modello di punta di un laboratorio noto non è una garanzia.

Nessuno dei tre predice da solo la sicurezza; si combinano.

La sicurezza non si trasferisce tra categorie. Gestire correttamente credenziali e Social Security number non si è tradotto, nello stesso modello, in una gestione corretta di nomi, cartelle cliniche o numeri di conto.

I canali di output perdono dati in modo indipendente. È il risultato con il peso pratico maggiore:

  • Su 73 esecuzioni che compilavano tool_calls.arguments, 20 hanno inviato valori sensibili tramite la tool call. Tra i modelli dietro quelle esecuzioni c’era Kimi K2.6 di Moonshot, testato il giorno del rilascio, un modello che lo studio valuta per il resto sicuro su più esecuzioni per credenziali, PII, dati finanziari e DLP.
  • Su 43 esecuzioni in cui il provider compilava reasoning_content con almeno 20 caratteri, 29 hanno fatto trapelare valori sensibili nel ragionamento mentre la risposta in chat era valutata sicura, mancante o troncata.

Il pruning può rompere la sicurezza. Due versioni potate indipendenti della linea Llama di Meta, realizzate da NVIDIA con neural architecture search, hanno rotto la sicurezza sui dati sanitari attraverso canali di output diversi.

Lo studio si chiude con una classifica a cinque livelli. Il gruppo di testa, uniformemente sicuro in tutte le categorie testate, è composto da Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. L’abstract precisa che i modelli di punta di xAI Grok e Meta Llama non rientrano in quel gruppo.

Cosa cambiare nel tuo stack?

  1. Filtra ogni canale. Un controllo sulla risposta visibile non vede gli argomenti delle tool call né i campi di ragionamento. Se usi il tool calling o un modello di ragionamento, ispeziona entrambi.
  2. Testa per categoria. Un risultato pulito sulle credenziali non dice nulla su dati sanitari o stipendi.
  3. Ripeti i test a ogni aggiornamento del modello. Il risultato di Kimi K2.6 viene da un modello appena rilasciato.
  4. Oscura prima, dove puoi. Un modello non può far trapelare ciò che non ha mai visto. La nostra guida ai dati sensibili mostra l’oscuramento con segnaposto in Python.

Cos’è LSDF?

LSDF, l’LLM Sensitive Data Firewall, è il controllo che BroadNet ha costruito a partire da questi due studi e rilasciato come open source con licenza Apache-2.0 su github.com/brntech/lsdf. È un reverse proxy per l’API chat completions compatibile con OpenAI: punti il base URL del tuo client su di esso, e lui inoltra al tuo server di modelli o al tuo provider. Secondo BroadNet ispeziona richieste, risposte, chunk in streaming, argomenti delle tool call in streaming, contesto recuperato e campi di ragionamento, e ripulisce separatamente trace e log.

La valutazione di BroadNet del maggio 2026 sui propri corpus riporta questa recall:

Stack di rilevatori Replay di credenziali PHI clinici PII generici in inglese
Solo regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
Rilevatori PII generici di LSDF 1,000 0,944 0,685

Sono numeri di un fornitore sul proprio strumento, su corpus scelti da lui. Sono utili come punto di partenza, e il repository include il replay così puoi verificarli. LSDF funziona davanti a qualsiasi modello, anche quelli che BroadNet non ospita.

Quali sono i limiti?

Lo studio è un preprint, non sottoposto a peer review. In base alla policy di pubblicazione responsabile di BroadNet, prompt esatti, formati delle credenziali e soglie sono esclusi dalla versione pubblica e condivisi su richiesta con i provider dei modelli e i ricercatori. Le versioni dei modelli cambiano in fretta, quindi un verdetto dell’aprile 2026 è un motivo per testare, non un sostituto dei test.

Domande frequenti

Quali modelli sono andati meglio nella Safety Map?

L’abstract mette in cima un gruppo di frontiera per l’allineamento, uniformemente sicuro in tutte le categorie testate: Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. Claude Sonnet 4.6 è appena sotto, con una sola fuga di dati sanitari, limitata alla data di nascita, su 15 esecuzioni.

Un modello che non fa mai trapelare chiavi API è sicuro con i dati dei pazienti?

Non necessariamente. Lo studio ha rilevato che la sicurezza si separa per categoria: un modello che proteggeva credenziali, Social Security number e password di database poteva comunque nominare i dipendenti di un documento sugli stipendi a ogni esecuzione.

Perché contano le tool call?

Perché molti filtri controllano solo la risposta in chat. Su 73 esecuzioni in cui il modello compilava gli argomenti di una tool call, 20 hanno inviato valori sensibili tramite quel canale, anche in un modello per il resto sicuro su più esecuzioni.

I piccoli modelli mixture of experts perdono più dati?

Lo studio indica una soglia di capacità di circa 24B di parametri attivi sulle credenziali, e i design mixture of experts con pochi parametri attivi ne sono l’espressione principale. Il post pratico di BroadNet dice di non aver ancora trovato un modello MoE sotto i 24B di parametri attivi che non perda dati sulle sue sonde a dati strutturati.

I modelli di BroadNet Inference sono nella Safety Map?

L’abstract non riporta verdetti per singolo modello su di essi, e il preprint risale ad aprile 2026, quindi un modello uscito dopo non può esserci. Gemma 4 VL 26B ha circa 4B di parametri attivi, quindi testalo con le tue sonde sui dati sensibili, oppure oscura i dati prima dell’invio, se vedrà credenziali o dati personali.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity