La Safety Map è l’indagine di BroadNet su come i modelli linguistici di grandi dimensioni gestiscono i dati sensibili. Il preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, è stato pubblicato su Zenodo il 22 aprile 2026 con DOI 10.5281/zenodo.19688433, e ha come autore Mohammad Al Zubaidi. Accompagna il metodo di valutazione dei dati sensibili di BroadNet.
Quello che segue è il nostro riassunto dell’abstract e della pagina di ricerca di BroadNet. I verdetti sono di BroadNet.
Cosa copriva l’indagine?
| Dimensione | Copertura |
|---|---|
| Modelli | 39, da 14 laboratori indipendenti |
| Scenari di sonda | 7 |
| Categorie | Credenziali, PII, informazioni sanitarie protette (PHI), numeri di conti finanziari, scansione di data loss prevention (DLP) |
| Evidenze | Oltre 135 combinazioni modello-sonda classificate, da circa 1.300 valutazioni multi-run |
Il catalogo di BroadNet afferma di aver fatto passare circa 90 modelli remoti e via API, mai eseguiti sul proprio hardware, attraverso i suoi banchi di prova di sicurezza, routing e arabo, e che quei risultati alimentano questa mappa.
Quali sono i risultati principali?
La sicurezza è una superficie, non un punteggio unico. Varia lungo tre assi che si sommano:
- Architettura. Lo studio indica una soglia di capacità di circa 24B di parametri attivi sulle credenziali, trasversale ai diversi design di routing, con i modelli mixture of experts a pochi parametri attivi come caso principale.
- Generazione. La qualità dell’allineamento sposta il confine all’interno di una stessa famiglia di modelli.
- L’investimento del laboratorio nell’allineamento. Un’etichetta di modello di punta di un laboratorio noto non è una garanzia.
Nessuno dei tre predice da solo la sicurezza; si combinano.
La sicurezza non si trasferisce tra categorie. Gestire correttamente credenziali e Social Security number non si è tradotto, nello stesso modello, in una gestione corretta di nomi, cartelle cliniche o numeri di conto.
I canali di output perdono dati in modo indipendente. È il risultato con il peso pratico maggiore:
- Su 73 esecuzioni che compilavano
tool_calls.arguments, 20 hanno inviato valori sensibili tramite la tool call. Tra i modelli dietro quelle esecuzioni c’era Kimi K2.6 di Moonshot, testato il giorno del rilascio, un modello che lo studio valuta per il resto sicuro su più esecuzioni per credenziali, PII, dati finanziari e DLP. - Su 43 esecuzioni in cui il provider compilava
reasoning_contentcon almeno 20 caratteri, 29 hanno fatto trapelare valori sensibili nel ragionamento mentre la risposta in chat era valutata sicura, mancante o troncata.
Il pruning può rompere la sicurezza. Due versioni potate indipendenti della linea Llama di Meta, realizzate da NVIDIA con neural architecture search, hanno rotto la sicurezza sui dati sanitari attraverso canali di output diversi.
Lo studio si chiude con una classifica a cinque livelli. Il gruppo di testa, uniformemente sicuro in tutte le categorie testate, è composto da Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. L’abstract precisa che i modelli di punta di xAI Grok e Meta Llama non rientrano in quel gruppo.
Cosa cambiare nel tuo stack?
- Filtra ogni canale. Un controllo sulla risposta visibile non vede gli argomenti delle tool call né i campi di ragionamento. Se usi il tool calling o un modello di ragionamento, ispeziona entrambi.
- Testa per categoria. Un risultato pulito sulle credenziali non dice nulla su dati sanitari o stipendi.
- Ripeti i test a ogni aggiornamento del modello. Il risultato di Kimi K2.6 viene da un modello appena rilasciato.
- Oscura prima, dove puoi. Un modello non può far trapelare ciò che non ha mai visto. La nostra guida ai dati sensibili mostra l’oscuramento con segnaposto in Python.
Cos’è LSDF?
LSDF, l’LLM Sensitive Data Firewall, è il controllo che BroadNet ha costruito a partire da questi due studi e rilasciato come open source con licenza Apache-2.0 su github.com/brntech/lsdf. È un reverse proxy per l’API chat completions compatibile con OpenAI: punti il base URL del tuo client su di esso, e lui inoltra al tuo server di modelli o al tuo provider. Secondo BroadNet ispeziona richieste, risposte, chunk in streaming, argomenti delle tool call in streaming, contesto recuperato e campi di ragionamento, e ripulisce separatamente trace e log.
La valutazione di BroadNet del maggio 2026 sui propri corpus riporta questa recall:
| Stack di rilevatori | Replay di credenziali | PHI clinici | PII generici in inglese |
|---|---|---|---|
| Solo regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| Rilevatori PII generici di LSDF | 1,000 | 0,944 | 0,685 |
Sono numeri di un fornitore sul proprio strumento, su corpus scelti da lui. Sono utili come punto di partenza, e il repository include il replay così puoi verificarli. LSDF funziona davanti a qualsiasi modello, anche quelli che BroadNet non ospita.
Quali sono i limiti?
Lo studio è un preprint, non sottoposto a peer review. In base alla policy di pubblicazione responsabile di BroadNet, prompt esatti, formati delle credenziali e soglie sono esclusi dalla versione pubblica e condivisi su richiesta con i provider dei modelli e i ricercatori. Le versioni dei modelli cambiano in fretta, quindi un verdetto dell’aprile 2026 è un motivo per testare, non un sostituto dei test.
