La Safety Map est l’étude de BroadNet sur la façon dont les grands modèles de langage traitent les données sensibles. Le preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, a été publié sur Zenodo le 22 avril 2026 sous le DOI 10.5281/zenodo.19688433, avec Mohammad Al Zubaidi comme auteur. Il accompagne la méthode d’évaluation des données sensibles de BroadNet.
Ce qui suit est notre résumé du résumé de l’article et de la page de recherche de BroadNet. Les verdicts sont ceux de BroadNet.
Que couvrait l’étude ?
| Dimension | Couverture |
|---|---|
| Modèles | 39, issus de 14 labos indépendants |
| Scénarios de sonde | 7 |
| Catégories | Identifiants, PII, informations de santé protégées (PHI), numéros de comptes financiers, analyse de prévention des pertes de données (DLP) |
| Éléments de preuve | plus de 135 combinaisons modèle-sonde classées, issues d’environ 1 300 évaluations à plusieurs exécutions |
Le catalogue de BroadNet indique qu’elle a fait passer environ 90 modèles distants et API, jamais exécutés sur son propre matériel, dans ses bancs de test de sécurité, de routage et d’arabe, et que ces résultats alimentent cette cartographie.
Quels sont les principaux résultats ?
La sécurité est une surface, pas un score unique. Elle varie selon trois axes qui se cumulent :
- L’architecture. L’article signale un plancher de capacité d’environ 24B de paramètres actifs sur les identifiants, quelles que soient les architectures de routage, avec les modèles mixture of experts à peu de paramètres actifs comme cas principal.
- La génération. La qualité de l’alignement déplace la frontière au sein d’une même famille de modèles.
- L’investissement du labo dans l’alignement. Un modèle phare d’un labo connu n’est pas une garantie.
Aucun des trois ne prédit la sécurité à lui seul ; ils se combinent.
La sécurité ne se transfère pas entre catégories. Traiter proprement les identifiants et les numéros de sécurité sociale américains ne s’est pas étendu aux noms, aux dossiers médicaux ni aux numéros de compte dans le même modèle.
Les canaux de sortie fuient indépendamment. C’est le résultat qui pèse le plus en pratique :
- Sur 73 exécutions qui remplissaient
tool_calls.arguments, 20 ont envoyé des valeurs sensibles via l’appel d’outil. Parmi les modèles à l’origine de ces exécutions figurait Kimi K2.6 de Moonshot, testé le jour de sa sortie, un modèle que l’article juge par ailleurs sûr sur plusieurs exécutions pour les identifiants, les PII, les données financières et la DLP. - Sur 43 exécutions où le fournisseur remplissait
reasoning_contentavec au moins 20 caractères, 29 ont laissé fuir des valeurs sensibles dans le raisonnement alors que la réponse du chat était jugée sûre, manquée ou tronquée.
L’élagage peut casser la sécurité. Deux versions élaguées indépendantes de la gamme Llama de Meta, réalisées par NVIDIA par recherche d’architecture neuronale, ont cassé la sécurité des données de santé par des canaux de sortie différents.
L’article se termine par un classement en cinq niveaux. Son groupe de tête, uniformément sûr dans toutes les catégories testées, comprend Claude Opus 4.7, GPT-5.4 et GPT-5.4-mini, Gemini 3 Flash et Gemini 3.1 Pro. Le résumé précise que les modèles phares xAI Grok et Meta Llama n’en font pas partie.
Que changer dans votre propre stack ?
- Filtrez chaque canal. Un contrôle de la réponse visible manque les arguments d’appel d’outil et les champs de raisonnement. Si vous utilisez l’appel d’outils ou un modèle de raisonnement, inspectez les deux.
- Testez par catégorie. Un résultat propre sur les identifiants ne dit rien des données de santé ou de salaire.
- Retestez à chaque mise à jour de modèle. Le résultat de Kimi K2.6 venait d’un modèle testé le jour de sa sortie.
- Masquez d’abord quand c’est possible. Un modèle ne peut pas divulguer ce qu’il n’a jamais vu. Notre guide sur les données sensibles montre le masquage par marqueurs en Python.
Qu’est-ce que LSDF ?
LSDF, le LLM Sensitive Data Firewall, est le dispositif de contrôle que BroadNet a construit à partir de ces deux articles et publié en open source sous Apache-2.0 sur github.com/brntech/lsdf. C’est un reverse proxy pour l’API Chat Completions compatible OpenAI : vous pointez l’URL de base de votre client vers lui, et il transmet à votre serveur de modèles ou à votre fournisseur. Selon BroadNet, il inspecte les requêtes, les réponses, les chunks diffusés en streaming, les arguments d’appel d’outil diffusés, le contexte récupéré et les champs de raisonnement, et nettoie séparément les traces et les logs.
L’évaluation de BroadNet de mai 2026, sur ses propres corpus, rapporte ce rappel :
| Pile de détecteurs | Rejeu d’identifiants | PHI cliniques | PII anglaises générales |
|---|---|---|---|
| Regex seules | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| Détecteurs PII généraux de LSDF | 1,000 | 0,944 | 0,685 |
Ce sont les chiffres d’un éditeur pour son propre outil, sur des corpus qu’il a choisis. Ils sont utiles comme point de départ, et le dépôt fournit le rejeu pour que vous puissiez les vérifier. LSDF fonctionne devant n’importe quel modèle, y compris ceux que BroadNet n’héberge pas.
Quelles sont les limites ?
L’article est un preprint, non évalué par les pairs. Selon la politique de publication responsable de BroadNet, les prompts exacts, les formats d’identifiants et les seuils sont retirés de la version publique et partagés sur demande avec les fournisseurs de modèles et les chercheurs. Les versions des modèles changent vite : un verdict d’avril 2026 est une raison de tester, pas un substitut aux tests.
