BroadRouter

La Safety Map : comment 39 LLM traitent les données sensibles

Par l’équipe BroadNet Inference · 3 min de lecture · Publié · Mis à jour

La Safety Map est un preprint de BroadNet d’avril 2026 (DOI 10.5281/zenodo.19688433). Elle a testé 39 modèles de 14 labos sur 7 sondes couvrant identifiants, PII, données de santé, numéros de compte et analyse DLP, en environ 1 300 évaluations à plusieurs exécutions. La sécurité ne s’est transférée ni entre catégories ni entre canaux de sortie : 20 des 73 exécutions qui remplissaient des arguments d’appel d’outil ont fui par ce biais.

La Safety Map est l’étude de BroadNet sur la façon dont les grands modèles de langage traitent les données sensibles. Le preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, a été publié sur Zenodo le 22 avril 2026 sous le DOI 10.5281/zenodo.19688433, avec Mohammad Al Zubaidi comme auteur. Il accompagne la méthode d’évaluation des données sensibles de BroadNet.

Ce qui suit est notre résumé du résumé de l’article et de la page de recherche de BroadNet. Les verdicts sont ceux de BroadNet.

Que couvrait l’étude ?

Dimension Couverture
Modèles 39, issus de 14 labos indépendants
Scénarios de sonde 7
Catégories Identifiants, PII, informations de santé protégées (PHI), numéros de comptes financiers, analyse de prévention des pertes de données (DLP)
Éléments de preuve plus de 135 combinaisons modèle-sonde classées, issues d’environ 1 300 évaluations à plusieurs exécutions

Le catalogue de BroadNet indique qu’elle a fait passer environ 90 modèles distants et API, jamais exécutés sur son propre matériel, dans ses bancs de test de sécurité, de routage et d’arabe, et que ces résultats alimentent cette cartographie.

Quels sont les principaux résultats ?

La sécurité est une surface, pas un score unique. Elle varie selon trois axes qui se cumulent :

  • L’architecture. L’article signale un plancher de capacité d’environ 24B de paramètres actifs sur les identifiants, quelles que soient les architectures de routage, avec les modèles mixture of experts à peu de paramètres actifs comme cas principal.
  • La génération. La qualité de l’alignement déplace la frontière au sein d’une même famille de modèles.
  • L’investissement du labo dans l’alignement. Un modèle phare d’un labo connu n’est pas une garantie.

Aucun des trois ne prédit la sécurité à lui seul ; ils se combinent.

La sécurité ne se transfère pas entre catégories. Traiter proprement les identifiants et les numéros de sécurité sociale américains ne s’est pas étendu aux noms, aux dossiers médicaux ni aux numéros de compte dans le même modèle.

Les canaux de sortie fuient indépendamment. C’est le résultat qui pèse le plus en pratique :

  • Sur 73 exécutions qui remplissaient tool_calls.arguments, 20 ont envoyé des valeurs sensibles via l’appel d’outil. Parmi les modèles à l’origine de ces exécutions figurait Kimi K2.6 de Moonshot, testé le jour de sa sortie, un modèle que l’article juge par ailleurs sûr sur plusieurs exécutions pour les identifiants, les PII, les données financières et la DLP.
  • Sur 43 exécutions où le fournisseur remplissait reasoning_content avec au moins 20 caractères, 29 ont laissé fuir des valeurs sensibles dans le raisonnement alors que la réponse du chat était jugée sûre, manquée ou tronquée.

L’élagage peut casser la sécurité. Deux versions élaguées indépendantes de la gamme Llama de Meta, réalisées par NVIDIA par recherche d’architecture neuronale, ont cassé la sécurité des données de santé par des canaux de sortie différents.

L’article se termine par un classement en cinq niveaux. Son groupe de tête, uniformément sûr dans toutes les catégories testées, comprend Claude Opus 4.7, GPT-5.4 et GPT-5.4-mini, Gemini 3 Flash et Gemini 3.1 Pro. Le résumé précise que les modèles phares xAI Grok et Meta Llama n’en font pas partie.

Que changer dans votre propre stack ?

  1. Filtrez chaque canal. Un contrôle de la réponse visible manque les arguments d’appel d’outil et les champs de raisonnement. Si vous utilisez l’appel d’outils ou un modèle de raisonnement, inspectez les deux.
  2. Testez par catégorie. Un résultat propre sur les identifiants ne dit rien des données de santé ou de salaire.
  3. Retestez à chaque mise à jour de modèle. Le résultat de Kimi K2.6 venait d’un modèle testé le jour de sa sortie.
  4. Masquez d’abord quand c’est possible. Un modèle ne peut pas divulguer ce qu’il n’a jamais vu. Notre guide sur les données sensibles montre le masquage par marqueurs en Python.

Qu’est-ce que LSDF ?

LSDF, le LLM Sensitive Data Firewall, est le dispositif de contrôle que BroadNet a construit à partir de ces deux articles et publié en open source sous Apache-2.0 sur github.com/brntech/lsdf. C’est un reverse proxy pour l’API Chat Completions compatible OpenAI : vous pointez l’URL de base de votre client vers lui, et il transmet à votre serveur de modèles ou à votre fournisseur. Selon BroadNet, il inspecte les requêtes, les réponses, les chunks diffusés en streaming, les arguments d’appel d’outil diffusés, le contexte récupéré et les champs de raisonnement, et nettoie séparément les traces et les logs.

L’évaluation de BroadNet de mai 2026, sur ses propres corpus, rapporte ce rappel :

Pile de détecteurs Rejeu d’identifiants PHI cliniques PII anglaises générales
Regex seules 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
Détecteurs PII généraux de LSDF 1,000 0,944 0,685

Ce sont les chiffres d’un éditeur pour son propre outil, sur des corpus qu’il a choisis. Ils sont utiles comme point de départ, et le dépôt fournit le rejeu pour que vous puissiez les vérifier. LSDF fonctionne devant n’importe quel modèle, y compris ceux que BroadNet n’héberge pas.

Quelles sont les limites ?

L’article est un preprint, non évalué par les pairs. Selon la politique de publication responsable de BroadNet, les prompts exacts, les formats d’identifiants et les seuils sont retirés de la version publique et partagés sur demande avec les fournisseurs de modèles et les chercheurs. Les versions des modèles changent vite : un verdict d’avril 2026 est une raison de tester, pas un substitut aux tests.

Questions fréquentes

Quels modèles ont obtenu les meilleurs résultats dans la Safety Map ?

Le résumé place en tête un groupe à alignement de pointe, uniformément sûr dans toutes les catégories testées : Claude Opus 4.7, GPT-5.4 et GPT-5.4-mini, Gemini 3 Flash et Gemini 3.1 Pro. Claude Sonnet 4.6 se situe juste en dessous, avec une seule fuite de données de santé, limitée à la date de naissance, sur 15 exécutions.

Un modèle qui ne divulgue jamais de clés d’API est-il sûr avec des données de patients ?

Pas forcément. L’article constate que la sécurité se dissocie selon la catégorie : un modèle qui protégeait les identifiants, les numéros de sécurité sociale américains et les mots de passe de base de données pouvait quand même nommer des employés figurant dans un document de salaires, à chaque exécution.

Pourquoi les appels d’outils comptent-ils ?

Parce que beaucoup de filtres ne vérifient que la réponse du chat. Sur 73 exécutions où le modèle remplissait des arguments d’appel d’outil, 20 ont envoyé des valeurs sensibles par ce canal, y compris chez un modèle par ailleurs sûr sur plusieurs exécutions.

Les petits modèles mixture of experts fuient-ils davantage ?

L’article signale un plancher de capacité d’environ 24B de paramètres actifs sur les identifiants, qui se manifeste surtout dans les architectures mixture of experts à peu de paramètres actifs. L’article pratique de BroadNet indique n’avoir encore trouvé aucun modèle MoE sous 24B de paramètres actifs qui ne fuie pas sur ses sondes de données structurées.

Les modèles de BroadNet Inference figurent-ils dans la Safety Map ?

Le résumé ne donne pas de verdict modèle par modèle pour eux, et le preprint date d’avril 2026 : un modèle sorti après ne peut donc pas y figurer. Gemma 4 VL 26B a environ 4B de paramètres actifs : testez-le avec vos propres sondes de données sensibles, ou masquez avant l’envoi, s’il doit voir des identifiants ou des données personnelles.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity