---
title: "Évaluer un LLM sur les données sensibles : BroadNet | BroadRouter"
description: "La méthode de BroadNet pour tester avant déploiement si un LLM divulgue identifiants, PII, santé ou finance : catégories, fuite ou oubli, au moins 3 exécutions."
url: https://broadrouter.com/fr/blog/llm-sensitive-data-safety-evaluation-method/
lang: fr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (mis à jour le 2026-11-15).

# Tester un LLM sur les données sensibles : la méthode de BroadNet

Par l’équipe BroadNet Inference · 3 min de lecture · Publié 2026-11-15

Le preprint de BroadNet d’avril 2026 (DOI 10.5281/zenodo.19574049, aussi sur SSRN) décrit un test de sécurité des données sensibles avant déploiement. Testez séparément quatre catégories (identifiants, PII, données de santé et financières), comptez les fuites et les oublis comme des échecs distincts, notez de façon binaire et exécutez chaque test au moins trois fois. Dans ses tests, les règles de prompt et le fine-tuning sur des exemples négatifs ont aggravé les fuites.

## À retenir

-   Preprint sur Zenodo, DOI 10.5281/zenodo.19574049 (14 avril 2026, CC BY 4.0), reproduit sur SSRN sous 10.2139/ssrn.6565139. Non évalué par les pairs.
-   Les benchmarks de capacités mesurent ce qu’un modèle sait faire ; cette méthode mesure ce qu’il ne doit pas faire.
-   Deux modes d’échec : la fuite (reproduire une valeur sensible) et l’oubli (ne pas la signaler). Notez-les séparément.
-   La sécurité n’est pas déterministe : fondez chaque verdict sur 3 exécutions ou plus, jamais sur un seul passage.
-   Dans les tests de BroadNet, des instructions de prompt agressives et le fine-tuning sur des exemples négatifs ont augmenté les taux de fuite.

**Sur cette page**

1.  Pourquoi les benchmarks habituels ne détectent-ils pas cela ?
2.  Que teste la méthode ?
3.  Comment noter les résultats ?
4.  Qu’est-ce qui n’a pas marché ?
5.  Que ne publie pas l’article ?
6.  Quel lien avec BroadNet Inference ?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

La branche recherche de BroadNet a publié une méthode pratique pour tester, avant déploiement, si un grand modèle de langage laisse fuir des données sensibles. Le preprint, _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_, est sur Zenodo sous le DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), daté du 14 avril 2026, et reproduit sur SSRN. Sa notice Zenodo indique Mohammad Al Zubaidi comme auteur.

Cette page résume la méthode et ses résultats. C’est le travail de BroadNet, et les résultats sont les siens ; nous ne les avons pas reproduits.

## Pourquoi les benchmarks habituels ne détectent-ils pas cela ?

Les benchmarks publics mesurent les capacités : ce qu’un modèle sait faire au mieux. Un modèle déployé pour auditer un fichier de configuration ou une note clinique doit aussi ne pas faire quelque chose : répéter le secret qu’il a trouvé. L’exemple de l’article le montre bien. Un modèle qui obtient 95 sur 99 tâches et recopie une clé d’API à la centième atteint une moyenne de 94 et reste inutilisable en production.

BroadNet appelle cela tester des planchers plutôt que des plafonds, et l’article traite « capability and constraint » (traduction : « capacité et contrainte ») comme des axes indépendants.

## Que teste la méthode ?

Quatre catégories, chacune testée séparément :

| Catégorie | Exemples | Comment un modèle la reconnaît |
| --- | --- | --- |
| Identifiants | Clés d’API, jetons, clés SSH, mots de passe de base de données | Surtout par le format ; les mots de passe dans les chaînes de connexion n’ont aucun indice de format |
| Données personnelles (PII) | Noms, e-mails, numéros de téléphone, identifiants officiels | Le format pour les identifiants structurés, le sens pour le texte libre |
| Informations de santé protégées (PHI) | Diagnostics, prescriptions, notes cliniques | Souvent par le contexte : un diagnostic à côté d’un nom |
| Données financières | Numéros de compte, soldes, transactions | Le format, mais moins souvent traitées comme sensibles |

Le résumé fait état de tests sur « 24+ models across 6 model families » (traduction : « plus de 24 modèles de 6 familles ») et constate une hiérarchie nette : la reconnaissance par le format, comme pour les identifiants structurés et les numéros de sécurité sociale américains, est bien plus fiable que la reconnaissance par le contexte, comme pour des noms qui deviennent sensibles à côté d’un diagnostic. Un modèle avec 0 % de fuite d’identifiants a laissé fuir des identifiants de patients à chaque exécution de test PHI.

## Comment noter les résultats ?

L’article propose un protocole minimal :

1.  **Notation binaire.** Chaque exécution est sûre ou ne l’est pas ; pas de crédit partiel pour une réponse « plutôt sûre ».
2.  **Fuites et oublis notés séparément.** Les fusionner en un seul chiffre masque celui qui compte pour votre cas d’usage.
3.  **Plusieurs exécutions.** Trois ou plus par modèle et par sonde, car le même modèle peut réussir un jour et fuir le lendemain.
4.  **Catégorie par catégorie.** La sécurité sur les identifiants ne dit rien de la sécurité sur les dossiers médicaux.

L’article pratique de BroadNet ajoute des règles d’exploitation qu’elle applique en pilote : utiliser uniquement des données synthétiques, tester la configuration de déploiement complète (prompt système, outils et récupération compris), exiger cinq exécutions propres consécutives avant la production, et retester chaque mois pour les modèles auto-hébergés et chaque semaine pour les modèles tiers souvent mis à jour.

## Qu’est-ce qui n’a pas marché ?

Deux correctifs courants ont aggravé les choses dans les tests de BroadNet :

-   **Les instructions de prompt.** L’ajout de « do not reveal credentials » (traduction : « ne révèle pas les identifiants ») était parfois ignoré, et la stratégie de prompt la plus insistante a provoqué des fuites chez un modèle propre au départ.
-   **Le fine-tuning sur des exemples négatifs.** Entraîner un modèle à refuser une catégorie a augmenté les taux de fuite au lieu de les réduire.

Ce qui a tenu, selon BroadNet, c’est la combinaison de trois couches : choisir un modèle moins risqué pour la catégorie, filtrer la sortie avec un outil déterministe (elle cite [Microsoft Presidio](https://github.com/microsoft/presidio) et LLM Guard), et masquer l’entrée avant de construire le prompt quand la tâche n’a pas besoin des valeurs. Notre [guide sur l’envoi de données sensibles à une API LLM](https://broadrouter.com/fr/blog/llm-api-sensitive-data/) montre l’étape de masquage en code.

## Que ne publie pas l’article ?

Selon sa politique de publication responsable, BroadNet publie les catégories, la philosophie de notation, la taille des échantillons et les réserves, mais pas les modèles de prompt exacts, les formats d’identifiants ni les seuils de réussite et d’échec. Sa raison : les publier réduirait l’effort nécessaire à l’extraction sans offrir de défense aux équipes qui déploient. Les fournisseurs de modèles et les chercheurs en sécurité peuvent les demander. La méthode est donc reproductible dans sa forme, mais pas chiffre pour chiffre.

## Quel lien avec BroadNet Inference ?

C’est un test de modèles, pas de fournisseur. Il s’applique à n’importe quel modèle sur n’importe quelle API, y compris ceux de [BroadNet Inference](https://broadrouter.com/fr/models/). L’article compagnon, [la Safety Map](https://broadrouter.com/fr/blog/llm-safety-map-39-models/), l’applique à 39 modèles de 14 labos et constate que des valeurs sensibles peuvent aussi sortir par les arguments d’appel d’outil et les champs de raisonnement. BroadNet a ensuite publié un pare-feu open source fondé sur les deux articles, LSDF, décrit dans le résumé de la Safety Map.

La conservation chez le fournisseur est une question distincte : la [conservation zéro des données](https://broadrouter.com/fr/privacy/) couvre ce que BroadNet stocke, pas ce qu’un modèle écrit dans vos propres systèmes.

Outils gratuits sur ce sujet (en anglais)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Outils gratuits (en anglais)](https://broadrouter.com/tools/)

## Termes de cet article

[Fine-tuning (affinage d’un modèle)](https://broadrouter.com/fr/glossary/fine-tuning/)

Le fine-tuning consiste à poursuivre l’entraînement d’un modèle de langage pré-entraîné sur un jeu de données plus petit et propre à une tâche, comme des conversations d’exemple, pour que ses poids changent et qu’il exécute cette tâche ou ce style de façon plus fiable, sans longues instructions ni exemples dans chaque prompt.

[PII (données d’identification personnelle)](https://broadrouter.com/fr/glossary/pii/)

Les PII (personally identifiable information) sont les informations permettant de distinguer ou de retrouver l’identité d’une personne, comme un nom, un numéro d’identité ou des données biométriques, et toute information qui lui est liée ou rattachable. Le RGPD parle plus largement de données personnelles. Avec les LLM, le masquage des PII les retire des prompts avant qu’ils quittent vos systèmes.

[Token](https://broadrouter.com/fr/glossary/token/)

Un token est l’unité de texte qu’un modèle de langage lit et écrit : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets produite par le tokenizer du modèle. Les API LLM comptent, limitent et facturent généralement l’usage en tokens.

[Appel d’outils (tool calling, function calling)](https://broadrouter.com/fr/glossary/tool-calling/)

L’appel d’outils, aussi appelé function calling, est une fonctionnalité des API LLM dans laquelle le modèle renvoie une demande structurée d’exécution d’une fonction définie par le développeur, avec des arguments JSON. L’application exécute la fonction et renvoie le résultat ; le modèle n’exécute jamais de code lui-même.

[Clé d’API (API key)](https://broadrouter.com/fr/glossary/api-key/)

Une clé d’API est une chaîne secrète qui identifie et autorise un client qui appelle une API. Les API LLM l’attendent généralement dans un en-tête Authorization: Bearer, et quiconque détient la clé peut envoyer des requêtes facturées au compte qui la possède.

[Prompt système (system prompt)](https://broadrouter.com/fr/glossary/system-prompt/)

Le prompt système est le texte d’instructions qu’une application envoie à un modèle de langage avant la conversation, généralement sous forme de message au rôle system ou developer. Il fixe le rôle, les règles, le ton et le format de sortie du modèle, qui est censé le suivre même face à des messages contradictoires de l’utilisateur.

## Questions fréquentes

### Quelle différence entre une fuite et un oubli ?

Une fuite, c’est le modèle qui répète une valeur sensible là où il ne devrait pas, par exemple en recopiant une clé d’API dans un rapport. Un oubli, c’est le modèle qui ne signale pas une valeur sensible alors que c’est sa tâche. La méthode de BroadNet les note séparément, car les risques diffèrent.

### Combien d’exécutions le test demande-t-il ?

Au moins trois par sonde. Le protocole pratique de BroadNet exige en plus cinq exécutions propres consécutives avant de déclarer un modèle sûr pour la production, réparties sur au moins deux jours calendaires pour repérer les changements côté fournisseur.

### Un prompt système disant « ne révèle jamais de secrets » aide-t-il ?

Pas de manière fiable. Dans les tests de BroadNet, la stratégie de prompt la plus insistante a provoqué des fuites chez un modèle qui était propre sans elle, et le fine-tuning sur des exemples négatifs a aussi augmenté les taux de fuite.

### Puis-je obtenir les prompts de test exacts de BroadNet ?

Pas publiquement. Selon sa politique de publication responsable, BroadNet ne publie pas les modèles de prompt exacts, les formats d’identifiants ni les seuils de réussite ou d’échec, et les partage sur demande avec les fournisseurs de modèles et les chercheurs en sécurité.

### La conservation zéro des données rend-elle ce test inutile ?

Non. La conservation zéro des données porte sur ce que le fournisseur stocke. Ce test porte sur ce que le modèle écrit dans sa propre sortie, qui atterrit ensuite dans vos logs, vos tickets et vos systèmes en aval.

## À lire ensuite

-   [La Safety Map : comment 39 LLM traitent les données sensibles](https://broadrouter.com/fr/blog/llm-safety-map-39-models/)
-   [Données sensibles et API LLM : masquer, minimiser, moins journaliser](https://broadrouter.com/fr/blog/llm-api-sensitive-data/)
-   [Comment évaluer un LLM avant de changer de fournisseur](https://broadrouter.com/fr/blog/evaluate-llm-before-switching/)
-   [API LLM à conservation zéro des données : checklist en 10 questions](https://broadrouter.com/fr/blog/zero-data-retention-llm-api-checklist/)
-   [La loi égyptienne sur les données (loi 151 de 2020) et les API LLM](https://broadrouter.com/fr/blog/egypt-data-protection-law-llm-api/)
-   [PDPL saoudienne et émiratie et API LLM : checklist des transferts](https://broadrouter.com/fr/blog/saudi-uae-pdpl-llm-api-checklist/)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Sources**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, preprint Zenodo, 2026-04-14 (notice consultée le 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Le même article sur SSRN, résumé 6565139 (DOI indiqué par BroadNet ; consulté le 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Blog de BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12 mai 2026 ; consulté le 2026-11-15) (en anglais)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research : politique de publication responsable (consulté le 2026-11-15) (en anglais)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (consulté le 2026-11-15)](https://github.com/microsoft/presidio)
