Der Forschungsbereich von BroadNet hat eine praktische Methode veröffentlicht, mit der Sie vor dem Deployment testen, ob ein großes Sprachmodell sensible Daten leakt. Das Preprint How to Evaluate an LLM for Sensitive Data Safety Before Deploying It liegt auf Zenodo unter der DOI 10.5281/zenodo.19574049, datiert auf den 14. April 2026, und ist auf SSRN gespiegelt. Der Zenodo-Eintrag nennt Mohammad Al Zubaidi als Autor.
Diese Seite fasst die Methode und ihre Ergebnisse zusammen. Es ist die Arbeit von BroadNet, und die Ergebnisse sind die von BroadNet; wir haben sie nicht nachgestellt.
Warum erkennen normale Benchmarks das nicht?
Öffentliche Benchmarks messen Fähigkeiten: was ein Modell im besten Fall kann. Ein Modell, das eine Konfigurationsdatei oder eine klinische Notiz prüfen soll, darf aber auch etwas nicht tun: das gefundene Geheimnis wiederholen. Das Beispiel im Paper macht das deutlich. Ein Modell, das bei 99 Aufgaben 95 Punkte erreicht und bei der hundertsten einen API-Schlüssel wiedergibt, kommt im Schnitt auf 94 und ist in der Produktion trotzdem unbrauchbar.
BroadNet nennt das Testen auf Untergrenzen statt auf Obergrenzen, und das Paper behandelt „capability and constraint“ (Übersetzung: Fähigkeit und Einschränkung) als unabhängige Achsen.
Was testet die Methode?
Vier Kategorien, jede für sich getestet:
| Kategorie | Beispiele | Wie ein Modell sie erkennt |
|---|---|---|
| Zugangsdaten | API-Schlüssel, Tokens, SSH-Schlüssel, Datenbankpasswörter | Meist am Format; Passwörter in Connection Strings haben keinen Formathinweis |
| Personenbezogene Daten (PII) | Namen, E-Mail-Adressen, Telefonnummern, amtliche Kennungen | Format bei strukturierten Kennungen, Bedeutung bei Freitext |
| Geschützte Gesundheitsdaten (PHI) | Diagnosen, Rezepte, klinische Notizen | Oft am Kontext: eine Diagnose neben einem Namen |
| Finanzdaten | Kontonummern, Kontostände, Transaktionen | Format, wird aber seltener als sensibel behandelt |
Der Abstract berichtet von Tests mit „24+ models across 6 model families“ (Übersetzung: über 24 Modellen aus 6 Modellfamilien) und findet eine klare Hierarchie: Erkennung über das Format, etwa bei strukturierten Zugangsdaten und US-Sozialversicherungsnummern, ist deutlich zuverlässiger als Erkennung über den Kontext, etwa bei Namen, die neben einer Diagnose sensibel werden. Ein Modell mit 0 % Leckrate bei Zugangsdaten leakte in jedem PHI-Testlauf Patientenkennungen.
Wie sollten die Ergebnisse bewertet werden?
Das Paper schlägt ein Mindestprotokoll vor:
- Binäre Bewertung. Jeder Lauf ist sicher oder nicht; keine Teilpunkte für eine „größtenteils sichere“ Antwort.
- Leck und Miss getrennt bewerten. Wer beides in einer Zahl zusammenfasst, verdeckt die, die für Ihren Anwendungsfall zählt.
- Mehrere Läufe. Drei oder mehr pro Modell und Probe, denn dasselbe Modell kann an einem Tag bestehen und am nächsten leaken.
- Kategorie für Kategorie. Sicherheit bei Zugangsdaten sagt nichts über Sicherheit bei Gesundheitsakten.
Der Praxisbeitrag von BroadNet ergänzt Betriebsregeln, die das Unternehmen bei Pilotprojekten anwendet: nur synthetische Daten verwenden, die vollständige Deployment-Konfiguration testen (einschließlich System-Prompt, Tools und Retrieval), fünf aufeinanderfolgende saubere Läufe vor der Produktion verlangen und monatlich neu testen bei selbst gehosteten Modellen, wöchentlich bei Modellen von Drittanbietern, die sich oft ändern.
Was hat nicht funktioniert?
Zwei gängige Lösungen machten es in den Tests von BroadNet schlimmer:
- Prompt-Anweisungen. Der Zusatz „do not reveal credentials“ (Übersetzung: gib keine Zugangsdaten preis) wurde manchmal ignoriert, und die nachdrücklichste Prompting-Strategie verursachte Lecks bei einem Modell, das in der Baseline sauber war.
- Fine-Tuning auf Negativbeispielen. Ein Modell darauf zu trainieren, eine Kategorie zu verweigern, erhöhte die Leckrate, statt sie zu senken.
Was nach Darstellung von BroadNet hielt, waren drei Schichten zusammen: ein Modell mit geringerem Risiko für die Kategorie wählen, die Ausgabe mit einem deterministischen Tool filtern (genannt werden Microsoft Presidio und LLM Guard) und die Eingabe schwärzen, bevor der Prompt gebaut wird, wenn die Aufgabe die Werte nicht braucht. Unser Leitfaden zum Senden sensibler Daten an eine LLM API zeigt den Schwärzungsschritt im Code.
Was veröffentlicht das Paper nicht?
Gemäß seiner Richtlinie zur verantwortungsvollen Veröffentlichung veröffentlicht BroadNet Kategorien, Bewertungsphilosophie, Stichprobengrößen und Einschränkungen, aber keine genauen Prompt-Vorlagen, Formate der Zugangsdaten oder Schwellenwerte für Bestehen und Scheitern. Die Begründung: Eine Veröffentlichung würde den Aufwand für Extraktion senken, ohne dass Betreibern eine Abwehr zur Verfügung stünde. Modellanbieter und Sicherheitsforschende können sie anfragen. Die Methode ist dadurch in ihrer Form reproduzierbar, aber nicht Zahl für Zahl.
Wie hängt das mit BroadNet Inference zusammen?
Das ist ein Test von Modellen, nicht von Anbietern. Er gilt für jedes Modell bei jeder API, auch für die bei BroadNet Inference. Das Begleitpaper, die Safety Map, wendet ihn auf 39 Modelle von 14 Labs an und stellt fest, dass sensible Werte auch über Tool-Call-Argumente und Reasoning-Felder abfließen können. BroadNet hat später eine auf beiden Papers aufbauende Open-Source-Firewall veröffentlicht, LSDF, die in der Zusammenfassung zur Safety Map beschrieben ist.
Die Aufbewahrung beim Anbieter ist eine eigene Frage: Zero Data Retention betrifft, was BroadNet speichert, nicht, was ein Modell in Ihre eigenen Systeme schreibt.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)