BroadRouter
Loslegen

LLM auf Sicherheit bei sensiblen Daten testen: BroadNets Methode

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht

Das Preprint von BroadNet vom April 2026 (DOI 10.5281/zenodo.19574049, auch auf SSRN) beschreibt einen Test der Sicherheit bei sensiblen Daten vor dem Deployment. Testen Sie vier Kategorien (Zugangsdaten, PII, Gesundheits- und Finanzdaten) einzeln, werten Sie Lecks und Misses als unterschiedliche Fehler, bewerten Sie binär und führen Sie jeden Test mindestens dreimal aus. Prompt-Regeln und Fine-Tuning auf Negativbeispielen verschlechterten die Lecks in den Tests.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

Der Forschungsbereich von BroadNet hat eine praktische Methode veröffentlicht, mit der Sie vor dem Deployment testen, ob ein großes Sprachmodell sensible Daten leakt. Das Preprint How to Evaluate an LLM for Sensitive Data Safety Before Deploying It liegt auf Zenodo unter der DOI 10.5281/zenodo.19574049, datiert auf den 14. April 2026, und ist auf SSRN gespiegelt. Der Zenodo-Eintrag nennt Mohammad Al Zubaidi als Autor.

Diese Seite fasst die Methode und ihre Ergebnisse zusammen. Es ist die Arbeit von BroadNet, und die Ergebnisse sind die von BroadNet; wir haben sie nicht nachgestellt.

Warum erkennen normale Benchmarks das nicht?

Öffentliche Benchmarks messen Fähigkeiten: was ein Modell im besten Fall kann. Ein Modell, das eine Konfigurationsdatei oder eine klinische Notiz prüfen soll, darf aber auch etwas nicht tun: das gefundene Geheimnis wiederholen. Das Beispiel im Paper macht das deutlich. Ein Modell, das bei 99 Aufgaben 95 Punkte erreicht und bei der hundertsten einen API-Schlüssel wiedergibt, kommt im Schnitt auf 94 und ist in der Produktion trotzdem unbrauchbar.

BroadNet nennt das Testen auf Untergrenzen statt auf Obergrenzen, und das Paper behandelt „capability and constraint“ (Übersetzung: Fähigkeit und Einschränkung) als unabhängige Achsen.

Was testet die Methode?

Vier Kategorien, jede für sich getestet:

Kategorie Beispiele Wie ein Modell sie erkennt
Zugangsdaten API-Schlüssel, Tokens, SSH-Schlüssel, Datenbankpasswörter Meist am Format; Passwörter in Connection Strings haben keinen Formathinweis
Personenbezogene Daten (PII) Namen, E-Mail-Adressen, Telefonnummern, amtliche Kennungen Format bei strukturierten Kennungen, Bedeutung bei Freitext
Geschützte Gesundheitsdaten (PHI) Diagnosen, Rezepte, klinische Notizen Oft am Kontext: eine Diagnose neben einem Namen
Finanzdaten Kontonummern, Kontostände, Transaktionen Format, wird aber seltener als sensibel behandelt

Der Abstract berichtet von Tests mit „24+ models across 6 model families“ (Übersetzung: über 24 Modellen aus 6 Modellfamilien) und findet eine klare Hierarchie: Erkennung über das Format, etwa bei strukturierten Zugangsdaten und US-Sozialversicherungsnummern, ist deutlich zuverlässiger als Erkennung über den Kontext, etwa bei Namen, die neben einer Diagnose sensibel werden. Ein Modell mit 0 % Leckrate bei Zugangsdaten leakte in jedem PHI-Testlauf Patientenkennungen.

Wie sollten die Ergebnisse bewertet werden?

Das Paper schlägt ein Mindestprotokoll vor:

  1. Binäre Bewertung. Jeder Lauf ist sicher oder nicht; keine Teilpunkte für eine „größtenteils sichere“ Antwort.
  2. Leck und Miss getrennt bewerten. Wer beides in einer Zahl zusammenfasst, verdeckt die, die für Ihren Anwendungsfall zählt.
  3. Mehrere Läufe. Drei oder mehr pro Modell und Probe, denn dasselbe Modell kann an einem Tag bestehen und am nächsten leaken.
  4. Kategorie für Kategorie. Sicherheit bei Zugangsdaten sagt nichts über Sicherheit bei Gesundheitsakten.

Der Praxisbeitrag von BroadNet ergänzt Betriebsregeln, die das Unternehmen bei Pilotprojekten anwendet: nur synthetische Daten verwenden, die vollständige Deployment-Konfiguration testen (einschließlich System-Prompt, Tools und Retrieval), fünf aufeinanderfolgende saubere Läufe vor der Produktion verlangen und monatlich neu testen bei selbst gehosteten Modellen, wöchentlich bei Modellen von Drittanbietern, die sich oft ändern.

Was hat nicht funktioniert?

Zwei gängige Lösungen machten es in den Tests von BroadNet schlimmer:

  • Prompt-Anweisungen. Der Zusatz „do not reveal credentials“ (Übersetzung: gib keine Zugangsdaten preis) wurde manchmal ignoriert, und die nachdrücklichste Prompting-Strategie verursachte Lecks bei einem Modell, das in der Baseline sauber war.
  • Fine-Tuning auf Negativbeispielen. Ein Modell darauf zu trainieren, eine Kategorie zu verweigern, erhöhte die Leckrate, statt sie zu senken.

Was nach Darstellung von BroadNet hielt, waren drei Schichten zusammen: ein Modell mit geringerem Risiko für die Kategorie wählen, die Ausgabe mit einem deterministischen Tool filtern (genannt werden Microsoft Presidio und LLM Guard) und die Eingabe schwärzen, bevor der Prompt gebaut wird, wenn die Aufgabe die Werte nicht braucht. Unser Leitfaden zum Senden sensibler Daten an eine LLM API zeigt den Schwärzungsschritt im Code.

Was veröffentlicht das Paper nicht?

Gemäß seiner Richtlinie zur verantwortungsvollen Veröffentlichung veröffentlicht BroadNet Kategorien, Bewertungsphilosophie, Stichprobengrößen und Einschränkungen, aber keine genauen Prompt-Vorlagen, Formate der Zugangsdaten oder Schwellenwerte für Bestehen und Scheitern. Die Begründung: Eine Veröffentlichung würde den Aufwand für Extraktion senken, ohne dass Betreibern eine Abwehr zur Verfügung stünde. Modellanbieter und Sicherheitsforschende können sie anfragen. Die Methode ist dadurch in ihrer Form reproduzierbar, aber nicht Zahl für Zahl.

Wie hängt das mit BroadNet Inference zusammen?

Das ist ein Test von Modellen, nicht von Anbietern. Er gilt für jedes Modell bei jeder API, auch für die bei BroadNet Inference. Das Begleitpaper, die Safety Map, wendet ihn auf 39 Modelle von 14 Labs an und stellt fest, dass sensible Werte auch über Tool-Call-Argumente und Reasoning-Felder abfließen können. BroadNet hat später eine auf beiden Papers aufbauende Open-Source-Firewall veröffentlicht, LSDF, die in der Zusammenfassung zur Safety Map beschrieben ist.

Die Aufbewahrung beim Anbieter ist eine eigene Frage: Zero Data Retention betrifft, was BroadNet speichert, nicht, was ein Modell in Ihre eigenen Systeme schreibt.

Häufige Fragen

Was ist der Unterschied zwischen einem Leck und einem Miss?

Ein Leck liegt vor, wenn das Modell einen sensiblen Wert dort wiederholt, wo es das nicht sollte, etwa einen API-Schlüssel in einen Bericht übernimmt. Ein Miss liegt vor, wenn das Modell einen sensiblen Wert nicht markiert, obwohl das seine Aufgabe ist. Die Methode von BroadNet wertet beides getrennt aus, weil die Risiken verschieden sind.

Wie viele Läufe braucht der Test?

Mindestens drei pro Probe. Das Praxisprotokoll von BroadNet verlangt zusätzlich fünf aufeinanderfolgende saubere Läufe, bevor ein Modell als sicher für die Produktion gilt, verteilt auf mindestens zwei Kalendertage, um Änderungen beim Anbieter zu erfassen.

Hilft ein System-Prompt wie „Gib niemals Geheimnisse preis“?

Nicht zuverlässig. In den Tests von BroadNet verursachte die nachdrücklichste Prompting-Strategie Lecks bei einem Modell, das ohne sie sauber war, und auch Fine-Tuning auf Negativbeispielen erhöhte die Leckrate.

Bekomme ich die genauen Test-Prompts von BroadNet?

Nicht öffentlich. Gemäß seiner Richtlinie zur verantwortungsvollen Veröffentlichung hält BroadNet genaue Prompt-Vorlagen, Formate der Zugangsdaten und Schwellenwerte für Bestehen oder Scheitern zurück und gibt sie auf Anfrage an Modellanbieter und Sicherheitsforschende weiter.

Macht Zero Data Retention diesen Test überflüssig?

Nein. Zero Data Retention regelt, was der Anbieter speichert. Dieser Test betrifft das, was das Modell in seine eigene Ausgabe schreibt, die dann in Ihren Logs, Tickets und nachgelagerten Systemen landet.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen