---
title: "LLM-Sicherheit bei sensiblen Daten testen: BroadNet | BroadRouter"
description: "Die veröffentlichte Methode von BroadNet, um vor dem Deployment zu testen, ob ein LLM Zugangsdaten, PII, Gesundheits- oder Finanzdaten leakt: Kategorien, 3+ Läufe."
url: https://broadrouter.com/de/blog/llm-sensitive-data-safety-evaluation-method/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (aktualisiert am 2026-11-15).

# LLM auf Sicherheit bei sensiblen Daten testen: BroadNets Methode

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht 2026-11-15

Das Preprint von BroadNet vom April 2026 (DOI 10.5281/zenodo.19574049, auch auf SSRN) beschreibt einen Test der Sicherheit bei sensiblen Daten vor dem Deployment. Testen Sie vier Kategorien (Zugangsdaten, PII, Gesundheits- und Finanzdaten) einzeln, werten Sie Lecks und Misses als unterschiedliche Fehler, bewerten Sie binär und führen Sie jeden Test mindestens dreimal aus. Prompt-Regeln und Fine-Tuning auf Negativbeispielen verschlechterten die Lecks in den Tests.

## Das Wichtigste in Kürze

-   Preprint auf Zenodo, DOI 10.5281/zenodo.19574049 (14. April 2026, CC BY 4.0), gespiegelt auf SSRN als 10.2139/ssrn.6565139. Nicht peer-reviewed.
-   Capability-Benchmarks messen, was ein Modell kann; diese Methode misst, was es nicht tun darf.
-   Zwei Fehlerarten: Leck (einen sensiblen Wert wiedergeben) und Miss (ihn nicht markieren). Werten Sie sie getrennt aus.
-   Sicherheit ist nicht deterministisch: Stützen Sie jedes Urteil auf 3 oder mehr Läufe, nie auf einen einzigen Durchgang.
-   In den Tests von BroadNet erhöhten aggressive Prompt-Anweisungen und Fine-Tuning auf Negativbeispielen die Leckrate.

**Auf dieser Seite**

1.  Warum erkennen normale Benchmarks das nicht?
2.  Was testet die Methode?
3.  Wie sollten die Ergebnisse bewertet werden?
4.  Was hat nicht funktioniert?
5.  Was veröffentlicht das Paper nicht?
6.  Wie hängt das mit BroadNet Inference zusammen?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

Der Forschungsbereich von BroadNet hat eine praktische Methode veröffentlicht, mit der Sie vor dem Deployment testen, ob ein großes Sprachmodell sensible Daten leakt. Das Preprint _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_ liegt auf Zenodo unter der DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), datiert auf den 14. April 2026, und ist auf SSRN gespiegelt. Der Zenodo-Eintrag nennt Mohammad Al Zubaidi als Autor.

Diese Seite fasst die Methode und ihre Ergebnisse zusammen. Es ist die Arbeit von BroadNet, und die Ergebnisse sind die von BroadNet; wir haben sie nicht nachgestellt.

## Warum erkennen normale Benchmarks das nicht?

Öffentliche Benchmarks messen Fähigkeiten: was ein Modell im besten Fall kann. Ein Modell, das eine Konfigurationsdatei oder eine klinische Notiz prüfen soll, darf aber auch etwas nicht tun: das gefundene Geheimnis wiederholen. Das Beispiel im Paper macht das deutlich. Ein Modell, das bei 99 Aufgaben 95 Punkte erreicht und bei der hundertsten einen API-Schlüssel wiedergibt, kommt im Schnitt auf 94 und ist in der Produktion trotzdem unbrauchbar.

BroadNet nennt das Testen auf Untergrenzen statt auf Obergrenzen, und das Paper behandelt „capability and constraint“ (Übersetzung: Fähigkeit und Einschränkung) als unabhängige Achsen.

## Was testet die Methode?

Vier Kategorien, jede für sich getestet:

| Kategorie | Beispiele | Wie ein Modell sie erkennt |
| --- | --- | --- |
| Zugangsdaten | API-Schlüssel, Tokens, SSH-Schlüssel, Datenbankpasswörter | Meist am Format; Passwörter in Connection Strings haben keinen Formathinweis |
| Personenbezogene Daten (PII) | Namen, E-Mail-Adressen, Telefonnummern, amtliche Kennungen | Format bei strukturierten Kennungen, Bedeutung bei Freitext |
| Geschützte Gesundheitsdaten (PHI) | Diagnosen, Rezepte, klinische Notizen | Oft am Kontext: eine Diagnose neben einem Namen |
| Finanzdaten | Kontonummern, Kontostände, Transaktionen | Format, wird aber seltener als sensibel behandelt |

Der Abstract berichtet von Tests mit „24+ models across 6 model families“ (Übersetzung: über 24 Modellen aus 6 Modellfamilien) und findet eine klare Hierarchie: Erkennung über das Format, etwa bei strukturierten Zugangsdaten und US-Sozialversicherungsnummern, ist deutlich zuverlässiger als Erkennung über den Kontext, etwa bei Namen, die neben einer Diagnose sensibel werden. Ein Modell mit 0 % Leckrate bei Zugangsdaten leakte in jedem PHI-Testlauf Patientenkennungen.

## Wie sollten die Ergebnisse bewertet werden?

Das Paper schlägt ein Mindestprotokoll vor:

1.  **Binäre Bewertung.** Jeder Lauf ist sicher oder nicht; keine Teilpunkte für eine „größtenteils sichere“ Antwort.
2.  **Leck und Miss getrennt bewerten.** Wer beides in einer Zahl zusammenfasst, verdeckt die, die für Ihren Anwendungsfall zählt.
3.  **Mehrere Läufe.** Drei oder mehr pro Modell und Probe, denn dasselbe Modell kann an einem Tag bestehen und am nächsten leaken.
4.  **Kategorie für Kategorie.** Sicherheit bei Zugangsdaten sagt nichts über Sicherheit bei Gesundheitsakten.

Der Praxisbeitrag von BroadNet ergänzt Betriebsregeln, die das Unternehmen bei Pilotprojekten anwendet: nur synthetische Daten verwenden, die vollständige Deployment-Konfiguration testen (einschließlich System-Prompt, Tools und Retrieval), fünf aufeinanderfolgende saubere Läufe vor der Produktion verlangen und monatlich neu testen bei selbst gehosteten Modellen, wöchentlich bei Modellen von Drittanbietern, die sich oft ändern.

## Was hat nicht funktioniert?

Zwei gängige Lösungen machten es in den Tests von BroadNet schlimmer:

-   **Prompt-Anweisungen.** Der Zusatz „do not reveal credentials“ (Übersetzung: gib keine Zugangsdaten preis) wurde manchmal ignoriert, und die nachdrücklichste Prompting-Strategie verursachte Lecks bei einem Modell, das in der Baseline sauber war.
-   **Fine-Tuning auf Negativbeispielen.** Ein Modell darauf zu trainieren, eine Kategorie zu verweigern, erhöhte die Leckrate, statt sie zu senken.

Was nach Darstellung von BroadNet hielt, waren drei Schichten zusammen: ein Modell mit geringerem Risiko für die Kategorie wählen, die Ausgabe mit einem deterministischen Tool filtern (genannt werden [Microsoft Presidio](https://github.com/microsoft/presidio) und LLM Guard) und die Eingabe schwärzen, bevor der Prompt gebaut wird, wenn die Aufgabe die Werte nicht braucht. Unser [Leitfaden zum Senden sensibler Daten an eine LLM API](https://broadrouter.com/de/blog/llm-api-sensitive-data/) zeigt den Schwärzungsschritt im Code.

## Was veröffentlicht das Paper nicht?

Gemäß seiner Richtlinie zur verantwortungsvollen Veröffentlichung veröffentlicht BroadNet Kategorien, Bewertungsphilosophie, Stichprobengrößen und Einschränkungen, aber keine genauen Prompt-Vorlagen, Formate der Zugangsdaten oder Schwellenwerte für Bestehen und Scheitern. Die Begründung: Eine Veröffentlichung würde den Aufwand für Extraktion senken, ohne dass Betreibern eine Abwehr zur Verfügung stünde. Modellanbieter und Sicherheitsforschende können sie anfragen. Die Methode ist dadurch in ihrer Form reproduzierbar, aber nicht Zahl für Zahl.

## Wie hängt das mit BroadNet Inference zusammen?

Das ist ein Test von Modellen, nicht von Anbietern. Er gilt für jedes Modell bei jeder API, auch für die bei [BroadNet Inference](https://broadrouter.com/de/models/). Das Begleitpaper, [die Safety Map](https://broadrouter.com/de/blog/llm-safety-map-39-models/), wendet ihn auf 39 Modelle von 14 Labs an und stellt fest, dass sensible Werte auch über Tool-Call-Argumente und Reasoning-Felder abfließen können. BroadNet hat später eine auf beiden Papers aufbauende Open-Source-Firewall veröffentlicht, LSDF, die in der Zusammenfassung zur Safety Map beschrieben ist.

Die Aufbewahrung beim Anbieter ist eine eigene Frage: [Zero Data Retention](https://broadrouter.com/de/privacy/) betrifft, was BroadNet speichert, nicht, was ein Modell in Ihre eigenen Systeme schreibt.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Fine-Tuning (Feinabstimmung)](https://broadrouter.com/de/glossary/fine-tuning/)

Fine-Tuning ist das Weitertrainieren eines vortrainierten Sprachmodells mit einem kleineren, aufgabenspezifischen Datensatz, etwa Beispielgesprächen, sodass sich seine Gewichte ändern und es diese Aufgabe oder diesen Stil zuverlässiger beherrscht, ohne lange Anweisungen oder Beispiele in jedem Prompt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[PII (personenbezogene Daten)](https://broadrouter.com/de/glossary/pii/)

PII (personally identifiable information) sind Informationen, mit denen sich die Identität einer Person unterscheiden oder zurückverfolgen lässt, etwa Name, Ausweisnummer oder biometrische Daten, plus weitere Informationen, die mit dieser Person verknüpft oder verknüpfbar sind. Der weitere Begriff der DSGVO lautet personenbezogene Daten. Bei LLMs entfernt PII-Schwärzung sie aus Prompts, bevor diese Ihre Systeme verlassen.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Zero Data Retention (ZDR)](https://broadrouter.com/de/glossary/zero-data-retention/)

Zero Data Retention (ZDR) ist eine Datenrichtlinie, bei der ein KI-Anbieter Prompts und Outputs nur zur Bearbeitung einer Anfrage verarbeitet und diese Inhalte danach nicht speichert, weder in Logs noch in Caches oder Trainingsdaten. Inhaltsfreie Daten wie Token-Zahlen und Zeiten werden meist weiterhin aufbewahrt.

[System-Prompt](https://broadrouter.com/de/glossary/system-prompt/)

Ein System-Prompt ist der Anweisungstext, den eine Anwendung einem Sprachmodell vor dem Gespräch sendet, meist als Nachricht mit der Rolle system oder developer. Er legt Rolle, Regeln, Ton und Ausgabeformat des Modells fest, und das Modell soll ihm auch bei widersprechenden Nutzernachrichten folgen.

[Wortfehlerrate (Word Error Rate, WER)](https://broadrouter.com/de/glossary/word-error-rate/)

Die Wortfehlerrate (WER) ist das Standardmaß für die Genauigkeit der Spracherkennung: die Zahl der Wortersetzungen, -löschungen und -einfügungen, die nötig sind, um ein Transkript in die korrekte Referenz zu verwandeln, geteilt durch die Zahl der Wörter in der Referenz. Niedriger ist besser.

## Häufige Fragen

### Was ist der Unterschied zwischen einem Leck und einem Miss?

Ein Leck liegt vor, wenn das Modell einen sensiblen Wert dort wiederholt, wo es das nicht sollte, etwa einen API-Schlüssel in einen Bericht übernimmt. Ein Miss liegt vor, wenn das Modell einen sensiblen Wert nicht markiert, obwohl das seine Aufgabe ist. Die Methode von BroadNet wertet beides getrennt aus, weil die Risiken verschieden sind.

### Wie viele Läufe braucht der Test?

Mindestens drei pro Probe. Das Praxisprotokoll von BroadNet verlangt zusätzlich fünf aufeinanderfolgende saubere Läufe, bevor ein Modell als sicher für die Produktion gilt, verteilt auf mindestens zwei Kalendertage, um Änderungen beim Anbieter zu erfassen.

### Hilft ein System-Prompt wie „Gib niemals Geheimnisse preis“?

Nicht zuverlässig. In den Tests von BroadNet verursachte die nachdrücklichste Prompting-Strategie Lecks bei einem Modell, das ohne sie sauber war, und auch Fine-Tuning auf Negativbeispielen erhöhte die Leckrate.

### Bekomme ich die genauen Test-Prompts von BroadNet?

Nicht öffentlich. Gemäß seiner Richtlinie zur verantwortungsvollen Veröffentlichung hält BroadNet genaue Prompt-Vorlagen, Formate der Zugangsdaten und Schwellenwerte für Bestehen oder Scheitern zurück und gibt sie auf Anfrage an Modellanbieter und Sicherheitsforschende weiter.

### Macht Zero Data Retention diesen Test überflüssig?

Nein. Zero Data Retention regelt, was der Anbieter speichert. Dieser Test betrifft das, was das Modell in seine eigene Ausgabe schreibt, die dann in Ihren Logs, Tickets und nachgelagerten Systemen landet.

## Weiterlesen

-   [Die Safety Map: Wie 39 LLMs mit sensiblen Daten umgehen](https://broadrouter.com/de/blog/llm-safety-map-39-models/)
-   [Sensible Daten an LLM-APIs: schwärzen, minimieren, weniger loggen](https://broadrouter.com/de/blog/llm-api-sensitive-data/)
-   [Wie Sie ein LLM vor dem Anbieterwechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/)
-   [LLM-API mit Zero Data Retention: Checkliste mit 10 Fragen](https://broadrouter.com/de/blog/zero-data-retention-llm-api-checklist/)
-   [Ägyptens Datenschutzgesetz (Gesetz 151 von 2020) und LLM-APIs](https://broadrouter.com/de/blog/egypt-data-protection-law-llm-api/)
-   [PDPL in Saudi-Arabien und den VAE: Checkliste für LLM-API-Transfers](https://broadrouter.com/de/blog/saudi-uae-pdpl-llm-api-checklist/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Quellen**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, Zenodo-Preprint, 2026-04-14 (Eintrag abgerufen am 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Dasselbe Paper auf SSRN, Abstract 6565139 (von BroadNet angegebene DOI; abgerufen am 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [BroadNet-Blog, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12. Mai 2026; abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: Richtlinie zur verantwortungsvollen Veröffentlichung (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (abgerufen am 2026-11-15)](https://github.com/microsoft/presidio)
