---
title: "Safety Map: 39 LLMs und sensible Daten (BroadNet) | BroadRouter"
description: "BroadNet hat 39 LLMs von 14 Labs zu Zugangsdaten, PII, Gesundheits- und Finanzdaten geprüft: was sich übertrug, was nicht, und Lecks über Tool Calls und Reasoning."
url: https://broadrouter.com/de/blog/llm-safety-map-39-models/
lang: de
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/llm-safety-map-39-models/) (aktualisiert am 2026-11-16).

# Die Safety Map: Wie 39 LLMs mit sensiblen Daten umgehen

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht 2026-11-15 · Aktualisiert 2026-11-16

Die Safety Map ist ein Preprint von BroadNet vom April 2026 (DOI 10.5281/zenodo.19688433). Getestet wurden 39 Modelle von 14 Labs mit 7 Probes zu Zugangsdaten, PII, Gesundheitsdaten, Kontonummern und DLP-Scans, in rund 1.300 Evaluierungen mit mehreren Läufen. Sicherheit übertrug sich nicht zwischen Kategorien oder Ausgabekanälen: 20 von 73 Läufen, die Tool-Call-Argumente füllten, leakten darüber.

## Das Wichtigste in Kürze

-   Preprint auf Zenodo, DOI 10.5281/zenodo.19688433, 22. April 2026, CC BY 4.0. Nicht peer-reviewed.
-   39 Modelle, 14 Labs, 7 Probe-Szenarien, 5 Kategorien sensibler Daten, rund 1.300 Evaluierungen mit mehreren Läufen.
-   Drei Achsen wirken zusammen: Architektur, Modellgeneration und die Investition des Labs in Alignment. Keine sagt die Sicherheit allein voraus.
-   Ausgabekanäle leaken unabhängig voneinander: 20 von 73 Tool-Call-Läufen und 29 von 43 Reasoning-Läufen enthielten sensible Werte.
-   BroadNet hat aus den Ergebnissen LSDF gemacht, eine Open-Source-Firewall (Apache-2.0) für OpenAI-kompatiblen Traffic.

**Auf dieser Seite**

1.  Was hat die Untersuchung abgedeckt?
2.  Was sind die wichtigsten Ergebnisse?
3.  Was sollten Sie in Ihrem eigenen Stack ändern?
4.  Was ist LSDF?
5.  Wo liegen die Grenzen?

Die Safety Map ist die Untersuchung von BroadNet dazu, wie große Sprachmodelle mit sensiblen Daten umgehen. Das Preprint _The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling_ erschien am 22. April 2026 auf Zenodo unter der DOI [10.5281/zenodo.19688433](https://doi.org/10.5281/zenodo.19688433), mit Mohammad Al Zubaidi als Autor. Es ist das Begleitstück zur [Evaluierungsmethode für sensible Daten](https://broadrouter.com/de/blog/llm-sensitive-data-safety-evaluation-method/) von BroadNet.

Im Folgenden fassen wir den Abstract und die Forschungsseite von BroadNet zusammen. Die Urteile stammen von BroadNet.

## Was hat die Untersuchung abgedeckt?

| Dimension | Umfang |
| --- | --- |
| Modelle | 39, von 14 unabhängigen Labs |
| Probe-Szenarien | 7 |
| Kategorien | Zugangsdaten, PII, geschützte Gesundheitsdaten (PHI), Finanzkontonummern, Data-Loss-Prevention-Scans (DLP) |
| Belege | über 135 klassifizierte Kombinationen aus Modell und Probe aus rund 1.300 Evaluierungen mit mehreren Läufen |

Laut Katalog von BroadNet hat das Unternehmen etwa 90 Remote- und API-Modelle, die es nie auf eigener Hardware betrieb, durch seine Testumgebungen für Sicherheit, Routing und Arabisch geschickt, und diese Ergebnisse fließen in diese Map ein.

## Was sind die wichtigsten Ergebnisse?

**Sicherheit ist eine Fläche, kein einzelner Wert.** Sie variiert entlang dreier Achsen, die zusammenwirken:

-   **Architektur.** Das Paper berichtet bei Zugangsdaten von einer Kapazitätsuntergrenze bei etwa 24B aktiven Parametern, über Routing-Designs hinweg, mit Mixture-of-Experts-Modellen mit wenigen aktiven Parametern als Hauptfall.
-   **Generation.** Die Alignment-Qualität verschiebt die Grenze innerhalb einer Modellfamilie.
-   **Die Investition des Labs in Alignment.** Ein Flaggschiff-Label eines bekannten Labs ist keine Garantie.

Keine der drei sagt die Sicherheit allein voraus; sie wirken zusammen.

**Sicherheit überträgt sich nicht zwischen Kategorien.** Wer Zugangsdaten und US-Sozialversicherungsnummern sauber behandelte, tat das im selben Modell nicht automatisch auch bei Namen, Gesundheitsakten oder Kontonummern.

**Ausgabekanäle leaken unabhängig voneinander.** Das ist das Ergebnis mit dem größten praktischen Gewicht:

-   Von 73 Läufen, die `tool_calls.arguments` füllten, schickten 20 sensible Werte über den Tool Call. Unter den Modellen hinter diesen Läufen war Kimi K2.6 von Moonshot, getestet am Tag seiner Veröffentlichung, ein Modell, das das Paper sonst über mehrere Läufe als sicher bei Zugangsdaten, PII, Finanzdaten und DLP einstuft.
-   Von 43 Läufen, in denen der Anbieter `reasoning_content` mit mindestens 20 Zeichen füllte, leakten 29 sensible Werte ins Reasoning, während die Chat-Antwort als sicher, fehlend oder abgeschnitten eingestuft wurde.

**Pruning kann die Sicherheit brechen.** Zwei unabhängige geprunte Versionen der Llama-Reihe von Meta, von NVIDIA mit Neural Architecture Search erstellt, brachen die Sicherheit bei Gesundheitsdaten über unterschiedliche Ausgabekanäle.

Das Paper schließt mit einem Ranking in fünf Stufen. Sein Spitzencluster, in jeder getesteten Kategorie durchgehend sicher, besteht aus Claude Opus 4.7, GPT-5.4 und GPT-5.4-mini, Gemini 3 Flash und Gemini 3.1 Pro. Laut Abstract schaffen es die Flaggschiffe von xAI Grok und Meta Llama nicht in diesen Cluster.

## Was sollten Sie in Ihrem eigenen Stack ändern?

1.  **Jeden Kanal filtern.** Eine Prüfung der sichtbaren Antwort übersieht Tool-Call-Argumente und Reasoning-Felder. Wenn Sie [Tool Calling](https://broadrouter.com/de/glossary/tool-calling/) oder ein Reasoning-Modell nutzen, prüfen Sie beides.
2.  **Nach Kategorie testen.** Ein sauberes Ergebnis bei Zugangsdaten sagt nichts über Gesundheits- oder Gehaltsdaten.
3.  **Bei Modell-Updates neu testen.** Das Ergebnis zu Kimi K2.6 stammt von einem Modell am Tag seiner Veröffentlichung.
4.  **Wo möglich, zuerst schwärzen.** Ein Modell kann nicht leaken, was es nie gesehen hat. Unser [Leitfaden zu sensiblen Daten](https://broadrouter.com/de/blog/llm-api-sensitive-data/) zeigt das Schwärzen mit Platzhaltern in Python.

## Was ist LSDF?

LSDF, die LLM Sensitive Data Firewall, ist die Schutzmaßnahme, die BroadNet aus diesen beiden Papers gebaut und als Open Source unter Apache-2.0 auf [github.com/brntech/lsdf](https://github.com/brntech/lsdf) veröffentlicht hat. Es ist ein Reverse Proxy für die OpenAI-kompatible Chat-Completions-API: Sie richten die Base-URL Ihres Clients darauf, und er leitet an Ihren Modellserver oder Anbieter weiter. Laut BroadNet prüft er Anfragen, Antworten, gestreamte Chunks, gestreamte Tool-Call-Argumente, abgerufenen Kontext und Reasoning-Felder und bereinigt Traces und Logs separat.

Die Evaluierung von BroadNet vom Mai 2026 auf eigenen Korpora meldet folgenden Recall:

| Detektor-Stack | Wiedergabe von Zugangsdaten | Klinische PHI | Allgemeine englische PII |
| --- | --- | --- | --- |
| Nur Regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| LSDF-Detektoren für allgemeine PII | 1,000 | 0,944 | 0,685 |

Das sind Zahlen eines Anbieters zu seinem eigenen Tool, auf Korpora, die er selbst gewählt hat. Als Ausgangspunkt sind sie nützlich, und das Repository liefert die Wiedergabe mit, damit Sie sie prüfen können. LSDF funktioniert vor jedem Modell, auch vor solchen, die BroadNet nicht hostet.

## Wo liegen die Grenzen?

Das Paper ist ein Preprint, nicht peer-reviewed. Gemäß der Richtlinie von BroadNet zur verantwortungsvollen Veröffentlichung fehlen in der öffentlichen Fassung die genauen Prompts, Formate der Zugangsdaten und Schwellenwerte; Modellanbieter und Forschende erhalten sie auf Anfrage. Modellversionen ändern sich schnell; ein Urteil vom April 2026 ist also ein Grund zu testen, kein Ersatz dafür.

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[PII (personenbezogene Daten)](https://broadrouter.com/de/glossary/pii/)

PII (personally identifiable information) sind Informationen, mit denen sich die Identität einer Person unterscheiden oder zurückverfolgen lässt, etwa Name, Ausweisnummer oder biometrische Daten, plus weitere Informationen, die mit dieser Person verknüpft oder verknüpfbar sind. Der weitere Begriff der DSGVO lautet personenbezogene Daten. Bei LLMs entfernt PII-Schwärzung sie aus Prompts, bevor diese Ihre Systeme verlassen.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Modelllizenz (Model License)](https://broadrouter.com/de/glossary/model-license/)

Eine Modelllizenz sind die rechtlichen Bedingungen, unter denen Gewichte, Code und Ausgaben eines Modells genutzt, verändert und weitergegeben werden dürfen. Open-Weight-Modelle nutzen Standard-Softwarelizenzen wie Apache 2.0 oder MIT oder eigene Modelllizenzen, die Bedingungen hinzufügen können, etwa Grenzen für große kommerzielle Dienste.

[Wortfehlerrate (Word Error Rate, WER)](https://broadrouter.com/de/glossary/word-error-rate/)

Die Wortfehlerrate (WER) ist das Standardmaß für die Genauigkeit der Spracherkennung: die Zahl der Wortersetzungen, -löschungen und -einfügungen, die nötig sind, um ein Transkript in die korrekte Referenz zu verwandeln, geteilt durch die Zahl der Wörter in der Referenz. Niedriger ist besser.

## Häufige Fragen

### Welche Modelle haben in der Safety Map am besten abgeschnitten?

Der Abstract stellt an die Spitze einen Cluster mit Frontier-Alignment, der in jeder getesteten Kategorie durchgehend sicher war: Claude Opus 4.7, GPT-5.4 und GPT-5.4-mini, Gemini 3 Flash und Gemini 3.1 Pro. Claude Sonnet 4.6 liegt knapp darunter, mit einem einzigen Leck bei Gesundheitsdaten, nur das Geburtsdatum, in 15 Läufen.

### Ist ein Modell, das nie API-Schlüssel leakt, auch bei Patientendaten sicher?

Nicht unbedingt. Das Paper fand, dass Sicherheit nach Kategorie auseinanderfällt: Ein Modell, das Zugangsdaten, US-Sozialversicherungsnummern und Datenbankpasswörter schützte, konnte trotzdem in jedem Lauf Mitarbeitende aus einem Gehaltsdokument namentlich nennen.

### Warum sind Tool Calls wichtig?

Weil viele Filter nur die Chat-Antwort prüfen. Von 73 Läufen, in denen das Modell Tool-Call-Argumente füllte, schickten 20 sensible Werte über diesen Kanal, auch bei einem Modell, das sonst über mehrere Läufe sicher war.

### Leaken kleine Mixture-of-Experts-Modelle mehr?

Das Paper berichtet bei Zugangsdaten von einer Kapazitätsuntergrenze bei etwa 24B aktiven Parametern, die sich vor allem bei Mixture-of-Experts-Designs mit wenigen aktiven Parametern zeigt. Der Praxisbeitrag von BroadNet sagt, man habe noch kein MoE-Modell unter 24B aktiven Parametern gefunden, das bei den Probes mit strukturierten Daten nicht leakt.

### Sind die Modelle von BroadNet Inference in der Safety Map enthalten?

Der Abstract nennt für sie keine Einzelurteile, und der Preprint stammt vom April 2026, ein später erschienenes Modell kann also nicht darin vorkommen. Gemma 4 VL 26B hat etwa 4B aktive Parameter; testen Sie es also mit eigenen Probes für sensible Daten oder schwärzen Sie vor dem Senden, wenn es Zugangsdaten oder personenbezogene Daten sehen wird.

## Weiterlesen

-   [LLM auf Sicherheit bei sensiblen Daten testen: BroadNets Methode](https://broadrouter.com/de/blog/llm-sensitive-data-safety-evaluation-method/)
-   [Sensible Daten an LLM-APIs: schwärzen, minimieren, weniger loggen](https://broadrouter.com/de/blog/llm-api-sensitive-data/)
-   [Tool Calling mit offenen Modellen: Schemas, parallele Aufrufe, Retries](https://broadrouter.com/de/blog/tool-calling-open-models/)
-   [Reasoning-Tokens: Warum Sie mehr Output zahlen, als Sie sehen](https://broadrouter.com/de/blog/reasoning-tokens-cost/)
-   [Ägyptens Datenschutzgesetz (Gesetz 151 von 2020) und LLM-APIs](https://broadrouter.com/de/blog/egypt-data-protection-law-llm-api/)
-   [PDPL in Saudi-Arabien und den VAE: Checkliste für LLM-API-Transfers](https://broadrouter.com/de/blog/saudi-uae-pdpl-llm-api-checklist/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-llm-safety-map-39-models&utm_content=page-cta) ·

**Quellen**

-   [Al Zubaidi, The Safety Map: What Does and Doesn't Transfer in LLM Sensitive-Data Handling, Zenodo-Preprint, 2026-04-22 (Eintrag abgerufen am 2026-11-15)](https://doi.org/10.5281/zenodo.19688433)
-   [BroadNet Research: zentrale Ergebnisse der Safety Map (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/research)
-   [BroadNet-Blog, The firewall behind our LLM safety research is now open source (9. September 2026; abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/blog/open-source-sensitive-data-firewall)
-   [LSDF-Repository, Apache-2.0 (abgerufen am 2026-11-15)](https://github.com/brntech/lsdf)
-   [Modellkatalog von BroadNet: getestete Remote- und API-Modelle (abgerufen am 2026-11-15) (auf Englisch)](https://www.broadnet.ai/inference/models)
