BroadRouter

Die Safety Map: Wie 39 LLMs mit sensiblen Daten umgehen

Vom Team von BroadNet Inference · 3 Min. Lesezeit · Veröffentlicht · Aktualisiert

Die Safety Map ist ein Preprint von BroadNet vom April 2026 (DOI 10.5281/zenodo.19688433). Getestet wurden 39 Modelle von 14 Labs mit 7 Probes zu Zugangsdaten, PII, Gesundheitsdaten, Kontonummern und DLP-Scans, in rund 1.300 Evaluierungen mit mehreren Läufen. Sicherheit übertrug sich nicht zwischen Kategorien oder Ausgabekanälen: 20 von 73 Läufen, die Tool-Call-Argumente füllten, leakten darüber.

Die Safety Map ist die Untersuchung von BroadNet dazu, wie große Sprachmodelle mit sensiblen Daten umgehen. Das Preprint The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling erschien am 22. April 2026 auf Zenodo unter der DOI 10.5281/zenodo.19688433, mit Mohammad Al Zubaidi als Autor. Es ist das Begleitstück zur Evaluierungsmethode für sensible Daten von BroadNet.

Im Folgenden fassen wir den Abstract und die Forschungsseite von BroadNet zusammen. Die Urteile stammen von BroadNet.

Was hat die Untersuchung abgedeckt?

Dimension Umfang
Modelle 39, von 14 unabhängigen Labs
Probe-Szenarien 7
Kategorien Zugangsdaten, PII, geschützte Gesundheitsdaten (PHI), Finanzkontonummern, Data-Loss-Prevention-Scans (DLP)
Belege über 135 klassifizierte Kombinationen aus Modell und Probe aus rund 1.300 Evaluierungen mit mehreren Läufen

Laut Katalog von BroadNet hat das Unternehmen etwa 90 Remote- und API-Modelle, die es nie auf eigener Hardware betrieb, durch seine Testumgebungen für Sicherheit, Routing und Arabisch geschickt, und diese Ergebnisse fließen in diese Map ein.

Was sind die wichtigsten Ergebnisse?

Sicherheit ist eine Fläche, kein einzelner Wert. Sie variiert entlang dreier Achsen, die zusammenwirken:

  • Architektur. Das Paper berichtet bei Zugangsdaten von einer Kapazitätsuntergrenze bei etwa 24B aktiven Parametern, über Routing-Designs hinweg, mit Mixture-of-Experts-Modellen mit wenigen aktiven Parametern als Hauptfall.
  • Generation. Die Alignment-Qualität verschiebt die Grenze innerhalb einer Modellfamilie.
  • Die Investition des Labs in Alignment. Ein Flaggschiff-Label eines bekannten Labs ist keine Garantie.

Keine der drei sagt die Sicherheit allein voraus; sie wirken zusammen.

Sicherheit überträgt sich nicht zwischen Kategorien. Wer Zugangsdaten und US-Sozialversicherungsnummern sauber behandelte, tat das im selben Modell nicht automatisch auch bei Namen, Gesundheitsakten oder Kontonummern.

Ausgabekanäle leaken unabhängig voneinander. Das ist das Ergebnis mit dem größten praktischen Gewicht:

  • Von 73 Läufen, die tool_calls.arguments füllten, schickten 20 sensible Werte über den Tool Call. Unter den Modellen hinter diesen Läufen war Kimi K2.6 von Moonshot, getestet am Tag seiner Veröffentlichung, ein Modell, das das Paper sonst über mehrere Läufe als sicher bei Zugangsdaten, PII, Finanzdaten und DLP einstuft.
  • Von 43 Läufen, in denen der Anbieter reasoning_content mit mindestens 20 Zeichen füllte, leakten 29 sensible Werte ins Reasoning, während die Chat-Antwort als sicher, fehlend oder abgeschnitten eingestuft wurde.

Pruning kann die Sicherheit brechen. Zwei unabhängige geprunte Versionen der Llama-Reihe von Meta, von NVIDIA mit Neural Architecture Search erstellt, brachen die Sicherheit bei Gesundheitsdaten über unterschiedliche Ausgabekanäle.

Das Paper schließt mit einem Ranking in fünf Stufen. Sein Spitzencluster, in jeder getesteten Kategorie durchgehend sicher, besteht aus Claude Opus 4.7, GPT-5.4 und GPT-5.4-mini, Gemini 3 Flash und Gemini 3.1 Pro. Laut Abstract schaffen es die Flaggschiffe von xAI Grok und Meta Llama nicht in diesen Cluster.

Was sollten Sie in Ihrem eigenen Stack ändern?

  1. Jeden Kanal filtern. Eine Prüfung der sichtbaren Antwort übersieht Tool-Call-Argumente und Reasoning-Felder. Wenn Sie Tool Calling oder ein Reasoning-Modell nutzen, prüfen Sie beides.
  2. Nach Kategorie testen. Ein sauberes Ergebnis bei Zugangsdaten sagt nichts über Gesundheits- oder Gehaltsdaten.
  3. Bei Modell-Updates neu testen. Das Ergebnis zu Kimi K2.6 stammt von einem Modell am Tag seiner Veröffentlichung.
  4. Wo möglich, zuerst schwärzen. Ein Modell kann nicht leaken, was es nie gesehen hat. Unser Leitfaden zu sensiblen Daten zeigt das Schwärzen mit Platzhaltern in Python.

Was ist LSDF?

LSDF, die LLM Sensitive Data Firewall, ist die Schutzmaßnahme, die BroadNet aus diesen beiden Papers gebaut und als Open Source unter Apache-2.0 auf github.com/brntech/lsdf veröffentlicht hat. Es ist ein Reverse Proxy für die OpenAI-kompatible Chat-Completions-API: Sie richten die Base-URL Ihres Clients darauf, und er leitet an Ihren Modellserver oder Anbieter weiter. Laut BroadNet prüft er Anfragen, Antworten, gestreamte Chunks, gestreamte Tool-Call-Argumente, abgerufenen Kontext und Reasoning-Felder und bereinigt Traces und Logs separat.

Die Evaluierung von BroadNet vom Mai 2026 auf eigenen Korpora meldet folgenden Recall:

Detektor-Stack Wiedergabe von Zugangsdaten Klinische PHI Allgemeine englische PII
Nur Regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
LSDF-Detektoren für allgemeine PII 1,000 0,944 0,685

Das sind Zahlen eines Anbieters zu seinem eigenen Tool, auf Korpora, die er selbst gewählt hat. Als Ausgangspunkt sind sie nützlich, und das Repository liefert die Wiedergabe mit, damit Sie sie prüfen können. LSDF funktioniert vor jedem Modell, auch vor solchen, die BroadNet nicht hostet.

Wo liegen die Grenzen?

Das Paper ist ein Preprint, nicht peer-reviewed. Gemäß der Richtlinie von BroadNet zur verantwortungsvollen Veröffentlichung fehlen in der öffentlichen Fassung die genauen Prompts, Formate der Zugangsdaten und Schwellenwerte; Modellanbieter und Forschende erhalten sie auf Anfrage. Modellversionen ändern sich schnell; ein Urteil vom April 2026 ist also ein Grund zu testen, kein Ersatz dafür.

Häufige Fragen

Welche Modelle haben in der Safety Map am besten abgeschnitten?

Der Abstract stellt an die Spitze einen Cluster mit Frontier-Alignment, der in jeder getesteten Kategorie durchgehend sicher war: Claude Opus 4.7, GPT-5.4 und GPT-5.4-mini, Gemini 3 Flash und Gemini 3.1 Pro. Claude Sonnet 4.6 liegt knapp darunter, mit einem einzigen Leck bei Gesundheitsdaten, nur das Geburtsdatum, in 15 Läufen.

Ist ein Modell, das nie API-Schlüssel leakt, auch bei Patientendaten sicher?

Nicht unbedingt. Das Paper fand, dass Sicherheit nach Kategorie auseinanderfällt: Ein Modell, das Zugangsdaten, US-Sozialversicherungsnummern und Datenbankpasswörter schützte, konnte trotzdem in jedem Lauf Mitarbeitende aus einem Gehaltsdokument namentlich nennen.

Warum sind Tool Calls wichtig?

Weil viele Filter nur die Chat-Antwort prüfen. Von 73 Läufen, in denen das Modell Tool-Call-Argumente füllte, schickten 20 sensible Werte über diesen Kanal, auch bei einem Modell, das sonst über mehrere Läufe sicher war.

Leaken kleine Mixture-of-Experts-Modelle mehr?

Das Paper berichtet bei Zugangsdaten von einer Kapazitätsuntergrenze bei etwa 24B aktiven Parametern, die sich vor allem bei Mixture-of-Experts-Designs mit wenigen aktiven Parametern zeigt. Der Praxisbeitrag von BroadNet sagt, man habe noch kein MoE-Modell unter 24B aktiven Parametern gefunden, das bei den Probes mit strukturierten Daten nicht leakt.

Sind die Modelle von BroadNet Inference in der Safety Map enthalten?

Der Abstract nennt für sie keine Einzelurteile, und der Preprint stammt vom April 2026, ein später erschienenes Modell kann also nicht darin vorkommen. Gemma 4 VL 26B hat etwa 4B aktive Parameter; testen Sie es also mit eigenen Probes für sensible Daten oder schwärzen Sie vor dem Senden, wenn es Zugangsdaten oder personenbezogene Daten sehen wird.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen