Support-Bots lesen Beschwerden mit Namen und Bestellnummern. Callcenter-Pipelines senden Transkripte mit Kartenziffern. Gesundheits-Apps senden Symptome. All das ist für ein Modell nützlich, und all das sind sensible Daten, sobald sie Ihre Server verlassen.
OWASP führt die Offenlegung sensibler Informationen als LLM02 in seinen Top 10 für LLM-Anwendungen 2025. Die meisten Ratgeber konzentrieren sich darauf, was das Modell preisgeben könnte. Dieser Beitrag konzentriert sich auf den Teil, den Sie kontrollieren: was Sie senden und was Sie aufbewahren.
Was zählt bei einer LLM-API als sensible Daten?
Sortieren Sie die Felder in drei Gruppen, bevor Sie einen Prompt schreiben:
| Gruppe | Beispiele | Standardregel |
|---|---|---|
| Direkte Identifikatoren | Name, E-Mail, Telefon, Ausweisnummer, Kontonummer | Durch Platzhalter ersetzen |
| Besondere oder regulierte Daten | Gesundheit, Biometrie, Religion, Kartennummern, Zugangsdaten | Nicht senden, außer die Aufgabe erfordert es und Sie haben eine Rechtsgrundlage |
| Kontext | Produktnamen, Art des Anliegens, Daten, Beträge | Kann meist gesendet werden |
Nach der DSGVO brauchen besondere Kategorien (Artikel 9) eine spezifische Voraussetzung, bevor Sie sie überhaupt verarbeiten. Kartendaten und Secrets wie Passwörter oder API-Schlüssel sollten nie in einen Prompt gelangen.
Schritt 1: Welche Felder braucht die Aufgabe wirklich?
Die beste Schwärzung ist, das Feld gar nicht zu senden. Fragen Sie, was die Aufgabe braucht:
- Ein Ticket zusammenfassen? Das Modell braucht die Beschwerde, nicht die Adresse des Kunden.
- Die Absicht klassifizieren? Es braucht den Nachrichtentext, nicht die Kontonummer.
- Eine Antwort entwerfen? Es braucht höchstens einen Vornamen, und ein Platzhalter tut es auch.
Bauen Sie Prompts aus ausgewählten Feldern, statt den ganzen Datensatz als JSON hineinzukippen. Das reduziert auch die Input-Tokens und spart damit Geld.
Schritt 2: Wie schwärzt man so, dass das Modell den Text noch versteht?
Ersetzen Sie jeden Wert durch einen typisierten, nummerierten Platzhalter. Das Modell behält die Satzstruktur, und Ihr Code setzt die Werte danach wieder ein.
import os, re
from openai import OpenAI
PATTERNS = { # order matters: IBAN before PHONE, or the phone pattern eats IBAN digits
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.-]+",
"IBAN": r"\b[A-Z]{2}\d{2}[A-Z0-9]{11,30}\b",
"PHONE": r"\+?\d[\d\s-]{7,}\d",
}
def redact(text):
mapping, n = {}, {}
for kind, pat in PATTERNS.items():
def sub(m):
n[kind] = n.get(kind, 0) + 1
key = f"[{kind}_{n[kind]}]"
mapping[key] = m.group(0)
return key
text = re.sub(pat, sub, text)
return text, mapping
def restore(text, mapping):
for key, value in mapping.items():
text = text.replace(key, value)
return text
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
# Any OpenAI-compatible endpoint works; this uses Qwen3.8 27B on BroadNet Inference.
ticket = "Call me on +971 50 123 4567 or mail sara@example.com about my refund."
safe, mapping = redact(ticket)
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
messages=[
{"role": "system", "content": "Keep placeholders like [PHONE_1] exactly as written."},
{"role": "user", "content": f"Draft a short reply to this ticket:\n{safe}"},
],
).choices[0].message.content
print(restore(reply, mapping)) # the mapping never left your server
Reguläre Ausdrücke erfassen strukturierte Werte. Für Namen und Adressen braucht es Entitätserkennung. Open-Source-Tools wie Microsoft Presidio kombinieren Muster, Prüfsummen und Named-Entity-Modelle und lassen Sie eigene Erkenner ergänzen. Testen Sie jeden Detektor mit Ihren eigenen Daten: Arabische Namen, Telefonformate aus der Golfregion und Text mit gemischten Schriften sind genau die Stellen, an denen generische Detektoren danebenliegen.
Wenn Sie lieber einen Proxy betreiben, als die Schwärzung selbst zu schreiben, veröffentlicht BroadNet einen als Open Source: die LLM Sensitive Data Firewall (LSDF) unter Apache-2.0. Sie sitzt vor jedem OpenAI-kompatiblen Endpunkt, auch vor Modellen, die BroadNet nicht hostet, und laut BroadNet prüft sie Anfragen, Antworten, gestreamte Chunks, gestreamte Tool-Call-Argumente, abgerufenen Kontext und Reasoning-Felder, mit einem eigenen Sanitizer für Traces und Logs. In der Auswertung von BroadNet vom Mai 2026 auf eigenen Korpora erreichten ihre Detektoren für breite PII einen Recall von 1.000 bei einem Credential-Replay mit 40 Fällen, 0.944 bei synthetischen klinischen Daten und 0.685 bei breiter englischer PII, gegenüber 0.194, 0.056 und 0.326 für Microsoft Presidio allein (Bericht von BroadNet). Das sind die Zahlen von BroadNet für das eigene Tool; lassen Sie das monitor-Profil auf Ihrem Traffic laufen, bevor Sie irgendetwas erzwingen.
Zwei Regeln für Platzhalter:
- Halten Sie sie konsistent innerhalb einer Unterhaltung, damit
[NAME_1]in jedem Turn dieselbe Person ist. - Weisen Sie das Modell an, sie unverändert zu lassen, wie im System-Prompt oben.
Schritt 3: Was passiert mit den Daten beim Anbieter?
Schwärzung reduziert, was hinausgeht. Was danach passiert, entscheidet der Anbieter. Fragen Sie:
- Werden Inhalte nach der Anfrage gespeichert, und wie lange?
- Werden sie für Training genutzt, und was ist die Voreinstellung?
- Wer betreibt die Hardware, und wo?
Die Antworten der Anbieter fallen sehr unterschiedlich aus. Siehe Datenspeicherung bei LLM-APIs im Vergleich für die offiziellen Formulierungen von fünf Anbietern, die ZDR-Checkliste für die technischen Fragen und die DSGVO-Checkliste für die Vertragsseite.
Schritt 4: Wie hält man Prompts aus den eigenen Logs heraus?
Im eigenen Stack bleiben Prompts am häufigsten liegen. Typische Lecks:
- Debug-Logging des HTTP-Clients, das Request-Bodys ausgibt.
- Tracing- und Observability-SDKs, die standardmäßig vollständige Prompts aufzeichnen.
- Fehlerreporter, die den Payload der fehlgeschlagenen Anfrage anhängen.
- Analytics-Events, die die Nachricht des Nutzers enthalten.
- Retry-Queues und Dead-Letter-Queues, die ganze Anfragen speichern.
Loggen Sie stattdessen: Request-ID, Modell, Token-Zahlen für Prompt und Completion, Latenz, Statuscode und die ID Ihres eigenen Schwärzungs-Mappings (nie das Mapping selbst). Das reicht, um Kosten und Fehler zu debuggen. Der Beitrag zum Usage-Logging enthält einen Wrapper, der genau diese Felder schreibt und die Kosten pro Aufruf berechnet.
Schritt 5: Wie schützt man den Weg zur API?
- Halten Sie Schlüssel auf Servern, nie im Browser- oder Mobile-Code. Sicherheit von LLM-API-Schlüsseln behandelt Speicherung und Rotation.
- Binden Sie Schlüssel mit IP-Allowlists an Ihre Egress-Adressen.
- Verwenden Sie einen API-Schlüssel pro Dienst, damit Sie einen widerrufen können, ohne alles anzuhalten.
Schritt 6: Was sollte man in der Antwort prüfen?
Schwärzung schützt die Anfrage. Auch die Antwort braucht eine Prüfung, denn ein Modell kann Werte wiederholen, erraten oder rekonstruieren:
- Integrität der Platzhalter. Suchen Sie nach
restore()nach übrig gebliebenen Tokens wie[PHONE_3], die nie in Ihrem Mapping standen. Sie bedeuten, dass das Modell einen erfunden hat. - Neue PII in der Ausgabe. Lassen Sie denselben Detektor über die Antwort laufen. Eine Antwort mit einer E-Mail-Adresse, die Sie nie gesendet haben, verdient einen zweiten Blick, bevor sie einen Kunden erreicht.
- Lecks zwischen Nutzern. Wenn Sie Antworten cachen oder Gesprächszustand teilen, stellen Sie sicher, dass die wiederhergestellten Werte eines Nutzers nie in der Antwort an einen anderen auftauchen.
Prüfen Sie jeden Ausgabekanal, nicht nur die Chat-Antwort. Die Safety-Map-Studie von BroadNet fand sensible Werte, die über Tool-Call-Argumente abflossen, in 20 von 73 Läufen, die diese befüllten, und über das Reasoning-Feld in 29 von 43 Läufen, die es befüllten, während die sichtbare Antwort als sicher, verfehlt oder abgeschnitten bewertet wurde.
Testen Sie den ganzen Ablauf an einem festen Satz von 50 echten, sensiblen Beispielen, wann immer Sie Prompt, Modell oder Detektor ändern. Zählen Sie die übersehenen Werte, nicht nur die erkannten: Eine übersehene Kartennummer wiegt schwerer als hundert korrekte Platzhalter.
Brauchen sensible Audiodaten dieselbe Behandlung?
Eine Sprachnachricht kann in zehn Sekunden einen Namen, eine Telefonnummer und ein Gesundheitsdetail enthalten. Transkripte erben all das. Schwärzen Sie das Transkript, bevor es zum Zusammenfassen an ein LLM geht, und bewahren Sie die rohen Audiodaten nur so lange auf wie nötig. Unsere Pipeline zur Transkription von Callcenter-Aufzeichnungen zeigt die Schwärzung zwischen Transkriptions- und Zusammenfassungsschritt.
Wo BroadNet Inference ins Bild passt
Die Datenschutzerklärung von BroadNet sagt, dass das Gateway “keeps no prompts, messages, images, audio, responses or transcripts” (Übersetzung: keine Prompts, Nachrichten, Bilder, Audiodaten, Antworten oder Transkripte speichert) und dass Inferenzdaten nicht genutzt werden, “to train, fine-tune or evaluate models” (Übersetzung: um Modelle zu trainieren, feinabzustimmen oder zu evaluieren). Es speichert inhaltsfreie Datensätze wie Zeitangaben, Token-Zahlen und Kosten; die vollständige Liste steht auf der Seite zu Zero Data Retention. Schlüssel lassen sich auf Ihre IP-Adressen beschränken. Qwen3.8 27B, im Beispiel oben verwendet, wurde von BroadNet auf Arabisch getestet, was zählt, wenn Ihre Platzhalter in arabischem Text stehen.
Das deckt die Seite des Anbieters ab. Es schwärzt nicht für Sie, und es räumt Ihre Logs nicht auf. Die Schritte 1, 2 und 4 bleiben bei jedem Anbieter Ihre Aufgabe, auch bei BroadNet. Wenn Sie für regulierte Daten einen schriftlichen AVV (DPA) oder eine Liste der Unterauftragsverarbeiter brauchen, fragen Sie BroadNet, bevor Sie die Daten senden; laut Erklärung ist die Liste der Unterauftragsverarbeiter auf Anfrage erhältlich.

