BroadRouter

El Safety Map: cómo tratan 39 LLM los datos sensibles

Por el equipo de BroadNet Inference · 3 min de lectura · Publicado · Actualizado

El Safety Map es un preprint de BroadNet de abril de 2026 (DOI 10.5281/zenodo.19688433). Probó 39 modelos de 14 laboratorios con 7 sondas sobre credenciales, PII, datos de salud, números de cuenta y escaneo DLP, en unas 1,300 evaluaciones de varias ejecuciones. La seguridad no se transfirió entre categorías ni entre canales de salida: 20 de 73 ejecuciones que rellenaron argumentos de tool calls filtraron datos por ellos.

El Safety Map es el estudio de BroadNet sobre cómo manejan los datos sensibles los grandes modelos de lenguaje. El preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling (Traducción: El mapa de seguridad: qué se transfiere y qué no en el manejo de datos sensibles por los LLM), se publicó en Zenodo el 22 de abril de 2026 con el DOI 10.5281/zenodo.19688433, y su autor es Mohammad Al Zubaidi. Es el complemento del método de evaluación de datos sensibles de BroadNet.

Lo que sigue es nuestro resumen del abstract y de la página de investigación de BroadNet. Los veredictos son de BroadNet.

¿Qué abarcó el estudio?

Dimensión Cobertura
Modelos 39, de 14 laboratorios independientes
Escenarios de sondeo 7
Categorías Credenciales, PII, información de salud protegida (PHI), números de cuentas financieras, escaneo de prevención de pérdida de datos (DLP)
Evidencia Más de 135 combinaciones clasificadas de modelo y sonda, a partir de unas 1,300 evaluaciones de varias ejecuciones

El catálogo de BroadNet indica que ha pasado unos 90 modelos remotos y de API, que nunca ejecutó en su propio hardware, por sus bancos de pruebas de seguridad, enrutamiento y árabe, y que esos hallazgos alimentan este mapa.

¿Cuáles son los principales hallazgos?

La seguridad es una superficie, no una puntuación única. Varía a lo largo de tres ejes que se combinan:

  • Arquitectura. El artículo reporta un umbral de capacidad de unos 24B parámetros activos en credenciales, en distintos diseños de enrutamiento, con los modelos mixture-of-experts de pocos parámetros activos como caso principal.
  • Generación. La calidad de la alineación desplaza el límite dentro de una misma familia de modelos.
  • La inversión del laboratorio en alineación. La etiqueta de modelo insignia de un laboratorio conocido no es una garantía.

Ninguno de los tres predice la seguridad por sí solo; se combinan.

La seguridad no se transfiere entre categorías. Manejar bien las credenciales y los números de la Seguridad Social no se trasladó a los nombres, los historiales de salud ni los números de cuenta en el mismo modelo.

Los canales de salida filtran de forma independiente. Este es el hallazgo con más peso práctico:

  • De 73 ejecuciones que rellenaron tool_calls.arguments, 20 enviaron valores sensibles a través del tool call. Entre los modelos detrás de esas ejecuciones estaba Kimi K2.6 de Moonshot, probado el día de su lanzamiento, un modelo que el artículo califica por lo demás como seguro en varias ejecuciones en credenciales, PII, datos financieros y DLP.
  • De 43 ejecuciones en las que el proveedor rellenó reasoning_content con al menos 20 caracteres, 29 filtraron valores sensibles en el razonamiento mientras la respuesta del chat se calificaba como segura, omitida o truncada.

La poda puede romper la seguridad. Dos versiones podadas independientes de la línea Llama de Meta, creadas por NVIDIA con búsqueda de arquitectura neuronal, rompieron la seguridad de los datos de salud a través de distintos canales de salida.

El artículo termina con una clasificación en cinco niveles. Su grupo superior, uniformemente seguro en todas las categorías probadas, lo forman Claude Opus 4.7, GPT-5.4 y GPT-5.4-mini, Gemini 3 Flash y Gemini 3.1 Pro. El abstract indica que los modelos insignia de xAI Grok y Meta Llama no entran en ese grupo.

¿Qué debería cambiar en su propio stack?

  1. Filtre todos los canales. Revisar la respuesta visible no detecta los argumentos de los tool calls ni los campos de razonamiento. Si usa tool calling o un modelo de razonamiento, inspeccione ambos.
  2. Pruebe por categoría. Un resultado limpio en credenciales no dice nada sobre datos de salud o salariales.
  3. Vuelva a probar cuando se actualicen los modelos. El resultado de Kimi K2.6 vino de un modelo el día de su lanzamiento.
  4. Oculte primero los datos cuando pueda. Un modelo no puede filtrar lo que nunca vio. Nuestra guía de datos sensibles muestra la sustitución por marcadores en Python.

¿Qué es LSDF?

LSDF, el LLM Sensitive Data Firewall, es el control que BroadNet construyó a partir de estos dos artículos y publicó como código abierto bajo Apache-2.0 en github.com/brntech/lsdf. Es un proxy inverso para la API de chat completions compatible con OpenAI: usted apunta la base URL de su cliente hacia él, y él reenvía al servidor del modelo o a su proveedor. BroadNet afirma que inspecciona solicitudes, respuestas, fragmentos en streaming, argumentos de tool calls en streaming, contexto recuperado y campos de razonamiento, y que sanea por separado las trazas y los registros.

La evaluación de BroadNet de mayo de 2026 sobre sus propios corpus reporta este recall:

Pila de detectores Repetición de credenciales PHI clínica PII amplia en inglés
Solo regex 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
Detectores de PII amplia de LSDF 1.000 0.944 0.685

Son cifras de un proveedor sobre su propia herramienta, con corpus que él eligió. Sirven como punto de partida, y el repositorio incluye la repetición para que usted pueda comprobarlas. LSDF funciona delante de cualquier modelo, incluidos los que BroadNet no aloja.

¿Cuáles son los límites?

El artículo es un preprint, sin revisión por pares. Según la política de publicación responsable de BroadNet, los prompts exactos, los formatos de credenciales y los umbrales se excluyen de la versión pública y se comparten con proveedores de modelos e investigadores que los soliciten. Las versiones de los modelos cambian rápido, así que un veredicto de abril de 2026 es un motivo para probar, no un sustituto de las pruebas.

Preguntas frecuentes

¿Qué modelos obtuvieron mejores resultados en el Safety Map?

El resumen sitúa en la cima un grupo de alineación de frontera, uniformemente seguro en todas las categorías probadas: Claude Opus 4.7, GPT-5.4 y GPT-5.4-mini, Gemini 3 Flash y Gemini 3.1 Pro. Claude Sonnet 4.6 queda justo por debajo, con una fuga de datos de salud limitada a la fecha de nacimiento en 15 ejecuciones.

¿Un modelo que nunca filtra claves de API es seguro con datos de pacientes?

No necesariamente. El artículo encontró que la seguridad se disocia por categoría: un modelo que protegió credenciales, números de la Seguridad Social estadounidense y contraseñas de bases de datos aun así podía nombrar a empleados de un documento salarial en cada ejecución.

¿Por qué importan los tool calls?

Porque muchos filtros solo revisan la respuesta del chat. De 73 ejecuciones en las que el modelo rellenó argumentos de tool calls, 20 enviaron valores sensibles por ese canal, incluso en un modelo que por lo demás era seguro en varias ejecuciones.

¿Los modelos mixture-of-experts pequeños filtran más?

El artículo reporta un umbral de capacidad de unos 24B parámetros activos en credenciales, y los diseños mixture-of-experts con pocos parámetros activos son su principal manifestación. La publicación de BroadNet para profesionales dice que todavía no ha encontrado un modelo MoE con menos de 24B parámetros activos que no filtre en sus sondas de datos estructurados.

¿Los modelos de BroadNet Inference están en el Safety Map?

El resumen no ofrece veredictos por modelo para ellos, y el preprint es de abril de 2026, así que un modelo lanzado después no puede figurar en él. Gemma 4 VL 26B tiene unos 4B parámetros activos, así que pruébelo con sus propias sondas de datos sensibles, u oculte los datos antes de enviarlos, si va a ver credenciales o datos personales.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity