BroadRouter

API de LLM con retención cero de datos: lista de 10 preguntas

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado · Actualizado

Una API de LLM con retención cero de datos procesa sus prompts y salidas para la solicitud y no los guarda después, ni en logs, ni en cachés, ni en conjuntos de entrenamiento. Pregunte qué se conserva (normalmente registros de uso sin contenido), durante cuánto tiempo, quién opera las GPU y cómo se verifica la retención. BroadNet Inference no conserva prompts, imágenes, audio ni respuestas y revisa cada hora que su gateway no guarde contenido.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Los agentes de programación envían repositorios enteros. Los bots de soporte envían mensajes de clientes. Las pipelines de transcripción envían llamadas telefónicas. Antes de que nada de eso llegue a una API de LLM, alguien preguntará: ¿qué pasa con esos datos cuando vuelve la respuesta? “Retención cero de datos” (ZDR, por sus siglas en inglés) es la respuesta que todos quieren oír, pero la expresión abarca prácticas muy distintas.

¿Qué debe cubrir la retención cero de datos?

Contenido que no debe sobrevivir a la solicitud:

  • Prompts, prompts del sistema y resultados de herramientas
  • Imágenes y audio
  • Salidas del modelo y transcripciones
  • Cuerpos completos de solicitudes y respuestas, también en los logs de depuración
  • URL sin procesar, cadenas de consulta y valores de autenticación

Registros que normalmente se conservan y deben estar libres de contenido:

  • ID de solicitud, tiempos, estado HTTP, recuentos de bytes
  • ID de cuenta y de clave, modelo, recuentos de tokens, costo
  • Direcciones IP del cliente, por seguridad

Si un proveedor no sabe decirle en qué lista está cada elemento, tómelo como un “no”.

¿Entrenamiento, retención y ZDR son la misma promesa?

Promesa Qué significa Qué no significa
“No se usa para entrenar” Sus datos no entrenarán futuros modelos Puede que se guarden durante un tiempo
“Se conserva N días” El contenido se guarda y luego se borra Mientras tanto, personal o sistemas pueden acceder a él
“Retención cero de datos” El contenido no se guarda tras la solicitud Los metadatos sí se conservan

Los grandes proveedores muestran por qué importa la diferencia. Para ver lado a lado la redacción oficial de varios proveedores, consulte retención de datos en APIs de LLM, comparada. La página de controles de datos de OpenAI dice que, desde el 1 de marzo de 2023, los datos de la API no se usan por defecto para entrenar sus modelos. La misma página dice que los logs de vigilancia de abusos “are retained for up to 30 days” (Traducción: se conservan hasta 30 días), que los controles de ZDR “are subject to prior approval by OpenAI” (Traducción: están sujetos a la aprobación previa de OpenAI) y que los endpoints que guardan estado, como archivos, asistentes y lotes, no son elegibles. Un proveedor puede ser honesto en los tres puntos y aun así conservar su contenido durante un mes por defecto.

¿Dónde suelen tener huecos las promesas de ZDR?

  • Elegibilidad. La ZDR puede requerir aprobación, un plan concreto o un contrato, y está desactivada hasta que se activa.
  • Alcance por endpoint. El chat puede estar cubierto y el almacenamiento de archivos, los lotes o el fine-tuning no.
  • Excepciones de seguridad. Las preguntas frecuentes de OpenRouter, por ejemplo, definen la ZDR como “no routine storage of prompts or responses after processing, apart from a CSAM exception” (Traducción: ningún almacenamiento rutinario de prompts ni respuestas tras el procesamiento, salvo una excepción por CSAM).
  • Capas por encima del modelo. Un gateway, un router o una herramienta de observabilidad intermedia puede registrar los prompts aunque el proveedor del modelo no lo haga. Pregunte a cada capa.
  • Sus propios sistemas. Los logs de su aplicación, los sistemas de seguimiento de errores y la analítica suelen guardar más contenido que el proveedor.

¿Qué 10 preguntas debe hacerle a un proveedor?

  1. ¿Se guardan los prompts y las salidas tras la solicitud? ¿En algún sitio? Incluya logs, cachés, colas y copias de seguridad.
  2. ¿Se usa algún contenido para entrenar o evaluar? ¿Por parte de ustedes o de un proveedor de modelos?
  3. ¿Qué conservan, campo por campo? Pida la lista.
  4. ¿Cuánto tiempo se conservan los registros de uso y por qué?
  5. ¿Quién opera las GPU? ¿Su proveedor, una nube o el revendedor de un revendedor?
  6. ¿Qué subencargados pueden ver el contenido de las solicitudes?
  7. ¿Cómo se verifica la retención? ¿Con una política o con una comprobación automatizada?
  8. ¿Se pueden restringir las claves a mis direcciones IP? Una clave filtrada también es una vía de acceso a los datos.
  9. ¿Dónde está el hardware y es posible elegir la región?
  10. ¿Qué ocurre con un ticket de soporte? ¿Puede el personal ver contenido cuando usted informa de un error?

Pida las respuestas por escrito y anote qué documento las hace vinculantes: los términos, una declaración de privacidad o un contrato firmado.

¿Cómo responde BroadNet Inference?

Pregunta BroadNet Inference
Se guardan prompts, imágenes, audio, respuestas No; se procesan para la solicitud y no se conservan
Entrenamiento con sus datos No; la declaración de privacidad excluye entrenar, ajustar y evaluar con datos de inferencia
Qué se conserva Registros de tráfico, uso y cuenta sin contenido (lista completa)
Cuánto tiempo se conservan los registros El que exijan las obligaciones de facturación, fiscales, de seguridad y legales
Verificación Comprobación cada hora de que la configuración del gateway no conserva contenido
Hardware La declaración de privacidad dice que los modelos alojados se ejecutan en “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Traducción: hardware propiedad de BroadNet o arrendado en Estados Unidos, con capacidad de socios como respaldo); los modelos servidos por socios funcionan bajo condiciones de ZDR con socios de inferencia estadounidenses
Residencia de datos Acuerde las ubicaciones de procesamiento con BroadNet antes de enviar datos con requisitos de residencia (lista de verificación del RGPD)
Protección de claves Listas de IP permitidas, hasta 32 entradas; los cambios y revocaciones se aplican a las solicitudes nuevas en cinco segundos
Claves almacenadas Solo hashes SHA-256; la clave en claro se muestra una vez

La documentación de BroadNet describe la retención cero de datos como “built into how we serve requests, not only stated in policy” (Traducción: integrada en la forma en que atendemos las solicitudes, no solo declarada en una política). Se aplica a todas las solicitudes, sin ninguna opción que activar. Los detalles están en la declaración de privacidad.

¿La ZDR cubre la voz y el audio en árabe?

La voz es la entrada más sensible que maneja la mayoría de los productos: una nota de voz puede contener un nombre, un número de teléfono y un dato de salud en diez segundos. Si transcribe llamadas o notas de voz de WhatsApp, haga las mismas diez preguntas sobre el audio y las transcripciones. Consulte la guía de compra de APIs de voz a texto en árabe.

¿Cómo se comprueban las respuestas de un proveedor?

  1. Lea la declaración de privacidad y la referencia de la API, no solo la página comercial. Busque una lista campo por campo.
  2. Compruebe el alcance. ¿Qué modelos, endpoints y planes cubre la promesa?
  3. Fíjese en lo que devuelve la API. Si un panel muestra sus prompts anteriores, se están guardando en algún sitio.
  4. Pregunte por el proceso de soporte. ¿Quién puede ver qué cuando abre un ticket?
  5. Anote las respuestas en su ficha de proveedor, con enlaces y la fecha de la comprobación.

¿Qué no resuelve la ZDR?

La retención cero de datos protege lo que ocurre después de que su solicitud llega al proveedor. Usted sigue teniendo que:

  • Mantener las claves de API en servidores, nunca en navegadores ni en aplicaciones móviles
  • Restringir las claves a sus IP de salida con una lista de IP permitidas
  • Eliminar lo que el modelo no necesita, como números de tarjeta (cómo redactar antes de enviar)
  • Registrar los ID de solicitud por su lado, para poder depurar sin que el proveedor guarde contenido; la guía de errores muestra qué enviar a soporte

Cuando traslade una aplicación de un proveedor a otro, añada estas comprobaciones a la lista de verificación de migración. Si enruta a través de un gateway, hágale las mismas preguntas; la comparación con OpenRouter muestra cómo trata la ZDR un router.

Dónde encaja BroadNet Inference

BroadNet Inference se adapta a equipos que quieren ZDR en todas las solicitudes sin tener que solicitarla, incluso en modelos alojados por socios, que según su declaración de privacidad funcionan bajo condiciones de retención cero de datos con socios de inferencia estadounidenses. Conserva registros sin contenido para facturación y seguridad, como hace cualquier proveedor. Si necesita que sus datos se procesen en una región concreta, acuerde las ubicaciones de procesamiento con BroadNet antes de enviar datos; para sus modelos propios y alojados, la ubicación por defecto es EE. UU.

Preguntas frecuentes

¿Qué significa retención cero de datos en una API de LLM?

El proveedor procesa sus prompts, archivos y salidas para responder a la solicitud y no guarda ese contenido después, tampoco en logs, cachés, copias de seguridad ni conjuntos de entrenamiento. Normalmente sí se conservan registros sin contenido, como tiempos y recuentos de tokens.

¿Retención cero de datos significa que no hay ningún log?

No. Los proveedores conservan registros operativos como tiempos, recuentos de tokens, costo, códigos de estado y direcciones IP. Retención cero de datos significa que esos registros no contienen nada del prompt ni de la salida.

¿"No entrenamos con sus datos" es lo mismo que retención cero de datos?

No. Un proveedor puede comprometerse a no entrenar con los datos de la API y aun así conservarlos durante un tiempo, por ejemplo para vigilar abusos. La documentación de OpenAI dice que los datos de la API no se usan para entrenar por defecto y que los logs de vigilancia de abusos se conservan hasta 30 días.

¿BroadNet Inference usa mis prompts para entrenar modelos?

No. La declaración de privacidad de BroadNet dice que no usa los datos de inferencia "to train, fine-tune or evaluate models" (Traducción: para entrenar, ajustar ni evaluar modelos), y los prompts, imágenes, audio, respuestas y transcripciones no se conservan tras la solicitud.

¿Basta la retención cero de datos para cumplir el RGPD?

Ayuda, pero no lo resuelve por sí sola. Sigue necesitando una base jurídica, un registro de actividades de tratamiento y un contrato con cada encargado. Consulte a su responsable de protección de datos; la ZDR reduce lo que guarda el proveedor, no sus propias obligaciones.

¿Dónde ejecuta BroadNet sus modelos?

La declaración de privacidad de BroadNet dice que sus modelos propios y los modelos de pesos abiertos que aloja se ejecutan en hardware propiedad de BroadNet o arrendado en Estados Unidos, con capacidad de socios como respaldo. Los modelos servidos por socios funcionan bajo condiciones de retención cero de datos con socios de inferencia estadounidenses. Contacte con BroadNet para acordar las ubicaciones de procesamiento antes de enviar datos con requisitos de residencia.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity