BroadRouter

零数据保留大模型 API:10 个问题的核对清单

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

零数据保留的大模型 API 只为处理请求而使用你的提示词和输出,之后不会把它们存进日志、缓存或训练集。要问清保留了什么(通常是不含内容的用量记录)、保留多久、谁在运行 GPU、保留情况如何核查。BroadNet Inference 不保留提示词、图片、音频或回答,并每小时检查一次网关配置,确保不留存内容。

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

编程智能体会发送整个代码仓库,客服机器人会发送客户消息,转写流水线会发送电话录音。在这些内容发往大模型 API 之前,总会有人问:回答返回之后,这些数据会怎样?“零数据保留”(ZDR)是大家想听到的答案,但这个说法背后的做法差别很大。

零数据保留应该涵盖什么?

不应在请求结束后继续存在的内容:

  • 提示词、系统提示词和工具结果
  • 图片和音频
  • 模型输出和转写文本
  • 完整的请求体和响应体,包括调试日志中的
  • 原始 URL、查询字符串和认证信息

通常会保留、但应该不含内容的记录:

  • 请求 ID、耗时、HTTP 状态、字节数
  • 账户和密钥 ID、模型、token 数、费用
  • 客户端 IP 地址,用于安全目的

如果服务商说不清每一项属于哪个列表,就当作答案是“否”。

不用于训练、数据保留和 ZDR 是同一个承诺吗?

承诺 意味着什么 不意味着什么
“不用于训练” 你的数据不会用来训练未来的模型 数据仍可能被存储一段时间
“保留 N 天” 内容会被保留,之后删除 在此期间员工或系统可能访问它
“零数据保留” 请求结束后不存储内容 元数据仍会保留

大型服务商的例子说明了这些区别为什么重要。多家服务商官方措辞的并排对比,请看大模型 API 数据保留对比。OpenAI 的数据控制页面说,自 2023 年 3 月 1 日起,API 数据默认不用于训练其模型。同一页面还说,滥用监控日志 “are retained for up to 30 days”(译文:最多保留 30 天),ZDR 控制 “are subject to prior approval by OpenAI”(译文:须事先获得 OpenAI 批准),而且文件、assistants 和批处理等会存储状态的端点不符合条件。服务商可以在这三点上都如实相告,同时默认仍把你的内容保留一个月。

ZDR 承诺通常在哪里有漏洞?

  • 资格。 ZDR 可能需要审批、特定套餐或合同,在开启之前处于关闭状态。
  • 端点范围。 聊天可能符合条件,而文件存储、批处理或微调则不符合。
  • 安全例外。 例如,OpenRouter 的常见问题把 ZDR 定义为 “no routine storage of prompts or responses after processing, apart from a CSAM exception”(译文:处理后不例行存储提示词或响应,CSAM 例外)。
  • 模型之上的各层。 即使模型服务商不记录提示词,中间的网关、路由或可观测性工具也可能记录。每一层都要问。
  • 你自己的系统。 你的应用日志、错误追踪和分析工具,保留的内容往往比服务商还多。

应该问服务商哪 10 个问题?

  1. 请求结束后,提示词和输出是否以任何形式存储?存在哪里? 包括日志、缓存、队列和备份。
  2. 是否有任何内容被用于训练或评估? 由你们还是由模型厂商?
  3. 你们逐字段保留了什么? 要一份清单。
  4. 用量记录保留多久,为什么?
  5. 谁在运行 GPU? 你们自己、云厂商,还是转售商的转售商?
  6. 哪些子处理方能看到请求内容?
  7. 如何核查数据保留情况? 是一纸政策,还是自动检查?
  8. 密钥能否锁定到我的 IP 地址? 泄露的密钥也是一条数据路径。
  9. 硬件在哪里,能否指定区域?
  10. 提交支持工单时会怎样? 你报告 bug 时,员工能看到内容吗?

要求对方书面回答,并记下是哪份文件让这些回答具有约束力:服务条款、隐私声明,还是签署的协议。

BroadNet Inference 怎样回答这些问题?

问题 BroadNet Inference
是否存储提示词、图片、音频、回答 否;只为请求处理,不保留
是否用你的数据训练 否;隐私声明排除了用推理数据进行训练、微调和评估
保留什么 不含内容的流量、用量和账户记录(完整清单)
记录保留多久 按计费、税务、安全和法律义务的要求保留
核查方式 每小时检查网关配置,确保不留存内容
硬件 隐私声明称,托管模型 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(译文:运行在 BroadNet 自有或租用的美国硬件上,并以合作伙伴算力作为备用);由合作伙伴提供的模型按 ZDR 条款交由美国推理合作伙伴运行
数据驻留 发送有驻留要求的数据之前,与 BroadNet 约定处理地点(GDPR 核对清单)
密钥保护 IP 白名单,最多 32 条;修改和吊销在 5 秒内对新请求生效
密钥存储 只保存 SHA-256 哈希;原始密钥只显示一次

BroadNet 的文档把零数据保留描述为 “built into how we serve requests, not only stated in policy”(译文:内置于我们处理请求的方式之中,而不只是写在政策里)。它适用于每一个请求,无需开启任何设置。详情见隐私声明。

ZDR 是否涵盖语音和阿拉伯语音频?

语音是大多数产品处理的最敏感的输入:一条十秒的语音消息里,就可能包含姓名、电话号码和健康信息。如果你转写通话或 WhatsApp 语音消息,请就音频和转写文本问同样的 10 个问题。参见阿拉伯语语音转文字采购指南。

怎样核查服务商的回答?

  1. 阅读隐私声明和 API 参考,不要只看营销页面。找一份逐字段的清单。
  2. 检查范围。 这项承诺涵盖哪些模型、端点和套餐?
  3. 看看 API 返回了什么。 如果控制台能显示你过去的提示词,那它们一定存储在某处。
  4. 了解支持流程。 你提交工单时,谁能看到什么?
  5. 把回答写进你的供应商档案,附上链接和核查日期。

ZDR 解决不了什么?

零数据保留保护的是请求到达服务商之后发生的事情。你仍然需要:

  • 把 API 密钥放在服务器上,绝不放进浏览器或移动应用
  • 用 IP 白名单把密钥锁定到你的出口 IP
  • 删去模型不需要的信息,例如银行卡号(发送前如何脱敏)
  • 在你这边记录请求 ID,这样不需要服务商存储内容也能调试;错误指南说明了该向技术支持提供什么

把应用从一家服务商迁移到另一家时,把这些检查项加入迁移核对清单。如果你通过网关路由,也要问它同样的问题;OpenRouter 对比一文展示了一个路由平台如何处理 ZDR。

BroadNet Inference 适合什么场景

BroadNet Inference 适合希望每个请求都享有 ZDR、而且无需申请的团队,包括由合作伙伴托管的模型:其隐私声明称,这些模型按零数据保留条款交由美国推理合作伙伴运行。和所有服务商一样,它会为计费和安全保留不含内容的记录。如果你需要在特定区域处理数据,请在发送数据之前与 BroadNet 约定处理地点;它自己的模型和托管模型默认在美国处理。

常见问题

大模型 API 的零数据保留是什么意思?

服务商为回答请求而处理你的提示词、文件和输出,之后不再存储这些内容,包括日志、缓存、备份和训练集。耗时、token 数等不含内容的记录通常仍会保留。

零数据保留是不是完全没有日志?

不是。服务商会保留耗时、token 数、费用、状态码和 IP 地址等运营记录。零数据保留的意思是,这些记录里不含任何提示词或输出内容。

“不用你的数据训练”和零数据保留是一回事吗?

不是。服务商可以承诺不用 API 数据训练,同时仍把数据保留一段时间,例如用于滥用监控。OpenAI 的文档说,API 数据默认不用于训练,而滥用监控日志最多保留 30 天。

在 BroadNet Inference 上,我的提示词会被用来训练模型吗?

不会。BroadNet 的隐私声明说,它不会用推理数据 "to train, fine-tune or evaluate models"(译文:训练、微调或评估模型),提示词、图片、音频、回答和转写文本在请求结束后都不保留。

零数据保留就足以满足 GDPR 吗?

有帮助,但本身并不能解决全部问题。你仍然需要合法依据、处理活动记录,以及与每个处理方签订的协议。请咨询你的数据保护负责人;ZDR 减少的是服务商持有的数据,而不是你自己的义务。

BroadNet 在哪里运行模型?

BroadNet 的隐私声明说,它自己的模型和托管的开放权重模型运行在 BroadNet 自有或租用的美国硬件上,合作伙伴的算力作为备用。由合作伙伴提供的模型,按零数据保留条款交由美国推理合作伙伴运行。如果数据有驻留要求,请在发送之前与 BroadNet 约定处理地点。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity