编程智能体会发送整个代码仓库,客服机器人会发送客户消息。ZDR 回答的是随之而来的问题:回答返回之后,这些内容会怎样处理?
原理
在 ZDR 下,服务商只在处理请求期间把提示词和输出内容保存在内存中。处理完成后,这些内容不会写入:
- 请求日志或调试日志;
- 滥用监控存储;
- 持久化缓存或队列;
- 训练或评估数据集。
通常仍会保留、但不含内容的记录包括请求 ID、时间戳、状态码、模型、token 数、费用和客户端 IP 地址。
ZDR 并不是各家的默认设置。例如 OpenAI 的 API 默认会把滥用监控日志保留最多 30 天,并向经过批准的客户提供 ZDR。它还表示,除非你主动选择加入,API 数据不会用于训练。请逐家阅读服务商的条款,不要想当然。
为什么重要
- 合规。 提示词里经常有个人信息、健康信息或商业机密。从未被存储的内容,就不可能从日志或备份中泄露。
- 更少的参与方。 每个保留副本的系统都是一个需要保护的地方。路由器或转售商会在数据链路上增加参与方。
- 语音和图像。 语音消息和扫描文档属于最敏感的输入。ZDR 也应覆盖音频和转写文本。
ZDR 保护的是请求到达之后发生的事。你仍需保护好自己的 API 密钥,把它们锁定到已知 IP,并删去模型不需要的信息。
在 BroadNet Inference 上
BroadNet 的文档称 ZDR “built into how we serve requests, not only stated in policy”(译文:内置于我们处理请求的方式之中,而不只是写在政策里)。BroadNet Inference 在任何请求中都不保留提示词、图像、音频、回答或转写文本。它会保留不含内容的流量和用量记录,如耗时、token 数和费用,保留期限以计费、税务、安全和法律义务的要求为准。自动化的保留审计每小时运行一次。
根据 BroadNet 的隐私声明,它托管的模型运行在 BroadNet 自有或租用的美国境内硬件上,以合作伙伴的算力作为备份;由合作伙伴提供的模型,则在与美国推理合作伙伴约定的零数据保留条款下运行。密钥可以通过 IP 白名单锁定到你的服务器。