BroadRouter

API LLM không lưu giữ dữ liệu: checklist 10 câu hỏi

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

API LLM không lưu giữ dữ liệu chỉ xử lý prompt và đầu ra cho request, rồi không lưu trong log, cache hay dữ liệu huấn luyện. Hãy hỏi họ giữ gì (thường là bản ghi sử dụng không chứa nội dung), giữ bao lâu, ai vận hành GPU và kiểm tra ra sao. BroadNet Inference không giữ prompt, hình ảnh, âm thanh hay câu trả lời và kiểm tra cấu hình gateway mỗi giờ.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Coding agent gửi cả repository. Bot hỗ trợ gửi tin nhắn của khách hàng. Pipeline chép lời gửi cả cuộc gọi. Trước khi những thứ đó tới một API LLM, sẽ có người hỏi: sau khi câu trả lời trả về, dữ liệu đó ra sao? “Không lưu giữ dữ liệu” (zero data retention, ZDR) là câu trả lời mọi người muốn nghe, nhưng cụm từ này bao trùm những cách làm rất khác nhau.

Không lưu giữ dữ liệu nên bao gồm những gì?

Nội dung không được tồn tại lâu hơn request:

  • Prompt, system prompt và kết quả của tool
  • Hình ảnh và âm thanh
  • Đầu ra của model và bản chép lời
  • Toàn bộ nội dung request và response, kể cả trong log debug
  • URL gốc, query string và giá trị xác thực

Bản ghi thường được giữ, và không nên chứa nội dung:

  • Request ID, thời gian xử lý, trạng thái HTTP, số byte
  • ID tài khoản và key, model, số token, chi phí
  • Địa chỉ IP của client, phục vụ bảo mật

Nếu nhà cung cấp không nói được mỗi mục thuộc danh sách nào, hãy coi đó là câu trả lời “không”.

Huấn luyện, lưu giữ và ZDR có phải cùng một cam kết?

Cam kết Nghĩa là gì Không có nghĩa là gì
“Không dùng để huấn luyện” Dữ liệu của bạn sẽ không huấn luyện model tương lai Dữ liệu vẫn có thể được lưu một thời gian
“Lưu giữ N ngày” Nội dung được giữ, rồi bị xóa Nhân viên hoặc hệ thống có thể truy cập trong thời gian đó
“Không lưu giữ dữ liệu” Nội dung không được lưu sau request Metadata vẫn được giữ

Các nhà cung cấp lớn cho thấy vì sao sự khác biệt này quan trọng. Để xem cách diễn đạt chính thức của nhiều nhà cung cấp đặt cạnh nhau, hãy đọc so sánh chính sách lưu giữ dữ liệu API LLM. Trang kiểm soát dữ liệu của OpenAI cho biết từ ngày 1 tháng 3 năm 2023, dữ liệu API mặc định không được dùng để huấn luyện model của họ. Cùng trang đó nói log giám sát lạm dụng “are retained for up to 30 days” (bản dịch: được giữ tối đa 30 ngày), rằng các thiết lập ZDR “are subject to prior approval by OpenAI” (bản dịch: cần OpenAI phê duyệt trước), và rằng các endpoint lưu trạng thái, như files, assistants và batches, không đủ điều kiện. Một nhà cung cấp có thể trung thực ở cả ba điểm mà vẫn mặc định giữ nội dung của bạn trong một tháng.

Cam kết ZDR thường hở ở đâu?

  • Điều kiện áp dụng. ZDR có thể cần phê duyệt, một gói cụ thể hoặc hợp đồng, và ở trạng thái tắt cho đến khi được bật.
  • Phạm vi endpoint. Chat có thể đủ điều kiện trong khi lưu trữ file, batch hay fine-tuning thì không.
  • Ngoại lệ về an toàn. Ví dụ, FAQ của OpenRouter định nghĩa ZDR là “no routine storage of prompts or responses after processing, apart from a CSAM exception” (bản dịch: không lưu trữ thường lệ prompt hay response sau khi xử lý, ngoại trừ một ngoại lệ về CSAM).
  • Các lớp phía trên model. Một gateway, router hay công cụ observability ở giữa có thể ghi log prompt dù nhà cung cấp model không làm vậy. Hãy hỏi từng lớp.
  • Hệ thống của chính bạn. Log ứng dụng, công cụ theo dõi lỗi và analytics của bạn thường giữ nhiều nội dung hơn cả nhà cung cấp.

Nên hỏi nhà cung cấp 10 câu hỏi nào?

  1. Prompt và đầu ra có được lưu sau request không? Ở bất kỳ đâu? Bao gồm log, cache, hàng đợi và bản sao lưu.
  2. Có nội dung nào được dùng để huấn luyện hay đánh giá không? Bởi chính bạn hay bởi nhà cung cấp model?
  3. Bạn giữ lại gì, theo từng trường? Hãy yêu cầu danh sách.
  4. Bản ghi sử dụng được giữ bao lâu, và vì sao?
  5. Ai vận hành GPU? Chính nhà cung cấp, một đám mây, hay đại lý của một đại lý?
  6. Những bên xử lý phụ nào có thể thấy nội dung request?
  7. Việc lưu giữ được kiểm tra thế nào? Chỉ là chính sách, hay có kiểm tra tự động?
  8. Có khóa key vào địa chỉ IP của tôi được không? Key bị lộ cũng là một đường đi của dữ liệu.
  9. Phần cứng đặt ở đâu, và có thể chọn khu vực không?
  10. Khi mở ticket hỗ trợ thì sao? Nhân viên có thấy nội dung khi bạn báo lỗi không?

Hãy yêu cầu câu trả lời bằng văn bản, và ghi lại tài liệu nào khiến chúng có tính ràng buộc: điều khoản sử dụng, tuyên bố quyền riêng tư hay một thỏa thuận đã ký.

BroadNet Inference trả lời những câu hỏi đó thế nào?

Câu hỏi BroadNet Inference
Prompt, hình ảnh, âm thanh, câu trả lời có được lưu Không; được xử lý cho request và không lưu giữ
Huấn luyện trên dữ liệu của bạn Không; tuyên bố quyền riêng tư loại trừ việc huấn luyện, tinh chỉnh và đánh giá trên dữ liệu inference
Những gì được giữ Bản ghi traffic, sử dụng và tài khoản không chứa nội dung (danh sách đầy đủ)
Bản ghi được giữ bao lâu Theo thời gian mà nghĩa vụ thanh toán, thuế, bảo mật và pháp lý yêu cầu
Kiểm tra Kiểm tra cấu hình gateway mỗi giờ để bảo đảm không giữ nội dung
Phần cứng Tuyên bố quyền riêng tư nói các model được host chạy trên “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (bản dịch: phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, với năng lực của đối tác làm dự phòng); model do đối tác phục vụ chạy theo điều khoản ZDR với các đối tác inference tại Mỹ
Lưu trú dữ liệu Thống nhất địa điểm xử lý với BroadNet trước khi gửi dữ liệu có yêu cầu lưu trú (checklist GDPR)
Bảo vệ key Danh sách IP cho phép, tối đa 32 mục; thay đổi và thu hồi áp dụng cho request mới trong vòng năm giây
Key được lưu Chỉ lưu hash SHA-256; key gốc hiện một lần

Tài liệu của BroadNet mô tả việc không lưu giữ dữ liệu là “built into how we serve requests, not only stated in policy” (bản dịch: được xây dựng sẵn trong cách chúng tôi phục vụ request, không chỉ được nêu trong chính sách). Nó áp dụng cho mọi request, không có thiết lập nào cần bật. Chi tiết có trong tuyên bố quyền riêng tư.

ZDR có bao gồm giọng nói và âm thanh tiếng Ả Rập không?

Giọng nói là đầu vào nhạy cảm nhất mà phần lớn sản phẩm phải xử lý: một tin nhắn thoại có thể chứa tên, số điện thoại và một thông tin sức khỏe chỉ trong mười giây. Nếu bạn chép lời cuộc gọi hoặc tin nhắn thoại WhatsApp, hãy hỏi cùng mười câu đó về âm thanh và bản chép lời. Xem hướng dẫn chọn API chuyển giọng nói tiếng Ả Rập thành văn bản.

Làm sao kiểm chứng câu trả lời của nhà cung cấp?

  1. Đọc tuyên bố quyền riêng tư và tài liệu tham chiếu API, không chỉ trang marketing. Tìm danh sách theo từng trường.
  2. Kiểm tra phạm vi. Cam kết áp dụng cho những model, endpoint và gói nào?
  3. Xem API trả về gì. Nếu dashboard hiển thị prompt cũ của bạn, chúng đang được lưu ở đâu đó.
  4. Hỏi về quy trình hỗ trợ. Khi bạn mở ticket, ai thấy được gì?
  5. Ghi câu trả lời vào hồ sơ nhà cung cấp, kèm đường dẫn và ngày bạn kiểm tra.

ZDR không giải quyết được gì?

Không lưu giữ dữ liệu bảo vệ những gì xảy ra sau khi request tới nhà cung cấp. Bạn vẫn cần:

  • Giữ API key trên server, không bao giờ trong trình duyệt hay ứng dụng di động
  • Khóa key vào IP đi ra của bạn bằng danh sách IP cho phép
  • Che những gì model không cần, như số thẻ (cách che trước khi gửi)
  • Ghi log request ID ở phía bạn, để debug được mà nhà cung cấp không cần lưu nội dung; hướng dẫn lỗi cho biết cần gửi gì cho bộ phận hỗ trợ

Khi chuyển ứng dụng từ nhà cung cấp này sang nhà cung cấp khác, hãy thêm các bước kiểm tra này vào checklist chuyển đổi. Nếu bạn đi qua một gateway, hãy hỏi nó cùng những câu hỏi đó; bài so sánh OpenRouter cho thấy một router xử lý ZDR thế nào.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference phù hợp với các team muốn ZDR trên mọi request mà không cần đăng ký, kể cả trên các model do đối tác host, mà tuyên bố quyền riêng tư của BroadNet nói là chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Mỹ. Như mọi nhà cung cấp, BroadNet giữ bản ghi không chứa nội dung cho thanh toán và bảo mật. Nếu bạn cần dữ liệu được xử lý ở một khu vực cụ thể, hãy thống nhất địa điểm xử lý với BroadNet trước khi gửi dữ liệu; mặc định với model của chính họ và model họ host là Mỹ.

Câu hỏi thường gặp

Không lưu giữ dữ liệu nghĩa là gì với API LLM?

Nhà cung cấp xử lý prompt, file và đầu ra của bạn để trả lời request và không lưu nội dung đó sau đó, kể cả trong log, cache, bản sao lưu hay dữ liệu huấn luyện. Các bản ghi không chứa nội dung như thời gian xử lý và số token thường vẫn được giữ.

Không lưu giữ dữ liệu có nghĩa là hoàn toàn không có log không?

Không. Nhà cung cấp giữ bản ghi vận hành như thời gian xử lý, số token, chi phí, mã trạng thái và địa chỉ IP. Không lưu giữ dữ liệu nghĩa là các bản ghi đó không chứa nội dung prompt hay đầu ra.

“Chúng tôi không huấn luyện trên dữ liệu của bạn” có giống không lưu giữ dữ liệu không?

Không. Nhà cung cấp có thể cam kết không huấn luyện trên dữ liệu API mà vẫn giữ dữ liệu trong một thời gian, chẳng hạn để giám sát lạm dụng. Tài liệu của OpenAI cho biết dữ liệu API mặc định không được dùng để huấn luyện, và log giám sát lạm dụng được giữ tối đa 30 ngày.

Prompt của tôi có được dùng để huấn luyện model trên BroadNet Inference không?

Không. Tuyên bố quyền riêng tư của BroadNet cho biết họ không dùng dữ liệu inference “to train, fine-tune or evaluate models” (bản dịch: để huấn luyện, tinh chỉnh hay đánh giá model), và prompt, hình ảnh, âm thanh, câu trả lời và bản chép lời không được giữ lại sau request.

Không lưu giữ dữ liệu có đủ để tuân thủ GDPR không?

Có ích nhưng tự nó chưa giải quyết được. Bạn vẫn cần cơ sở pháp lý, hồ sơ hoạt động xử lý và thỏa thuận với từng bên xử lý. Hãy hỏi người phụ trách bảo vệ dữ liệu; ZDR giảm những gì nhà cung cấp nắm giữ, không giảm nghĩa vụ của chính bạn.

BroadNet chạy model ở đâu?

Tuyên bố quyền riêng tư của BroadNet cho biết model của chính họ và các model open-weight họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Mỹ, với năng lực của đối tác làm dự phòng. Model do đối tác phục vụ chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Mỹ. Hãy liên hệ BroadNet để thống nhất địa điểm xử lý trước khi gửi dữ liệu có yêu cầu lưu trú.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity