BroadRouter

API LLM zero data retention: checklist 10 pertanyaan

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

API LLM dengan zero data retention memproses prompt dan output Anda untuk permintaan itu saja dan tidak menyimpannya setelahnya, baik di log, cache, maupun set pelatihan. Tanyakan apa yang disimpan (biasanya catatan pemakaian tanpa konten), berapa lama, siapa yang mengoperasikan GPU, dan bagaimana retensi diperiksa. BroadNet Inference tidak menyimpan prompt, gambar, audio, atau jawaban, dan setiap jam memeriksa bahwa konfigurasi gateway-nya tidak menyimpan konten.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Agen coding mengirim seluruh repositori. Bot dukungan mengirim pesan pelanggan. Pipeline transkripsi mengirim rekaman panggilan telepon. Sebelum semua itu dikirim ke API LLM, pasti ada yang bertanya: apa yang terjadi pada data itu setelah jawabannya kembali? “Zero data retention” (ZDR) adalah jawaban yang ingin didengar orang, tetapi frasa ini mencakup praktik yang sangat berbeda-beda.

Apa saja yang seharusnya dicakup zero data retention?

Konten yang tidak boleh bertahan setelah permintaan selesai:

  • Prompt, system prompt, dan hasil tool
  • Gambar dan audio
  • Output model dan transkrip
  • Body permintaan dan respons secara utuh, termasuk di log debug
  • URL mentah, query string, dan nilai autentikasi

Catatan yang biasanya disimpan, dan seharusnya tanpa konten:

  • ID permintaan, durasi, status HTTP, jumlah byte
  • ID akun dan kunci, model, jumlah token, biaya
  • Alamat IP klien, untuk keamanan

Jika penyedia tidak bisa memberi tahu Anda setiap item masuk daftar yang mana, anggap jawabannya “tidak”.

Apakah pelatihan, retensi, dan ZDR adalah janji yang sama?

Janji Artinya Yang tidak termasuk artinya
“Tidak dipakai untuk pelatihan” Data Anda tidak akan melatih model di masa depan Data mungkin tetap disimpan untuk sementara
“Disimpan selama N hari” Konten disimpan, lalu dihapus Staf atau sistem mungkin mengaksesnya selama itu
“Zero data retention” Konten tidak disimpan setelah permintaan Metadata tetap disimpan

Penyedia besar menunjukkan mengapa perbedaan ini penting. Untuk perbandingan berdampingan kata-kata resmi dari beberapa penyedia, lihat perbandingan retensi data API LLM. Halaman kontrol data OpenAI menyebutkan bahwa sejak 1 Maret 2023, data API tidak dipakai untuk melatih modelnya secara default. Halaman yang sama menyebutkan log pemantauan penyalahgunaan “are retained for up to 30 days” (Terjemahan BroadRouter: “disimpan hingga 30 hari”), kontrol ZDR “are subject to prior approval by OpenAI” (Terjemahan BroadRouter: “memerlukan persetujuan OpenAI terlebih dahulu”), dan endpoint yang menyimpan state, seperti files, assistants, dan batches, tidak memenuhi syarat. Sebuah penyedia bisa jujur dalam ketiga hal itu dan tetap menyimpan konten Anda selama sebulan secara default.

Di mana biasanya celah janji ZDR?

  • Kelayakan. ZDR mungkin butuh persetujuan, paket tertentu, atau kontrak, dan nonaktif sampai diaktifkan.
  • Cakupan endpoint. Chat mungkin memenuhi syarat sementara penyimpanan file, batch, atau fine-tuning tidak.
  • Pengecualian keamanan. FAQ OpenRouter, misalnya, mendefinisikan ZDR sebagai “no routine storage of prompts or responses after processing, apart from a CSAM exception” (Terjemahan BroadRouter: “tidak ada penyimpanan rutin prompt atau respons setelah pemrosesan, kecuali pengecualian CSAM”).
  • Lapisan di atas model. Gateway, router, atau alat observabilitas di tengah bisa mencatat prompt meskipun penyedia modelnya tidak. Tanyakan ke setiap lapisan.
  • Sistem Anda sendiri. Log aplikasi, error tracker, dan analitik Anda sering menyimpan lebih banyak konten daripada penyedianya.

10 pertanyaan apa yang perlu Anda ajukan ke penyedia?

  1. Apakah prompt dan output disimpan setelah permintaan? Di mana pun? Termasuk log, cache, antrean, dan backup.
  2. Apakah ada konten yang dipakai untuk pelatihan atau evaluasi? Oleh Anda atau oleh vendor model?
  3. Apa saja yang Anda simpan, field demi field? Minta daftarnya.
  4. Berapa lama catatan pemakaian disimpan, dan mengapa?
  5. Siapa yang mengoperasikan GPU? Penyedia Anda, sebuah cloud, atau reseller dari reseller?
  6. Subprosesor mana yang bisa melihat konten permintaan?
  7. Bagaimana retensi diverifikasi? Lewat kebijakan, atau pemeriksaan otomatis?
  8. Bisakah kunci dikunci ke alamat IP saya? Kunci yang bocor juga merupakan jalur data.
  9. Di mana hardware-nya, dan apakah penempatan regional tersedia?
  10. Apa yang terjadi pada tiket dukungan? Bisakah staf melihat konten saat Anda melaporkan bug?

Minta jawabannya secara tertulis, dan catat dokumen mana yang membuatnya mengikat: syarat layanan, pernyataan privasi, atau perjanjian yang ditandatangani.

Bagaimana BroadNet Inference menjawabnya?

Pertanyaan BroadNet Inference
Prompt, gambar, audio, jawaban disimpan Tidak; diproses untuk permintaan dan tidak disimpan
Pelatihan dengan data Anda Tidak; pernyataan privasi melarang pelatihan, fine-tuning, dan evaluasi dengan data inferensi
Apa yang disimpan Catatan trafik, pemakaian, dan akun tanpa konten (daftar lengkap)
Berapa lama catatan disimpan Selama dibutuhkan oleh kewajiban penagihan, pajak, keamanan, dan hukum
Verifikasi Pemeriksaan konfigurasi gateway setiap jam untuk operasi tanpa konten
Hardware Pernyataan privasi menyebut model yang di-host berjalan di “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan); model yang dilayani mitra berjalan dengan ketentuan ZDR bersama mitra inferensi AS
Residensi data Sepakati lokasi pemrosesan dengan BroadNet sebelum mengirim data yang punya persyaratan residensi (checklist GDPR)
Perlindungan kunci IP allow-list, hingga 32 entri; perubahan dan pencabutan berlaku untuk permintaan baru dalam lima detik
Kunci yang disimpan Hanya hash SHA-256; kunci mentah ditampilkan sekali

Dokumentasi BroadNet menggambarkan zero data retention sebagai “built into how we serve requests, not only stated in policy” (Terjemahan BroadRouter: “tertanam dalam cara kami melayani permintaan, bukan hanya tertulis dalam kebijakan”). ZDR berlaku untuk setiap permintaan, tanpa pengaturan yang perlu diaktifkan. Detailnya ada di pernyataan privasi.

Apakah ZDR mencakup ucapan dan audio bahasa Arab?

Suara adalah input paling sensitif yang ditangani kebanyakan produk: satu pesan suara bisa berisi nama, nomor telepon, dan detail kesehatan dalam sepuluh detik. Jika Anda mentranskripsi panggilan atau pesan suara WhatsApp, ajukan sepuluh pertanyaan yang sama tentang audio dan transkrip. Lihat panduan memilih API speech-to-text bahasa Arab.

Bagaimana memeriksa jawaban penyedia?

  1. Baca pernyataan privasi dan referensi API-nya, bukan hanya halaman pemasaran. Cari daftar field demi field.
  2. Periksa cakupannya. Model, endpoint, dan paket mana yang dicakup janji itu?
  3. Lihat apa yang dikembalikan API. Jika dasbor menampilkan prompt lama Anda, berarti prompt itu disimpan di suatu tempat.
  4. Tanyakan proses dukungannya. Siapa yang bisa melihat apa saat Anda membuka tiket?
  5. Tulis jawabannya di catatan vendor Anda, dengan tautan dan tanggal Anda mengeceknya.

Apa yang tidak diselesaikan ZDR?

Zero data retention melindungi apa yang terjadi setelah permintaan Anda sampai ke penyedia. Anda tetap perlu:

  • Menyimpan kunci API di server, jangan pernah di browser atau aplikasi mobile
  • Mengunci kunci ke IP egress Anda dengan IP allow-list
  • Menyamarkan apa yang tidak dibutuhkan model, seperti nomor kartu (cara menyamarkan sebelum mengirim)
  • Mencatat ID permintaan di sisi Anda, agar bisa debug tanpa penyedia menyimpan konten; panduan error menunjukkan apa yang perlu dikirim ke dukungan

Saat memindahkan aplikasi dari satu penyedia ke penyedia lain, tambahkan pemeriksaan ini ke checklist migrasi. Jika Anda merutekan lewat gateway, ajukan pertanyaan yang sama kepadanya; perbandingan OpenRouter menunjukkan bagaimana satu router menangani ZDR.

Di mana posisi BroadNet Inference?

BroadNet Inference cocok untuk tim yang menginginkan ZDR di setiap permintaan tanpa harus mengajukannya, termasuk pada model yang di-host mitra, yang menurut pernyataan privasinya berjalan dengan ketentuan zero data retention bersama mitra inferensi AS. Seperti setiap penyedia, BroadNet menyimpan catatan tanpa konten untuk penagihan dan keamanan. Jika data Anda perlu diproses di wilayah tertentu, sepakati lokasi pemrosesan dengan BroadNet sebelum mengirim data; lokasi default untuk model milik sendiri dan model yang di-host-nya adalah AS.

Pertanyaan umum

Apa arti zero data retention untuk API LLM?

Penyedia memproses prompt, file, dan output Anda untuk menjawab permintaan dan tidak menyimpan konten itu setelahnya, termasuk di log, cache, backup, atau set pelatihan. Catatan tanpa konten seperti durasi dan jumlah token biasanya tetap disimpan.

Apakah zero data retention berarti tidak ada log sama sekali?

Tidak. Penyedia menyimpan catatan operasional seperti durasi, jumlah token, biaya, kode status, dan alamat IP. Zero data retention berarti catatan itu tidak berisi konten prompt atau output.

Apakah "kami tidak melatih model dengan data Anda" sama dengan zero data retention?

Tidak. Penyedia bisa berjanji tidak melatih dengan data API tetapi tetap menyimpannya untuk jangka waktu tertentu, misalnya untuk pemantauan penyalahgunaan. Dokumentasi OpenAI menyebutkan data API tidak dipakai untuk pelatihan secara default, dan log pemantauan penyalahgunaan disimpan hingga 30 hari.

Apakah prompt saya dipakai untuk melatih model di BroadNet Inference?

Tidak. Pernyataan privasi BroadNet menyebutkan bahwa data inferensi tidak dipakai "to train, fine-tune or evaluate models" (Terjemahan BroadRouter: "untuk melatih, melakukan fine-tune, atau mengevaluasi model"), dan prompt, gambar, audio, jawaban, serta transkrip tidak disimpan setelah permintaan.

Apakah zero data retention cukup untuk GDPR?

Membantu, tetapi tidak menyelesaikannya sendirian. Anda tetap butuh dasar hukum, catatan pemrosesan, dan perjanjian dengan setiap pemroses. Tanyakan kepada penanggung jawab perlindungan data Anda; ZDR mengurangi apa yang dipegang penyedia, bukan kewajiban Anda sendiri.

Di mana BroadNet menjalankan modelnya?

Pernyataan privasi BroadNet menyebutkan model milik sendiri dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan. Model yang dilayani mitra berjalan dengan ketentuan zero data retention bersama mitra inferensi AS. Hubungi BroadNet untuk menyepakati lokasi pemrosesan sebelum mengirim data yang punya persyaratan residensi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity