Pensampelan sengaja dibuat rawak. Seed menetapkan kerawakan itu supaya larian semula berpeluang sepadan dengan larian pertama.
Cara ia berfungsi
Apabila temperature melebihi sifar, pelayan mencabut setiap token seterusnya secara rawak daripada taburan model. Penjana nombor rawak memacu cabutan itu. Tetapkan nilai permulaannya, iaitu seed, dan permintaan yang sama sepatutnya mengambil cabutan yang sama.
Rujukan OpenAI menandakan seed sebagai Beta. Cookbook menyatakan “our system will make a best effort to sample deterministically” (Terjemahan BroadRouter: “sistem kami akan berusaha sebaik mungkin untuk membuat pensampelan secara deterministik”). Untuk mendapatkan output yang sepadan, ia menyarankan perkara berikut dikekalkan sama merentas permintaan:
- integer
seed, - prompt dan mesej,
temperature, top_p danmax_tokens.
Respons mengandungi system_fingerprint, yang menurut OpenAI “represents the backend configuration that the model runs with” (Terjemahan BroadRouter: “mewakili konfigurasi backend yang digunakan untuk menjalankan model”). Jika ia berubah antara dua larian, jangkakan output berbeza walaupun seed sama.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Pelayan model terbuka juga ada tombol yang sama. SamplingParams vLLM mempunyai seed, “Random seed to use for the generation” (seed rawak untuk penjanaan), dengan nilai lalai none.
Mengapa ia penting
- Eval. Apabila anda membandingkan prompt atau model dalam eval, seed yang tetap mengurangkan hingar antara larian. Tetap jalankan beberapa sampel; usaha terbaik bukan jaminan.
- Penyahpepijatan. Permintaan bertanda seed menjadikan jawapan yang pelik lebih mudah dihasilkan semula.
- Caching. Jika anda cache respons, masukkan seed dalam kunci cache, seperti yang dilakukan dalam artikel caching respons.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan seed atau system_fingerprint. Uji sebelum bergantung padanya: hantar permintaan bertanda seed yang sama lima kali dan bandingkan outputnya. Jika berbeza, turunkan temperature, simpan output yang anda perlukan, dan nilai pada beberapa sampel, bukan satu. Panduan langkah demi langkah migrasi menyenaraikan seed antara medan OpenAI yang perlu diuji atau dibuang.
Kesilapan biasa
- Menganggap seed sebagai janji output yang sama bait demi bait.
- Mengubah max_tokens atau system prompt antara larian dan menyalahkan seed atas perbezaannya.