Sampling memang sengaja acak. Seed mengunci keacakan itu sehingga eksekusi ulang punya peluang menyamai eksekusi pertama.
Cara kerjanya
Saat temperature di atas nol, server mengundi setiap token berikutnya secara acak dari distribusi model. Undian itu digerakkan oleh generator bilangan acak. Kunci nilai awalnya, yaitu seed, maka permintaan yang sama seharusnya menghasilkan undian yang sama.
Referensi OpenAI menandai seed sebagai Beta. Cookbook-nya menyebutkan “our system will make a best effort to sample deterministically” (terjemahan: sistem kami akan berusaha sebaik mungkin melakukan sampling secara deterministik). Untuk mendapatkan output yang sama, cookbook itu meminta hal-hal berikut tetap sama antarpermintaan:
- bilangan bulat
seed, - prompt dan pesan,
temperature, top_p, danmax_tokens.
Respons menyertakan system_fingerprint, yang menurut OpenAI “represents the backend configuration that the model runs with” (terjemahan: merepresentasikan konfigurasi backend tempat model berjalan). Jika nilainya berubah antara dua eksekusi, harapkan output berbeda meski seed-nya sama.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Server model terbuka punya pengaturan yang sama. SamplingParams milik vLLM memiliki seed, “Random seed to use for the generation” (terjemahan: seed acak yang dipakai untuk generasi), dengan default none.
Kenapa ini penting
- Eval. Saat membandingkan prompt atau model dalam sebuah eval, seed yang tetap mengurangi noise antar eksekusi. Tetap jalankan beberapa sampel; best effort bukan jaminan.
- Debugging. Permintaan ber-seed membuat balasan aneh lebih mudah direproduksi.
- Caching. Jika Anda men-cache respons, masukkan seed ke dalam cache key, seperti di artikel caching respons.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan seed atau system_fingerprint. Uji sebelum mengandalkannya: kirim permintaan ber-seed yang sama lima kali dan bandingkan output-nya. Jika berbeda, turunkan temperature, simpan output yang Anda perlukan, dan lakukan evaluasi pada beberapa sampel, bukan satu. Panduan migrasi mencantumkan seed di antara field OpenAI yang perlu diuji atau dihapus.
Kesalahan umum
- Menganggap seed sebagai janji output yang identik byte demi byte.
- Mengubah max_tokens atau system prompt antar eksekusi lalu menyalahkan seed atas perbedaannya.