BroadRouter
Mulakan

Parameter seed

Dikemas kini

Parameter seed ialah integer yang anda hantar bersama permintaan supaya API cuba memilih token yang sama apabila permintaan yang sama diulang. OpenAI menyifatkannya sebagai usaha terbaik: determinisme tidak dijamin, dan medan system_fingerprint menunjukkan apabila konfigurasi backend telah berubah.

Juga dikenali sebagai: benih rawak, output yang boleh diulang, output deterministik, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Pensampelan sengaja dibuat rawak. Seed menetapkan kerawakan itu supaya larian semula berpeluang sepadan dengan larian pertama.

Cara ia berfungsi

Apabila temperature melebihi sifar, pelayan mencabut setiap token seterusnya secara rawak daripada taburan model. Penjana nombor rawak memacu cabutan itu. Tetapkan nilai permulaannya, iaitu seed, dan permintaan yang sama sepatutnya mengambil cabutan yang sama.

Rujukan OpenAI menandakan seed sebagai Beta. Cookbook menyatakan “our system will make a best effort to sample deterministically” (Terjemahan BroadRouter: “sistem kami akan berusaha sebaik mungkin untuk membuat pensampelan secara deterministik”). Untuk mendapatkan output yang sepadan, ia menyarankan perkara berikut dikekalkan sama merentas permintaan:

  • integer seed,
  • prompt dan mesej,
  • temperature, top_p dan max_tokens.

Respons mengandungi system_fingerprint, yang menurut OpenAI “represents the backend configuration that the model runs with” (Terjemahan BroadRouter: “mewakili konfigurasi backend yang digunakan untuk menjalankan model”). Jika ia berubah antara dua larian, jangkakan output berbeza walaupun seed sama.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Pelayan model terbuka juga ada tombol yang sama. SamplingParams vLLM mempunyai seed, “Random seed to use for the generation” (seed rawak untuk penjanaan), dengan nilai lalai none.

Mengapa ia penting

  • Eval. Apabila anda membandingkan prompt atau model dalam eval, seed yang tetap mengurangkan hingar antara larian. Tetap jalankan beberapa sampel; usaha terbaik bukan jaminan.
  • Penyahpepijatan. Permintaan bertanda seed menjadikan jawapan yang pelik lebih mudah dihasilkan semula.
  • Caching. Jika anda cache respons, masukkan seed dalam kunci cache, seperti yang dilakukan dalam artikel caching respons.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan seed atau system_fingerprint. Uji sebelum bergantung padanya: hantar permintaan bertanda seed yang sama lima kali dan bandingkan outputnya. Jika berbeza, turunkan temperature, simpan output yang anda perlukan, dan nilai pada beberapa sampel, bukan satu. Panduan langkah demi langkah migrasi menyenaraikan seed antara medan OpenAI yang perlu diuji atau dibuang.

Kesilapan biasa

  • Menganggap seed sebagai janji output yang sama bait demi bait.
  • Mengubah max_tokens atau system prompt antara larian dan menyalahkan seed atas perbezaannya.

Soalan lazim

Adakah seed yang sama sentiasa memberi jawapan yang sama?

Tidak. OpenAI menyatakan "Determinism is not guaranteed" (determinisme tidak dijamin) dan ada "a small chance that responses differ" (sedikit kemungkinan respons berbeza) walaupun parameter dan system_fingerprint sepadan.

Adakah temperature 0 sama dengan menetapkan seed?

Tidak sepenuhnya. Temperature rendah menjadikan token teratas sangat mungkin dipilih; seed pula menetapkan cabutan rawak. Banyak pasukan menggunakan kedua-duanya, tetapi tiada satu pun yang menjamin output yang sama dengan sendirinya.

Adakah BroadNet Inference menyokong seed?

Rujukan API BroadNet tidak mendokumenkan seed atau system_fingerprint. Hantar permintaan bertanda seed yang sama beberapa kali dan bandingkan sebelum bergantung padanya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity