Örnekleme bilerek rastgeledir. Seed bu rastgeleliği sabitler; böylece yeniden çalıştırmanın ilk çalıştırmayla eşleşme şansı olur.
Nasıl çalışır
Sıcaklık sıfırın üzerindeyken sunucu, sonraki her token’ı modelin dağılımından rastgele çeker. Bu çekilişleri bir rastgele sayı üreteci yönetir. Üretecin başlangıç değerini, yani seed’i sabitlerseniz aynı istek aynı çekilişleri yapmalıdır.
OpenAI’nin referansı seed alanını Beta olarak işaretler. Cookbook “our system will make a best effort to sample deterministically” (çeviri: sistemimiz deterministik örnekleme yapmak için elinden geleni yapar) der. Eşleşen çıktılar için istekler arasında şunların aynı kalmasını söyler:
seedtam sayısı,- istem ve mesajlar,
temperature, top_p vemax_tokens.
Yanıt, OpenAI’ye göre “represents the backend configuration that the model runs with” (çeviri: modelin çalıştığı arka uç yapılandırmasını temsil eden) system_fingerprint alanını içerir. Bu değer iki çalıştırma arasında değişirse, aynı seed ile bile farklı çıktılar bekleyin.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Açık model sunucularında da aynı ayar vardır. vLLM’in SamplingParams sınıfında varsayılanı boş (none) olan ve “Random seed to use for the generation” (çeviri: üretim için kullanılacak rastgele seed) diye tanımlanan bir seed bulunur.
Neden önemli
- Değerlendirmeler. Bir değerlendirmede (eval) istemleri veya modelleri karşılaştırırken sabit bir seed, çalıştırmalar arasındaki gürültüyü azaltır. Yine de birkaç örnek çalıştırın; en iyi çaba bir garanti değildir.
- Hata ayıklama. Seed’li bir istek, tuhaf bir yanıtı yeniden üretmeyi kolaylaştırır.
- Önbellekleme. Yanıtları önbelleğe alıyorsanız, yanıt önbellekleme yazısında olduğu gibi seed’i önbellek anahtarına ekleyin.
BroadNet Inference’ta
BroadNet’in API referansı seed veya system_fingerprint alanlarını belgelemez. Güvenmeden önce test edin: aynı seed’li isteği beş kez gönderin ve çıktıları karşılaştırın. Farklıysalar sıcaklığı düşürün, ihtiyacınız olan çıktıları saklayın ve tek bir örnek yerine birkaç örnek üzerinde değerlendirme yapın. Geçiş rehberi, seed’i test edilmesi veya kaldırılması gereken OpenAI alanları arasında listeler.
Sık yapılan hatalar
- Seed’i bayt bayt aynı çıktının vaadi olarak görmek.
- Çalıştırmalar arasında max_tokens’ı veya sistem istemini değiştirip farkın suçunu seed’e atmak.