BroadRouter
Başlayın

Seed parametresi (rastgelelik tohumu)

Güncellendi

Seed parametresi, aynı istek tekrarlandığında API'nin aynı token'ları örneklemeye çalışması için istekle gönderdiğiniz bir tam sayıdır. OpenAI bunu en iyi çaba (best effort) olarak tanımlar: determinizm garanti edilmez ve system_fingerprint alanı arka uç yapılandırmasının ne zaman değiştiğini gösterir.

Diğer adları: seed, rastgelelik tohumu, tohum değeri, tekrarlanabilir çıktı, deterministik çıktı, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Örnekleme bilerek rastgeledir. Seed bu rastgeleliği sabitler; böylece yeniden çalıştırmanın ilk çalıştırmayla eşleşme şansı olur.

Nasıl çalışır

Sıcaklık sıfırın üzerindeyken sunucu, sonraki her token’ı modelin dağılımından rastgele çeker. Bu çekilişleri bir rastgele sayı üreteci yönetir. Üretecin başlangıç değerini, yani seed’i sabitlerseniz aynı istek aynı çekilişleri yapmalıdır.

OpenAI’nin referansı seed alanını Beta olarak işaretler. Cookbook “our system will make a best effort to sample deterministically” (çeviri: sistemimiz deterministik örnekleme yapmak için elinden geleni yapar) der. Eşleşen çıktılar için istekler arasında şunların aynı kalmasını söyler:

  • seed tam sayısı,
  • istem ve mesajlar,
  • temperature, top_p ve max_tokens.

Yanıt, OpenAI’ye göre “represents the backend configuration that the model runs with” (çeviri: modelin çalıştığı arka uç yapılandırmasını temsil eden) system_fingerprint alanını içerir. Bu değer iki çalıştırma arasında değişirse, aynı seed ile bile farklı çıktılar bekleyin.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Açık model sunucularında da aynı ayar vardır. vLLM’in SamplingParams sınıfında varsayılanı boş (none) olan ve “Random seed to use for the generation” (çeviri: üretim için kullanılacak rastgele seed) diye tanımlanan bir seed bulunur.

Neden önemli

  • Değerlendirmeler. Bir değerlendirmede (eval) istemleri veya modelleri karşılaştırırken sabit bir seed, çalıştırmalar arasındaki gürültüyü azaltır. Yine de birkaç örnek çalıştırın; en iyi çaba bir garanti değildir.
  • Hata ayıklama. Seed’li bir istek, tuhaf bir yanıtı yeniden üretmeyi kolaylaştırır.
  • Önbellekleme. Yanıtları önbelleğe alıyorsanız, yanıt önbellekleme yazısında olduğu gibi seed’i önbellek anahtarına ekleyin.

BroadNet Inference’ta

BroadNet’in API referansı seed veya system_fingerprint alanlarını belgelemez. Güvenmeden önce test edin: aynı seed’li isteği beş kez gönderin ve çıktıları karşılaştırın. Farklıysalar sıcaklığı düşürün, ihtiyacınız olan çıktıları saklayın ve tek bir örnek yerine birkaç örnek üzerinde değerlendirme yapın. Geçiş rehberi, seed’i test edilmesi veya kaldırılması gereken OpenAI alanları arasında listeler.

Sık yapılan hatalar

  • Seed’i bayt bayt aynı çıktının vaadi olarak görmek.
  • Çalıştırmalar arasında max_tokens’ı veya sistem istemini değiştirip farkın suçunu seed’e atmak.

Sık sorulan sorular

Aynı seed her zaman aynı yanıtı verir mi?

Hayır. OpenAI "Determinism is not guaranteed" (çeviri: determinizm garanti edilmez) der ve parametreler ile system_fingerprint eşleşse bile "a small chance that responses differ" (çeviri: yanıtların farklı olma ihtimalinin küçük de olsa bulunduğunu) belirtir.

Temperature 0, seed ayarlamakla aynı şey mi?

Tam olarak değil. Düşük sıcaklık en üstteki token'ı çok olası kılar; seed ise rastgele çekilişleri sabitler. Birçok ekip ikisini birlikte kullanır, ancak hiçbiri tek başına aynı çıktıyı garanti etmez.

BroadNet Inference seed parametresini destekliyor mu?

BroadNet'in API referansı seed veya system_fingerprint alanlarını belgelemez. Güvenmeden önce aynı seed'li isteği birkaç kez gönderin ve sonuçları karşılaştırın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor