Sıcaklık, “her seferinde aynı yanıt” ile “her seferinde farklı bir yanıt” arasındaki ayar düğmesidir.
Nasıl çalışır
Model, sırada yazabileceği her token için bir puan (logit) üretir. Softmax bu puanları olasılıklara çevirir. Sıcaklık önce her puanı böler. Hinton ve meslektaşları softmax’ı bu T ile yazar ve “using a higher value for T produces a softer probability distribution over classes” (çeviri: T için daha yüksek bir değer kullanmak, sınıflar üzerinde daha yumuşak bir olasılık dağılımı üretir) diye not eder.
- T 1’in altında dağılımı keskinleştirir. En üstteki token daha sık kazanır.
- T = 1 modelin olasılıklarını eğitildiği gibi bırakır.
- T 1’in üstünde dağılımı düzleştirir. Nadir token’lar daha sık seçilir.
- T 0’a yakın açgözlü kod çözmeye (greedy decoding) yaklaşır: her zaman en olası token alınır.
OpenAI’nin API’si “between 0 and 2” (çeviri: 0 ile 2 arasında) değerleri kabul eder ve varsayılan 1’dir. Referansına göre 0,8 çıktıyı “more random” (çeviri: daha rastgele), 0,2 ise “more focused and deterministic” (çeviri: daha odaklı ve deterministik) yapar. Ayrıca “altering this or top_p but not both” (çeviri: bunu ya da top_p değerini değiştirin, ikisini birden değil) önerir; çünkü top-p rastgeleliği azaltmanın ikinci bir yoludur.
Açık modeller çoğu zaman kendi varsayılanlarıyla gelir. Hugging Face Transformers sıcaklığı modelin generation_config.json dosyasından okur, dosyada yoksa 1.0’a döner. Bir sunum altyapısı bu iki değerden birini kullanabilir.
Neden önemli
- Tekrarlanabilirlik. Çıkarma, yönlendirme ve yapılandırılmış çıktı kararlı yanıtlar ister. Düşük sıcaklık, çalıştırmalar arasındaki farkı azaltır.
- Kalite. Çok yüksekse model tuhaf kelime seçimlerine veya uydurma ayrıntılara kayar; bu da halüsinasyonu besler. Çok düşükse uzun metin döngüye girebilir: Hugging Face, açgözlü kod çözmenin uzun dizilerde “begins to repeat itself” (çeviri: kendini tekrar etmeye başladığını) belirtir.
- Değerlendirme. Modelleri karşılaştırırken sıcaklığı sabitleyin. Aksi halde örnekleme gürültüsünü ölçersiniz. Logprobs değerlerini izlemek, modelin ne kadar seçenek alanı olduğunu gösterir.
Sıcaklık fiyatı veya hızı değiştirmez. Bir token her ayarda aynı tutardır.
BroadNet Inference’ta
BroadNet’in API referansı hiçbir model için temperature alanını, izin verilen aralığı veya varsayılanını belgelemez. İstek örnekleri bu alanı ayarlamaz. API OpenAI uyumlu olduğu için SDK’lar alanı gönderir, ancak her modelin buna uyup uymadığı belirtilmemiştir. Değeri açıkça ayarlayın ve dağılımı görmek için aynı istemi birkaç kez çalıştırın. İstemci kurulumunu OpenAI Python SDK rehberi gösterir.
Sık yapılan hatalar
- Sıcaklığı 0 yapıp çıktının sonsuza dek aynı kalacağını varsaymak. Yeniden üretmeniz gereken yanıtları saklayın.
- Yanlış bir yanıtı düzeltmek için sıcaklığı yükseltmek. Doğruluğu daha iyi bir istem ya da daha fazla bağlam düzeltir; sıcaklık yalnızca çeşitliliği değiştirir.