Top-p, model seçimini yapmadan önce hangi token’ların çekilişe katılabileceğine karar verir.
Nasıl çalışır
Holtzman ve meslektaşları nucleus sampling yöntemini 2019’da tanıttı. Top-p sözlüğünü, kümülatif olasılığı en az p olan en küçük token kümesi olarak tanımlarlar. Bu kümenin dışındaki her token’ın olasılığı sıfır olur. Kalanlar toplamı bir olacak şekilde yeniden ölçeklenir ve sonraki token bunlar arasından örneklenir. Makalenin ana sonuçlarında p = 0,95 kullanılır.
Kümenin boyutu her adımda değişir:
| Sonraki token dağılımı | p = 0,9’da tutulan token’lar |
|---|---|
| 0,95 olasılıklı tek token | 1 |
| 0,3, 0,3, 0,2, 0,15 olasılıklı dört token | 4 |
| Uzun ve düz bir dağılım | çok sayıda |
Yöntemin bütün amacı budur. Makale, dağılımın “less reliable tail” (çeviri: daha az güvenilir kuyruğu) kısmının bozuk metne yol açtığını ve bu kısmı kesmenin tutarlılığı kaybetmeden çeşitli çıktı verdiğini savunur. Sabit bir top-k bu şekilde uyum sağlayamaz: model ister emin ister kararsız olsun, aynı sayıda token tutar.
OpenAI’nin API’sinde top_p varsayılan olarak 1’dir, yani hiçbir kesme yapılmaz. Referans şu örneği verir: “0.1 means only the tokens comprising the top 10% probability mass are considered.” (çeviri: 0.1, yalnızca en üstteki %10’luk olasılık kütlesini oluşturan token’ların dikkate alındığı anlamına gelir.) Hugging Face Transformers da modelin generation_config.json dosyası başka bir değer belirlemedikçe varsayılan olarak 1.0 kullanır.
Neden önemli
- Daha az tuhaf token. Kuyruğu kesmek, metnin konudan sapmasına yol açan nadir seçimleri ortadan kaldırır; bu, uzun yanıtlar ve halüsinasyon riski açısından önemlidir.
- Sıcaklıkla etkileşim. Sıcaklık puanlara uygulanır; top-p ardından sonucu kırpar. İkisini aynı anda ayarlamak davranışı öngörülemez kılar; OpenAI’nin yalnızca birini değiştirmeyi önermesinin nedeni budur.
- Hata ayıklama. Logprobs değerleri modelin düşük olasılıklı bir token seçtiğini gösteriyorsa, daha düşük bir top-p bunu engellerdi.
Top-p fiyatı değiştirmez. Üretilen her token aynı şekilde faturalandırılır.
BroadNet Inference’ta
BroadNet’in API referansı top_p, top_k veya bunların varsayılanlarını belgelemez. İstek örnekleri ikisini de ayarlamaz. Bir OpenAI SDK’sı top_p alanını iletir, ancak belirli bir modelin bunu uygulayıp uygulamadığı belirtilmemiştir; bu yüzden güvenmeden önce kendi istemlerinizle test edin. Python SDK rehberine ve karşılaştırma sırasında örnekleme ayarlarının neden sabit tutulması gerektiğini anlatan modeli değiştirmeden önce değerlendirme yazısına bakın.
Sık yapılan hatalar
top_pve sıcaklığı birlikte ayarlayıp sonucu hangisinin değiştirdiğini bilememek.- Örnekleme ayarlarını bir modelden diğerine kopyalamak. Önerilen değerler modele göre değişir.