BroadRouter

Top-p (nucleus sampling, çekirdek örnekleme)

Güncellendi

Top-p, diğer adıyla nucleus sampling (çekirdek örnekleme), bir dil modelinin sonraki token'ı yalnızca toplam olasılığı 0,9 gibi bir p eşiğine ulaşan en olası token'ların en küçük kümesinden seçtiği ve olasılığı düşük kuyruğu attığı bir kod çözme yöntemidir.

Diğer adları: çekirdek örnekleme, top-p örnekleme, top_p parametresi, nucleus sampling, top_p, top-p sampling

Top-p, model seçimini yapmadan önce hangi token’ların çekilişe katılabileceğine karar verir.

Nasıl çalışır

Holtzman ve meslektaşları nucleus sampling yöntemini 2019’da tanıttı. Top-p sözlüğünü, kümülatif olasılığı en az p olan en küçük token kümesi olarak tanımlarlar. Bu kümenin dışındaki her token’ın olasılığı sıfır olur. Kalanlar toplamı bir olacak şekilde yeniden ölçeklenir ve sonraki token bunlar arasından örneklenir. Makalenin ana sonuçlarında p = 0,95 kullanılır.

Kümenin boyutu her adımda değişir:

Sonraki token dağılımı p = 0,9’da tutulan token’lar
0,95 olasılıklı tek token 1
0,3, 0,3, 0,2, 0,15 olasılıklı dört token 4
Uzun ve düz bir dağılım çok sayıda

Yöntemin bütün amacı budur. Makale, dağılımın “less reliable tail” (çeviri: daha az güvenilir kuyruğu) kısmının bozuk metne yol açtığını ve bu kısmı kesmenin tutarlılığı kaybetmeden çeşitli çıktı verdiğini savunur. Sabit bir top-k bu şekilde uyum sağlayamaz: model ister emin ister kararsız olsun, aynı sayıda token tutar.

OpenAI’nin API’sinde top_p varsayılan olarak 1’dir, yani hiçbir kesme yapılmaz. Referans şu örneği verir: “0.1 means only the tokens comprising the top 10% probability mass are considered.” (çeviri: 0.1, yalnızca en üstteki %10’luk olasılık kütlesini oluşturan token’ların dikkate alındığı anlamına gelir.) Hugging Face Transformers da modelin generation_config.json dosyası başka bir değer belirlemedikçe varsayılan olarak 1.0 kullanır.

Neden önemli

  • Daha az tuhaf token. Kuyruğu kesmek, metnin konudan sapmasına yol açan nadir seçimleri ortadan kaldırır; bu, uzun yanıtlar ve halüsinasyon riski açısından önemlidir.
  • Sıcaklıkla etkileşim. Sıcaklık puanlara uygulanır; top-p ardından sonucu kırpar. İkisini aynı anda ayarlamak davranışı öngörülemez kılar; OpenAI’nin yalnızca birini değiştirmeyi önermesinin nedeni budur.
  • Hata ayıklama. Logprobs değerleri modelin düşük olasılıklı bir token seçtiğini gösteriyorsa, daha düşük bir top-p bunu engellerdi.

Top-p fiyatı değiştirmez. Üretilen her token aynı şekilde faturalandırılır.

BroadNet Inference’ta

BroadNet’in API referansı top_p, top_k veya bunların varsayılanlarını belgelemez. İstek örnekleri ikisini de ayarlamaz. Bir OpenAI SDK’sı top_p alanını iletir, ancak belirli bir modelin bunu uygulayıp uygulamadığı belirtilmemiştir; bu yüzden güvenmeden önce kendi istemlerinizle test edin. Python SDK rehberine ve karşılaştırma sırasında örnekleme ayarlarının neden sabit tutulması gerektiğini anlatan modeli değiştirmeden önce değerlendirme yazısına bakın.

Sık yapılan hatalar

  • top_p ve sıcaklığı birlikte ayarlayıp sonucu hangisinin değiştirdiğini bilememek.
  • Örnekleme ayarlarını bir modelden diğerine kopyalamak. Önerilen değerler modele göre değişir.

Sık sorulan sorular

Top-p ile temperature (sıcaklık) arasındaki fark nedir?

Sıcaklık tüm token olasılıklarını yeniden şekillendirir. Top-p ise olasılığı düşük kuyruğu keser ve kalanlardan örnekleme yapar. OpenAI ikisinden yalnızca birini değiştirmeyi önerir, ikisini birden değil.

Top-p ile top-k arasındaki fark nedir?

Top-k, 50 gibi sabit sayıda token tutar. Top-p ise olasılık eşiğine ulaşmak için kaç token gerekiyorsa o kadarını tutar; model eminse küme küçük, emin değilse büyük olur.

BroadNet top_p parametresini belgeliyor mu?

Hayır. BroadNet'in API referansı hiçbir model için top_p'yi veya varsayılan değerini listelemez. Değeri istekte ayarlayın ve etkisini kendiniz test edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor