Top-p menentukan token mana yang dibenarkan masuk ke dalam cabutan sebelum model memilih satu.
Cara ia berfungsi
Holtzman dan rakan-rakan memperkenalkan pensampelan nukleus pada 2019. Mereka mentakrifkan perbendaharaan kata top-p sebagai set token terkecil yang kebarangkalian kumulatifnya sekurang-kurangnya p. Setiap token di luar set itu diberi kebarangkalian sifar. Bakinya diskalakan semula supaya jumlahnya satu, dan token seterusnya dipilih daripadanya. Keputusan utama mereka menggunakan p = 0.95.
Saiz set berubah pada setiap langkah:
| Taburan token seterusnya | Token yang disimpan pada p = 0.9 |
|---|---|
| Satu token pada 0.95 | 1 |
| Empat token pada 0.3, 0.3, 0.2, 0.15 | 4 |
| Taburan panjang yang rata | banyak |
Itulah inti kaedah ini. Kertas kajian itu berhujah bahawa “less reliable tail” (Terjemahan BroadRouter: “ekor yang kurang boleh dipercayai”) dalam taburan menyebabkan teks yang merosot, dan memotongnya memberikan output yang pelbagai tanpa kehilangan koheren. Top-k yang tetap tidak boleh menyesuaikan diri begini: ia menyimpan bilangan yang sama sama ada model yakin atau tidak.
Dalam API OpenAI, nilai lalai top_p ialah 1, iaitu tiada pemotongan. Rujukannya memberi contoh bahawa “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Terjemahan BroadRouter: “0.1 bermaksud hanya token yang membentuk 10% teratas jisim kebarangkalian diambil kira.”) Hugging Face Transformers juga menggunakan nilai lalai 1.0 melainkan generation_config.json model menetapkan nilai lain.
Mengapa ia penting
- Kurang token pelik. Memotong ekor membuang pilihan jarang yang membuatkan teks menyimpang, perkara penting bagi jawapan panjang dan risiko halusinasi.
- Interaksi dengan temperature. Temperature dikenakan pada skor; top-p kemudian memangkas hasilnya. Menala kedua-duanya serentak menjadikan tingkah laku sukar dijangka, sebab itu OpenAI mencadangkan hanya satu diubah.
- Penyahpepijatan. Jika logprobs menunjukkan model memilih token berkebarangkalian rendah, top-p yang lebih rendah akan menyekatnya.
Top-p tidak mengubah harga. Setiap token yang dijana dibilkan sama.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan top_p, top_k atau nilai lalai kedua-duanya. Contoh permintaannya tidak menetapkan mana-mana satu. SDK OpenAI akan menghantar top_p, tetapi tidak dinyatakan sama ada sesuatu model menggunakannya, jadi uji pada prompt anda sendiri sebelum bergantung padanya. Lihat panduan Python SDK dan artikel tentang menilai model sebelum bertukar, yang menerangkan mengapa tetapan pensampelan mesti ditetapkan semasa perbandingan.
Kesilapan biasa
- Menala
top_pdan temperature bersama-sama, kemudian tidak tahu yang mana satu mengubah hasilnya. - Menyalin tetapan pensampelan daripada satu model ke model lain. Nilai yang disyorkan berbeza mengikut model.