Temperature ialah tombol antara “sentiasa jawapan yang sama” dan “jawapan berbeza setiap kali”.
Cara ia berfungsi
Model menghasilkan skor (logit) untuk setiap token yang boleh ditulisnya seterusnya. Softmax menukar skor itu kepada kebarangkalian. Temperature membahagikan setiap skor terlebih dahulu. Hinton dan rakan-rakan menulis softmax dengan T ini dan menyatakan bahawa “using a higher value for T produces a softer probability distribution over classes.” (Terjemahan BroadRouter: “menggunakan nilai T yang lebih tinggi menghasilkan taburan kebarangkalian yang lebih lembut merentas kelas.”)
- T bawah 1 menajamkan taburan. Token teratas lebih kerap menang.
- T = 1 mengekalkan kebarangkalian model seperti yang dilatih.
- T atas 1 meratakan taburan. Token yang jarang lebih kerap dipilih.
- T hampir 0 menghampiri greedy decoding: sentiasa mengambil token yang paling mungkin.
API OpenAI menerima nilai “between 0 and 2” (Terjemahan BroadRouter: “antara 0 dan 2”) dengan nilai lalai 1. Rujukannya menyatakan 0.8 menjadikan output “more random” (lebih rawak) dan 0.2 “more focused and deterministic” (lebih fokus dan deterministik). Ia juga mengesyorkan “altering this or top_p but not both” (Terjemahan BroadRouter: “ubah ini atau top_p, tetapi bukan kedua-duanya”), kerana top-p ialah cara kedua untuk mengurangkan kerawakan.
Model terbuka selalunya datang dengan nilai lalai sendiri. Hugging Face Transformers membaca temperature daripada generation_config.json model dan kembali kepada 1.0 jika fail itu tiada. Sesuatu serving stack mungkin menggunakan salah satu daripada nilai itu.
Mengapa ia penting
- Kebolehulangan. Pengekstrakan, penghalaan dan output berstruktur memerlukan jawapan yang stabil. Temperature yang lebih rendah mengurangkan perbezaan antara larian.
- Kualiti. Terlalu tinggi, model mula memilih perkataan yang pelik atau mereka butiran, yang menyumbang kepada halusinasi. Terlalu rendah, teks panjang boleh berulang-ulang: Hugging Face menyatakan bahawa greedy decoding “begins to repeat itself” (Terjemahan BroadRouter: “mula mengulangi dirinya”) pada jujukan yang lebih panjang.
- Penilaian. Apabila membandingkan model, tetapkan temperature yang sama. Jika tidak, anda sebenarnya mengukur hingar pensampelan. Memerhati logprobs menunjukkan berapa banyak ruang pilihan yang ada pada model.
Temperature tidak mengubah harga atau kelajuan. Satu token berharga sama pada sebarang tetapan.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan temperature, julat yang dibenarkan atau nilai lalainya untuk mana-mana model. Contoh permintaannya tidak menetapkan parameter ini. Oleh sebab API itu serasi OpenAI, SDK akan menghantar medan tersebut, tetapi tidak dinyatakan sama ada setiap model mematuhinya. Tetapkannya secara jelas dan jalankan prompt yang sama beberapa kali untuk melihat perbezaannya. Panduan OpenAI Python SDK menunjukkan cara menyediakan klien.
Kesilapan biasa
- Menggunakan temperature 0 dan menganggap output akan sentiasa sama. Simpan jawapan yang perlu anda hasilkan semula.
- Menaikkan temperature untuk membetulkan jawapan yang salah. Prompt yang lebih baik atau lebih banyak konteks membetulkan ketepatan; temperature hanya mengubah kepelbagaian.