Temperature adalah kenop antara “selalu jawaban yang sama” dan “jawaban berbeda setiap kali”.
Cara kerjanya
Model menghasilkan skor (logit) untuk setiap token yang mungkin ditulis berikutnya. Softmax mengubah skor itu menjadi probabilitas. Temperature membagi setiap skor lebih dulu. Hinton dan rekan menulis softmax dengan T ini dan mencatat bahwa “using a higher value for T produces a softer probability distribution over classes” (terjemahan: memakai nilai T yang lebih tinggi menghasilkan distribusi probabilitas yang lebih lunak di antara kelas).
- T di bawah 1 mempertajam distribusi. Token teratas lebih sering menang.
- T = 1 membiarkan probabilitas model seperti hasil pelatihannya.
- T di atas 1 meratakannya. Token yang jarang lebih sering terpilih.
- T mendekati 0 mendekati greedy decoding: selalu ambil token yang paling mungkin.
API OpenAI menerima nilai “between 0 and 2” (terjemahan: antara 0 dan 2) dengan default 1. Referensinya menyebut 0,8 membuat output “more random” (terjemahan: lebih acak) dan 0,2 “more focused and deterministic” (terjemahan: lebih fokus dan deterministik). OpenAI juga menyarankan “altering this or top_p but not both” (terjemahan: ubah ini atau top_p, jangan keduanya), karena top-p adalah cara kedua untuk mengurangi keacakan.
Model terbuka sering hadir dengan default sendiri. Hugging Face Transformers membaca temperature dari generation_config.json milik model dan kembali ke 1.0 jika tidak ada. Sebuah stack serving bisa memakai salah satu dari kedua nilai itu.
Kenapa ini penting
- Keterulangan. Ekstraksi, routing, dan output terstruktur butuh jawaban yang stabil. Temperature yang lebih rendah mengurangi variasi antar-eksekusi.
- Kualitas. Terlalu tinggi, model melantur ke pilihan kata yang aneh atau detail karangan, yang memicu halusinasi. Terlalu rendah, teks panjang bisa berputar-putar: Hugging Face mencatat bahwa greedy decoding “begins to repeat itself” (terjemahan: mulai mengulang dirinya sendiri) pada urutan yang lebih panjang.
- Evaluasi. Saat membandingkan model, tetapkan temperature. Jika tidak, yang Anda ukur adalah noise sampling. Memantau logprobs menunjukkan seberapa besar ruang pilihan model.
Temperature tidak mengubah harga atau kecepatan. Satu token harganya sama di pengaturan apa pun.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan temperature, rentang nilainya, atau default-nya untuk model mana pun. Contoh permintaannya tidak mengaturnya. Karena API-nya kompatibel dengan OpenAI, SDK akan mengirim field ini, tetapi tidak disebutkan apakah setiap model mematuhinya. Atur secara eksplisit dan jalankan prompt yang sama beberapa kali untuk melihat sebarannya. Panduan OpenAI Python SDK menunjukkan penyiapan kliennya.
Kesalahan umum
- Memakai temperature 0 dan menganggap outputnya akan identik selamanya. Simpan jawaban yang perlu Anda reproduksi.
- Menaikkan temperature untuk memperbaiki jawaban yang salah. Prompt yang lebih baik atau konteks yang lebih lengkap memperbaiki akurasi; temperature hanya mengubah variasi.