BroadRouter
Mulakan

Temperature (suhu pensampelan)

Dikemas kini

Temperature ialah parameter pensampelan yang mengawal tahap rawak output model bahasa. Model membahagikan skor setiap token dengan temperature sebelum menukarnya kepada kebarangkalian: nilai rendah membuatkan token paling mungkin mendominasi, manakala nilai tinggi meratakan taburan supaya token yang kurang mungkin lebih kerap dipilih.

Juga dikenali sebagai: suhu, suhu pensampelan, parameter temperature, temperature LLM, sampling temperature, LLM temperature, temperature parameter

Temperature ialah tombol antara “sentiasa jawapan yang sama” dan “jawapan berbeza setiap kali”.

Cara ia berfungsi

Model menghasilkan skor (logit) untuk setiap token yang boleh ditulisnya seterusnya. Softmax menukar skor itu kepada kebarangkalian. Temperature membahagikan setiap skor terlebih dahulu. Hinton dan rakan-rakan menulis softmax dengan T ini dan menyatakan bahawa “using a higher value for T produces a softer probability distribution over classes.” (Terjemahan BroadRouter: “menggunakan nilai T yang lebih tinggi menghasilkan taburan kebarangkalian yang lebih lembut merentas kelas.”)

  • T bawah 1 menajamkan taburan. Token teratas lebih kerap menang.
  • T = 1 mengekalkan kebarangkalian model seperti yang dilatih.
  • T atas 1 meratakan taburan. Token yang jarang lebih kerap dipilih.
  • T hampir 0 menghampiri greedy decoding: sentiasa mengambil token yang paling mungkin.

API OpenAI menerima nilai “between 0 and 2” (Terjemahan BroadRouter: “antara 0 dan 2”) dengan nilai lalai 1. Rujukannya menyatakan 0.8 menjadikan output “more random” (lebih rawak) dan 0.2 “more focused and deterministic” (lebih fokus dan deterministik). Ia juga mengesyorkan “altering this or top_p but not both” (Terjemahan BroadRouter: “ubah ini atau top_p, tetapi bukan kedua-duanya”), kerana top-p ialah cara kedua untuk mengurangkan kerawakan.

Model terbuka selalunya datang dengan nilai lalai sendiri. Hugging Face Transformers membaca temperature daripada generation_config.json model dan kembali kepada 1.0 jika fail itu tiada. Sesuatu serving stack mungkin menggunakan salah satu daripada nilai itu.

Mengapa ia penting

  • Kebolehulangan. Pengekstrakan, penghalaan dan output berstruktur memerlukan jawapan yang stabil. Temperature yang lebih rendah mengurangkan perbezaan antara larian.
  • Kualiti. Terlalu tinggi, model mula memilih perkataan yang pelik atau mereka butiran, yang menyumbang kepada halusinasi. Terlalu rendah, teks panjang boleh berulang-ulang: Hugging Face menyatakan bahawa greedy decoding “begins to repeat itself” (Terjemahan BroadRouter: “mula mengulangi dirinya”) pada jujukan yang lebih panjang.
  • Penilaian. Apabila membandingkan model, tetapkan temperature yang sama. Jika tidak, anda sebenarnya mengukur hingar pensampelan. Memerhati logprobs menunjukkan berapa banyak ruang pilihan yang ada pada model.

Temperature tidak mengubah harga atau kelajuan. Satu token berharga sama pada sebarang tetapan.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan temperature, julat yang dibenarkan atau nilai lalainya untuk mana-mana model. Contoh permintaannya tidak menetapkan parameter ini. Oleh sebab API itu serasi OpenAI, SDK akan menghantar medan tersebut, tetapi tidak dinyatakan sama ada setiap model mematuhinya. Tetapkannya secara jelas dan jalankan prompt yang sama beberapa kali untuk melihat perbezaannya. Panduan OpenAI Python SDK menunjukkan cara menyediakan klien.

Kesilapan biasa

  • Menggunakan temperature 0 dan menganggap output akan sentiasa sama. Simpan jawapan yang perlu anda hasilkan semula.
  • Menaikkan temperature untuk membetulkan jawapan yang salah. Prompt yang lebih baik atau lebih banyak konteks membetulkan ketepatan; temperature hanya mengubah kepelbagaian.

Soalan lazim

Berapakah nilai temperature yang patut saya gunakan?

Nilai rendah seperti 0 hingga 0.3 untuk pengekstrakan, pengelasan dan kod, apabila anda mahukan jawapan yang sama setiap kali. Nilai lebih tinggi seperti 0.7 hingga 1 untuk sumbang saran dan susunan kata yang pelbagai. Uji kedua-duanya pada prompt anda sendiri.

Adakah temperature 0 menjadikan output deterministik?

Tidak dijamin. Ia menolak model ke arah token teratas setiap kali, tetapi penyedia secara amnya tidak menjanjikan output yang sama pada setiap larian. Simpan apa-apa jawapan yang perlu anda hasilkan semula.

Berapakah temperature lalai BroadNet?

Dokumentasi BroadNet tidak menyatakan temperature lalai untuk mana-mana model. Tetapkannya secara jelas dalam setiap permintaan jika output anda bergantung padanya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity