Ang temperature ang pihitan sa pagitan ng “laging parehong sagot” at “ibang sagot bawat beses”.
Paano ito gumagana
Gumagawa ang model ng score (logit) para sa bawat token na puwede nitong isulat kasunod. Ginagawang probability ng softmax ang mga score. Pero hinahati muna ng temperature ang bawat score. Isinusulat nina Hinton ang softmax gamit ang T na ito, at sinasabi nilang “using a higher value for T produces a softer probability distribution over classes.” (Salin ng BroadRouter: “ang mas mataas na value ng T ay nagbubunga ng mas malambot na probability distribution sa mga class.”)
- T na mas mababa sa 1: tumatalas ang distribution. Mas madalas manalo ang top token.
- T = 1: hindi ginagalaw ang probability ng model, gaya ng pagka-train dito.
- T na mas mataas sa 1: pumapantay ang distribution. Mas madalas mapili ang mga bihirang token.
- T na halos 0: lumalapit sa greedy decoding, ibig sabihin laging kinukuha ang pinaka-malamang na token.
Tumatanggap ang API ng OpenAI ng value “between 0 and 2” (Salin ng BroadRouter: “mula 0 hanggang 2”), at 1 ang default. Ayon sa reference nito, ginagawang “more random” (mas random) ng 0.8 ang output, at “more focused and deterministic” (mas nakatuon at deterministic) naman ng 0.2. Inirerekomenda rin nito ang “altering this or top_p but not both” (Salin ng BroadRouter: “baguhin ito o ang top_p, pero hindi pareho”), dahil ang top-p ay pangalawang paraan para bawasan ang randomness.
Kadalasang may sariling default ang mga open model. Binabasa ng Hugging Face Transformers ang temperature mula sa generation_config.json ng model, at 1.0 ang gagamitin kung wala ito. Puwedeng alinman sa dalawa ang gamitin ng isang serving stack.
Bakit ito mahalaga
- Pagiging paulit-ulit. Kailangan ng stable na sagot ang extraction, routing at structured output. Binabawasan ng mas mababang temperature ang pagkakaiba ng resulta sa bawat run.
- Kalidad. Kapag masyadong mataas, napupunta ang model sa kakaibang salita o gawa-gawang detalye, na nagpapalala ng hallucination. Kapag masyadong mababa, puwedeng umikot-ikot ang mahabang text: ayon sa Hugging Face, ang greedy decoding ay “begins to repeat itself” (Salin ng BroadRouter: “nagsisimulang ulitin ang sarili”) sa mas mahahabang sequence.
- Evaluation. Kapag nagkukumpara ka ng mga model, i-fix ang temperature. Kung hindi, sampling noise ang nasusukat mo. Makikita sa logprobs kung gaano kalaki ang puwang na mayroon ang model.
Hindi binabago ng temperature ang presyo o bilis. Pareho ang halaga ng isang token sa anumang setting.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang temperature, ang pinapayagang range nito o ang default nito para sa anumang model. Hindi rin ito sine-set ng mga request example. Dahil OpenAI-compatible ang API, ipapadala ng mga SDK ang field, pero hindi sinasabi kung sinusunod ito ng bawat model. I-set ito nang tahasan at patakbuhin ang parehong prompt nang ilang beses para makita ang pagkakaiba-iba. Ipinapakita ng gabay sa OpenAI Python SDK ang setup ng client.
Mga karaniwang pagkakamali
- Paggamit ng temperature 0 at pag-aakalang pareho na ang output habambuhay. I-save ang mga sagot na kailangan mong ma-reproduce.
- Pagtaas ng temperature para ayusin ang maling sagot. Mas magandang prompt o mas maraming context ang nag-aayos ng accuracy; iba-ibang sagot lang ang binabago ng temperature.