BroadRouter

Top-p (nucleus sampling)

Na-update

Ang top-p, na tinatawag ding nucleus sampling, ay isang paraan ng decoding kung saan kumukuha lang ang language model ng susunod na token mula sa pinakamaliit na set ng pinaka-malamang na token na umaabot sa threshold p, gaya ng 0.9, ang pinagsamang probability, at itinatapon ang hindi malamang na buntot.

Tinatawag ding: top-p sa LLM, top_p parameter, nucleus sampling, top_p, top-p sampling

Ang top-p ang nagpapasya kung aling mga token ang puwedeng isali sa bunutan bago pumili ang model.

Paano ito gumagana

Ipinakilala nina Holtzman ang nucleus sampling noong 2019. Dine-define nila ang top-p vocabulary bilang pinakamaliit na set ng token na ang cumulative probability ay hindi bababa sa p. Zero ang probability ng bawat token sa labas ng set na iyon. Nire-rescale ang natitira para maging isa ang kabuuan, at doon kinukuha ang susunod na token. Gumamit ng p = 0.95 ang mga pangunahing resulta nila.

Nagbabago ang laki ng set sa bawat hakbang:

Distribution ng susunod na token Mga token na naitatabi sa p = 0.9
Isang token na 0.95 1
Apat na token na 0.3, 0.3, 0.2, 0.15 4
Mahaba at pantay na pagkakalat marami

Iyan ang punto ng method. Ayon sa paper, ang “less reliable tail” (Salin ng BroadRouter: “hindi gaanong maaasahang buntot”) ng distribution ang nagdudulot ng sirang text, at kapag pinutol ito, iba-iba ang output nang hindi nawawala ang coherence. Hindi kayang umangkop nang ganito ng fixed na top-k: pareho ang bilang na itinatabi nito, sigurado man o hindi ang model.

Sa API ng OpenAI, 1 ang default ng top_p, ibig sabihin walang pinuputol. Nagbibigay ang reference ng halimbawang “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Salin ng BroadRouter: “ang ibig sabihin ng 0.1 ay ang mga token lang na bumubuo sa top 10% ng probability mass ang isinasaalang-alang.”) 1.0 rin ang default ng Hugging Face Transformers maliban kung iba ang naka-set sa generation_config.json ng model.

Bakit ito mahalaga

  • Mas kaunting kakaibang token. Inaalis ng pagputol sa buntot ang mga bihirang pili na nagpapalihis sa text, na mahalaga sa mahahabang sagot at sa panganib ng hallucination.
  • Ugnayan sa temperature. Inilalapat ang temperature sa mga score; saka tinatabas ng top-p ang resulta. Mahirap hulaan ang kilos kapag sabay na tina-tune ang dalawa, kaya iminumungkahi ng OpenAI na isa lang ang baguhin.
  • Debugging. Kung makita sa logprobs na pumili ang model ng token na mababa ang probability, naharang sana iyon ng mas mababang top-p.

Hindi binabago ng top-p ang presyo. Pareho ang singil sa bawat token na nabuo.

Sa BroadNet Inference

Hindi idinodokumento ng API reference ng BroadNet ang top_p, top_k o ang mga default nila. Wala ring sine-set sa dalawa ang mga request example nito. Ipapasa ng OpenAI SDK ang top_p, pero hindi sinasabi kung inilalapat ito ng isang partikular na model, kaya subukan muna sa sarili mong mga prompt bago umasa rito. Tingnan ang gabay sa Python SDK at ang post tungkol sa pag-evaluate ng model bago lumipat, na nagpapaliwanag kung bakit dapat naka-fix ang mga sampling setting habang nagkukumpara.

Mga karaniwang pagkakamali

  • Sabay na pag-tune ng top_p at temperature, tapos hindi na alam kung alin ang nagpabago sa resulta.
  • Pagkopya ng sampling setting mula sa isang model papunta sa iba. Magkakaiba ang inirerekomendang value bawat model.

Mga tanong

Ano ang pagkakaiba ng top-p at temperature?

Binabago ng temperature ang hugis ng lahat ng token probability. Pinuputol naman ng top-p ang hindi malamang na buntot at doon lang kumukuha sa natira. Inirerekomenda ng OpenAI na isa lang sa dalawa ang baguhin, hindi pareho.

Ano ang pagkakaiba ng top-p at top-k?

Fixed na bilang ng token ang itinatabi ng top-k, gaya ng 50. Ang top-p naman ay nagtatabi ng kahit ilang token ang kailangan para maabot ang probability threshold, kaya maliit ang set kapag sigurado ang model at malaki kapag hindi.

Idinodokumento ba ng BroadNet ang top_p?

Hindi. Hindi nakalista sa API reference ng BroadNet ang top_p o ang default nito para sa anumang model. I-set ito sa request at subukan mismo ang epekto.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity