Sinasadyang random ang sampling. Inaayos ng seed ang randomness para may tsansang tumugma ang muling pagpapatakbo sa unang run.
Paano ito gumagana
Kapag mas mataas sa zero ang temperature, random na binubunot ng server ang bawat susunod na token mula sa distribution ng model. Isang random number generator ang nagpapatakbo sa mga bunot na iyon. I-fix ang panimulang value nito, ang seed, at dapat pareho ang mga bunot ng parehong request.
Minamarkahan ng reference ng OpenAI ang seed bilang Beta. Sinasabi ng cookbook na “our system will make a best effort to sample deterministically” (Salin ng BroadRouter: “gagawin ng aming system ang lahat para mag-sample nang deterministic”). Para makakuha ng magkatugmang output, sinasabi nitong panatilihing pareho ang mga ito sa bawat request:
- ang
seedinteger, - ang prompt at mga message,
temperature, top_p atmax_tokens.
Kasama sa response ang system_fingerprint, na ayon sa OpenAI ay “represents the backend configuration that the model runs with” (Salin ng BroadRouter: “kumakatawan sa configuration ng backend na pinapatakbuhan ng model”). Kapag nagbago ito sa pagitan ng dalawang run, asahan ang magkaibang output kahit pareho ang seed.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Ganito rin ang pihitan sa mga server ng open model. May seed ang SamplingParams ng vLLM, “Random seed to use for the generation” (random seed na gagamitin sa pagbuo), na none ang default.
Bakit ito mahalaga
- Mga eval. Kapag nagkukumpara ka ng mga prompt o model sa isang eval, binabawasan ng fixed na seed ang ingay sa pagitan ng mga run. Magpatakbo pa rin ng ilang sample; hindi garantiya ang best effort.
- Debugging. Mas madaling ma-reproduce ang kakaibang sagot kapag may seed ang request.
- Caching. Kung nagka-cache ka ng mga response, isama ang seed sa cache key, gaya ng ginagawa sa post tungkol sa response caching.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang seed o system_fingerprint. Subukan ito bago umasa rito: ipadala nang limang beses ang parehong request na may seed at ikumpara ang mga output. Kung magkakaiba, babaan ang temperature, i-save ang mga output na kailangan mo, at mag-evaluate sa ilang sample sa halip na iisa. Kasama ang seed sa mga OpenAI field na dapat subukan o alisin ayon sa migration walkthrough.
Mga karaniwang pagkakamali
- Pagturing sa seed bilang pangako ng byte-for-byte na parehong output.
- Pagbago ng max_tokens o ng system prompt sa pagitan ng mga run, tapos sisihin ang seed sa pagkakaiba.