BroadRouter

Seed parameter

Na-update

Ang seed parameter ay integer na ipinapadala mo kasama ng request para subukan ng API na kunin ang parehong mga token kapag inulit ang parehong request. Best effort lang ito ayon sa OpenAI: hindi garantisado ang determinism, at ipinapakita ng system_fingerprint field kapag nagbago ang configuration ng backend.

Tinatawag ding: seed sa LLM, parehong output bawat run, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Sinasadyang random ang sampling. Inaayos ng seed ang randomness para may tsansang tumugma ang muling pagpapatakbo sa unang run.

Paano ito gumagana

Kapag mas mataas sa zero ang temperature, random na binubunot ng server ang bawat susunod na token mula sa distribution ng model. Isang random number generator ang nagpapatakbo sa mga bunot na iyon. I-fix ang panimulang value nito, ang seed, at dapat pareho ang mga bunot ng parehong request.

Minamarkahan ng reference ng OpenAI ang seed bilang Beta. Sinasabi ng cookbook na “our system will make a best effort to sample deterministically” (Salin ng BroadRouter: “gagawin ng aming system ang lahat para mag-sample nang deterministic”). Para makakuha ng magkatugmang output, sinasabi nitong panatilihing pareho ang mga ito sa bawat request:

  • ang seed integer,
  • ang prompt at mga message,
  • temperature, top_p at max_tokens.

Kasama sa response ang system_fingerprint, na ayon sa OpenAI ay “represents the backend configuration that the model runs with” (Salin ng BroadRouter: “kumakatawan sa configuration ng backend na pinapatakbuhan ng model”). Kapag nagbago ito sa pagitan ng dalawang run, asahan ang magkaibang output kahit pareho ang seed.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Ganito rin ang pihitan sa mga server ng open model. May seed ang SamplingParams ng vLLM, “Random seed to use for the generation” (random seed na gagamitin sa pagbuo), na none ang default.

Bakit ito mahalaga

  • Mga eval. Kapag nagkukumpara ka ng mga prompt o model sa isang eval, binabawasan ng fixed na seed ang ingay sa pagitan ng mga run. Magpatakbo pa rin ng ilang sample; hindi garantiya ang best effort.
  • Debugging. Mas madaling ma-reproduce ang kakaibang sagot kapag may seed ang request.
  • Caching. Kung nagka-cache ka ng mga response, isama ang seed sa cache key, gaya ng ginagawa sa post tungkol sa response caching.

Sa BroadNet Inference

Hindi idinodokumento ng API reference ng BroadNet ang seed o system_fingerprint. Subukan ito bago umasa rito: ipadala nang limang beses ang parehong request na may seed at ikumpara ang mga output. Kung magkakaiba, babaan ang temperature, i-save ang mga output na kailangan mo, at mag-evaluate sa ilang sample sa halip na iisa. Kasama ang seed sa mga OpenAI field na dapat subukan o alisin ayon sa migration walkthrough.

Mga karaniwang pagkakamali

  • Pagturing sa seed bilang pangako ng byte-for-byte na parehong output.
  • Pagbago ng max_tokens o ng system prompt sa pagitan ng mga run, tapos sisihin ang seed sa pagkakaiba.

Mga tanong

Laging pareho ba ang sagot kapag pareho ang seed?

Hindi. Sinasabi ng OpenAI na "Determinism is not guaranteed" (hindi garantisado ang determinism) at may "a small chance that responses differ" (maliit na tsansang magkaiba ang mga response) kahit magkatugma ang mga parameter at system_fingerprint.

Pareho ba ang temperature 0 at pag-set ng seed?

Hindi eksakto. Ginagawang napakalamang ng mababang temperature ang top token; inaayos naman ng seed ang mga random na bunot. Maraming team ang gumagamit ng dalawa, pero walang isa sa kanila ang nag-iisang nagagarantiya ng parehong output.

Sinusuportahan ba ng BroadNet Inference ang seed?

Hindi idinodokumento ng API reference ng BroadNet ang seed o system_fingerprint. Ipadala nang ilang beses ang parehong request na may seed at ikumpara bago umasa rito.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity