BroadRouter
始める

seed パラメーター(シード値)

更新日

seed パラメーターとは、リクエストに付ける整数で、同じリクエストの繰り返し時に API ができるだけ同じトークンを選ぶようにします。OpenAI はベストエフォートとしており、決定性は保証されません。バックエンド構成の変更は system_fingerprint でわかります。

別名: シード値、乱数シード、再現可能な出力、決定的な出力、random seed、reproducible outputs、deterministic outputs、system_fingerprint

サンプリングは意図的にランダムです。seed はそのランダム性を固定し、再実行が最初の実行と一致する見込みを作ります。

しくみ

temperature が 0 より大きいとき、サーバーは次のトークンをモデルの分布からランダムに引きます。その抽選を動かしているのが乱数生成器です。その初期値、つまり seed を固定すれば、同じリクエストは同じ引き方をするはずです。

OpenAI のリファレンスは seed を Beta としています。Cookbook には「our system will make a best effort to sample deterministically」(訳:システムは決定的にサンプリングするよう最善を尽くす)とあります。一致する出力を得るには、リクエスト間で次を同じに保つよう求めています。

  • seed の整数
  • プロンプトとメッセージ
  • temperature、top_p、max_tokens

応答には system_fingerprint が含まれ、OpenAI によると「represents the backend configuration that the model runs with」(訳:モデルが動作しているバックエンド構成を表す)ものです。2 回の実行のあいだでこれが変わったら、seed が同じでも出力は変わると考えてください。

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

オープンモデル用のサーバーにも同じつまみがあります。vLLM の SamplingParams には seed(「Random seed to use for the generation」、訳:生成に使う乱数シード)があり、デフォルトは none です。

なぜ重要か

  • 評価。 eval でプロンプトやモデルを比べるとき、seed を固定すると実行間のノイズが減ります。それでも複数のサンプルで試してください。ベストエフォートは保証ではありません。
  • デバッグ。 seed 付きのリクエストなら、おかしな応答を再現しやすくなります。
  • キャッシュ。 応答をキャッシュするなら、応答キャッシュの記事のように seed をキャッシュキーに含めてください。

BroadNet Inference の場合

BroadNet の API リファレンスには seed も system_fingerprint も記載がありません。頼る前に試してください。seed を付けた同じリクエストを 5 回送り、出力を比べます。違いが出たら temperature を下げ、必要な出力は保存し、1 つではなく複数のサンプルで評価してください。移行コードのウォークスルーでは、試すか削除すべき OpenAI フィールドの 1 つとして seed を挙げています。

よくある間違い

  • seed をバイト単位で同一の出力の約束と考えること。
  • 実行のあいだに max_tokens やシステムプロンプトを変えておきながら、違いを seed のせいにすること。

よくある質問

同じ seed なら必ず同じ回答になりますか?

いいえ。OpenAI は「Determinism is not guaranteed」(訳:決定性は保証されない)とし、パラメーターと system_fingerprint が一致していても「a small chance that responses differ」(訳:応答が異なる可能性がわずかにある)と述べています。

temperature を 0 にするのと seed を設定するのは同じですか?

同じではありません。temperature を低くすると最上位のトークンが非常に選ばれやすくなり、seed は乱数の引き方を固定します。両方使うチームは多いですが、どちらか一方だけでは同一の出力は保証されません。

BroadNet Inference は seed に対応していますか?

BroadNet の API リファレンスには seed も system_fingerprint も記載がありません。頼る前に、seed を付けた同じリクエストを何度か送って比べてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く