サンプリングは意図的にランダムです。seed はそのランダム性を固定し、再実行が最初の実行と一致する見込みを作ります。
しくみ
temperature が 0 より大きいとき、サーバーは次のトークンをモデルの分布からランダムに引きます。その抽選を動かしているのが乱数生成器です。その初期値、つまり seed を固定すれば、同じリクエストは同じ引き方をするはずです。
OpenAI のリファレンスは seed を Beta としています。Cookbook には「our system will make a best effort to sample deterministically」(訳:システムは決定的にサンプリングするよう最善を尽くす)とあります。一致する出力を得るには、リクエスト間で次を同じに保つよう求めています。
seedの整数- プロンプトとメッセージ
temperature、top_p、max_tokens
応答には system_fingerprint が含まれ、OpenAI によると「represents the backend configuration that the model runs with」(訳:モデルが動作しているバックエンド構成を表す)ものです。2 回の実行のあいだでこれが変わったら、seed が同じでも出力は変わると考えてください。
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
オープンモデル用のサーバーにも同じつまみがあります。vLLM の SamplingParams には seed(「Random seed to use for the generation」、訳:生成に使う乱数シード)があり、デフォルトは none です。
なぜ重要か
- 評価。 eval でプロンプトやモデルを比べるとき、seed を固定すると実行間のノイズが減ります。それでも複数のサンプルで試してください。ベストエフォートは保証ではありません。
- デバッグ。 seed 付きのリクエストなら、おかしな応答を再現しやすくなります。
- キャッシュ。 応答をキャッシュするなら、応答キャッシュの記事のように seed をキャッシュキーに含めてください。
BroadNet Inference の場合
BroadNet の API リファレンスには seed も system_fingerprint も記載がありません。頼る前に試してください。seed を付けた同じリクエストを 5 回送り、出力を比べます。違いが出たら temperature を下げ、必要な出力は保存し、1 つではなく複数のサンプルで評価してください。移行コードのウォークスルーでは、試すか削除すべき OpenAI フィールドの 1 つとして seed を挙げています。
よくある間違い
- seed をバイト単位で同一の出力の約束と考えること。
- 実行のあいだに max_tokens やシステムプロンプトを変えておきながら、違いを seed のせいにすること。