सैंपलिंग जानबूझकर रैंडम होती है। seed उस रैंडमनेस को तय कर देता है, ताकि दोबारा चलाने पर पहले रन से मेल खाने की संभावना बने।
यह कैसे काम करता है
जब टेम्परेचर शून्य से ऊपर हो, तो सर्वर हर अगला टोकन मॉडल के वितरण से रैंडम तरीक़े से चुनता है। ये चुनाव एक रैंडम नंबर जनरेटर चलाता है। उसकी शुरुआती वैल्यू, यानी seed, तय कर दें, तो उसी अनुरोध पर वही चुनाव होने चाहिए।
OpenAI का रेफ़रंस seed को Beta बताता है। cookbook कहती है “our system will make a best effort to sample deterministically” (अनुवाद: हमारा सिस्टम deterministic तरीक़े से सैंपल करने की पूरी कोशिश करेगा)। मेल खाते आउटपुट के लिए वह अनुरोधों में ये चीज़ें एक जैसी रखने को कहती है:
seedपूर्णांक,- प्रॉम्प्ट और मैसेज,
temperature, top_p औरmax_tokens।
जवाब में system_fingerprint आता है, जिसके बारे में OpenAI कहता है कि यह “represents the backend configuration that the model runs with” (अनुवाद: उस बैकएंड कॉन्फ़िगरेशन को दर्शाता है जिस पर मॉडल चलता है)। अगर दो रन के बीच यह बदल जाए, तो उसी seed के बावजूद अलग आउटपुट की उम्मीद रखें।
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
ओपन मॉडल सर्वर में भी यही विकल्प है। vLLM के SamplingParams में seed है, “Random seed to use for the generation” (अनुवाद: जनरेशन के लिए इस्तेमाल होने वाला रैंडम seed), जिसकी डिफ़ॉल्ट वैल्यू none है।
यह क्यों मायने रखता है
- Eval. जब आप किसी eval में प्रॉम्प्ट या मॉडल की तुलना करते हैं, तो तय seed रनों के बीच का शोर घटाता है। फिर भी कई सैंपल चलाएँ; best effort कोई गारंटी नहीं है।
- डीबगिंग. seed वाले अनुरोध से अजीब जवाब को दोबारा पैदा करना आसान होता है।
- कैशिंग. अगर आप जवाब कैश करते हैं, तो कैश key में seed शामिल करें, जैसा रिस्पॉन्स कैशिंग वाली पोस्ट करती है।
BroadNet Inference पर
BroadNet का API रेफ़रंस seed या system_fingerprint को डॉक्यूमेंट नहीं करता। भरोसा करने से पहले टेस्ट करें: seed वाला एक ही अनुरोध पाँच बार भेजें और आउटपुट की तुलना करें। अगर वे अलग हों, तो temperature घटाएँ, ज़रूरी आउटपुट सेव करें, और एक के बजाय कई सैंपल पर मूल्यांकन करें। माइग्रेशन वॉकथ्रू seed को उन OpenAI फ़ील्ड में गिनाता है जिन्हें टेस्ट करना या हटाना है।
आम ग़लतियाँ
- seed को बाइट-दर-बाइट एक जैसे आउटपुट का वादा मान लेना।
- रनों के बीच max_tokens या सिस्टम प्रॉम्प्ट बदलना और फ़र्क़ का दोष seed पर डालना।