أخذ العينات عشوائي عن قصد. والبذرة تثبّت هذه العشوائية، فتصبح لإعادة التشغيل فرصة لمطابقة التشغيل الأول.
كيف يعمل
حين تكون درجة الحرارة أعلى من صفر، يسحب الخادم كل رمز تالٍ عشوائيًا من توزيع النموذج. ويقود هذه السحوبات مولّد أرقام عشوائية. فإن ثبّتَّ قيمته الابتدائية، أي البذرة، فينبغي أن يأخذ الطلب نفسه السحوبات نفسها.
يصنّف المرجع التقني لدى OpenAI المعامل seed بأنه تجريبي (Beta). ويقول الـ Cookbook إن “our system will make a best effort to sample deterministically” (ترجمة: سيبذل نظامنا أفضل جهد لأخذ العينات بشكل حتمي). وللحصول على مخرجات متطابقة، يوصي بإبقاء ما يلي ثابتًا بين الطلبات:
- العدد الصحيح
seed، - الأمر والرسائل،
temperatureوtop_p وmax_tokens.
تتضمن الاستجابة system_fingerprint، الذي تقول OpenAI إنه “represents the backend configuration that the model runs with” (ترجمة: يمثّل إعداد الخادم الخلفي الذي يعمل به النموذج). فإن تغيّر بين تشغيلين، فتوقّع مخرجات مختلفة حتى مع البذرة نفسها.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
ولخوادم النماذج المفتوحة المقبض نفسه. ففي SamplingParams لدى vLLM يوجد seed، أي “Random seed to use for the generation” (ترجمة: البذرة العشوائية المستخدمة في التوليد)، وقيمته الافتراضية لا شيء.
لماذا يهم
- التقييمات. حين تقارن أوامر أو نماذج في تقييم (eval)، تقلّل البذرة الثابتة الضجيج بين التشغيلات. لكن شغّل عدة عينات رغم ذلك؛ فأفضل جهد ليس ضمانًا.
- تتبّع الأخطاء. الطلب ذو البذرة يجعل إعادة إنتاج رد غريب أسهل.
- التخزين المؤقت. إن كنت تخزّن الاستجابات مؤقتًا، فضمّن البذرة في مفتاح التخزين، كما يفعل مقال التخزين المؤقت للاستجابات.
في BroadNet Inference
لا يوثّق المرجع التقني لـ BroadNet الحقلين seed وsystem_fingerprint. اختبره قبل الاعتماد عليه: أرسل الطلب نفسه بالبذرة نفسها خمس مرات وقارن المخرجات. فإن اختلفت، اخفض درجة الحرارة، واحفظ المخرجات التي تحتاج إليها، وقيّم على عدة عينات لا على عينة واحدة. ويُدرج شرح الترحيل خطوة بخطوة المعامل seed ضمن حقول OpenAI التي ينبغي اختبارها أو حذفها.
أخطاء شائعة
- اعتبار البذرة وعدًا بمخرجات متطابقة بايتًا ببايت.
- تغيير max_tokens أو أمر النظام بين التشغيلات، ثم لوم البذرة على الاختلاف.