درجة الحرارة هي المؤشر الذي ينقلك بين «الإجابة نفسها دائمًا» و«إجابة مختلفة في كل مرة».
كيف تعمل
يُنتج النموذج درجةً (logit) لكل رمز يمكن أن يكتبه تاليًا، ثم تحوّل دالة softmax هذه الدرجات إلى احتمالات. ودرجة الحرارة تقسم كل درجة أولًا. يكتب Hinton وزملاؤه دالة softmax مع هذا المعامل T ويذكرون أن “using a higher value for T produces a softer probability distribution over classes” (ترجمة: استخدام قيمة أعلى لـ T يُنتج توزيعًا احتماليًا أنعم على الفئات).
- T أقل من 1 تُحدّ التوزيع، فيفوز الرمز الأعلى أكثر.
- T = 1 تترك احتمالات النموذج كما دُرِّب.
- T أكبر من 1 تسطّحها، فتُختار الرموز النادرة أكثر.
- T قريبة من 0 تقترب من فك الترميز الجشع (greedy decoding): أي اختيار الرمز الأرجح دائمًا.
تقبل واجهة OpenAI API قيمًا “between 0 and 2” (ترجمة: بين 0 و2) مع قيمة افتراضية 1. ويقول مرجعها إن 0.8 تجعل المخرجات “more random” (ترجمة: أكثر عشوائية) و0.2 تجعلها “more focused and deterministic” (ترجمة: أكثر تركيزًا وحتمية). ويوصي أيضًا بـ “altering this or top_p but not both” (ترجمة: تعديل هذا المعامل أو top_p لا كليهما)، لأن top-p طريقة ثانية لتقليل العشوائية.
وكثيرًا ما تأتي النماذج المفتوحة بقيمها الافتراضية الخاصة. فمكتبة Hugging Face Transformers تقرأ درجة الحرارة من الملف generation_config.json للنموذج، وتعود إلى 1.0 إن غابت. وقد تستخدم منظومة التقديم أيًّا من القيمتين.
لماذا تهم
- قابلية التكرار. يحتاج الاستخراج والتوجيه والمخرجات المنظَّمة إلى إجابات مستقرة، وخفض الحرارة يقلل التباين بين التشغيلات.
- الجودة. إن ارتفعت كثيرًا انجرف النموذج نحو اختيارات كلمات غريبة أو تفاصيل مختلَقة، وهذا يغذّي الهلوسة. وإن انخفضت كثيرًا قد يدور النص الطويل في حلقة: إذ تذكر Hugging Face أن فك الترميز الجشع “begins to repeat itself” (ترجمة: يبدأ بتكرار نفسه) في التسلسلات الأطول.
- التقييم. حين تقارن بين النماذج، ثبّت درجة الحرارة، وإلا فأنت تقيس ضجيج أخذ العينات. ومراقبة logprobs تُظهر مقدار الهامش الذي كان لدى النموذج.
لا تغيّر درجة الحرارة السعر ولا السرعة؛ فتكلفة الرمز واحدة مهما كان الإعداد.
في BroadNet Inference
لا يوثّق المرجع التقني لـ BroadNet المعامل temperature ولا نطاقه المسموح ولا قيمته الافتراضية لأي نموذج، ولا تضبطه أمثلة الطلبات. ولأن الواجهة متوافقة مع OpenAI، سترسل حزم SDK هذا الحقل، لكن لا يُذكر هل يلتزم به كل نموذج. اضبطه صراحةً، وشغّل الأمر نفسه عدة مرات لترى مدى التباين. ويعرض دليل OpenAI Python SDK إعداد العميل.
أخطاء شائعة
- استخدام درجة الحرارة 0 مع افتراض أن المخرجات ستبقى متطابقة إلى الأبد. احفظ الإجابات التي تحتاج إلى إعادة إنتاجها.
- رفع درجة الحرارة لإصلاح إجابة خاطئة. الدقة يصلحها أمر أفضل أو سياق أكثر؛ أما درجة الحرارة فلا تغيّر إلا التنوع.