يحدّد top-p أي الرموز يُسمح لها بدخول السحب قبل أن يختار النموذج واحدًا منها.
كيف يعمل
قدّم Holtzman وزملاؤه أخذ العينات من النواة عام 2019. ويعرّفون مفردات top-p بأنها أصغر مجموعة من الرموز يبلغ احتمالها التراكمي p على الأقل. وكل رمز خارج هذه المجموعة يصبح احتماله صفرًا، ثم يُعاد تحجيم الباقي ليكون مجموعه واحدًا، ويُسحب الرمز التالي منه. وتستخدم نتائجهم الرئيسية p = 0.95.
يتغيّر حجم المجموعة في كل خطوة:
| توزيع الرمز التالي | الرموز المُبقاة عند p = 0.9 |
|---|---|
| رمز واحد باحتمال 0.95 | 1 |
| أربعة رموز باحتمالات 0.3 و0.3 و0.2 و0.15 | 4 |
| توزيع طويل مسطّح | كثيرة |
وهذه هي فكرة الطريقة كلها. إذ تحاجّ الورقة بأن “less reliable tail” (ترجمة: الذيل الأقل موثوقية) في التوزيع هو ما يُنتج نصًا متدهورًا، وأن قطعه يعطي مخرجات متنوعة دون فقدان الترابط. أما top-k الثابت فلا يتكيّف بهذا الشكل: فهو يُبقي العدد نفسه سواء كان النموذج متيقنًا أم مترددًا.
في واجهة OpenAI API، القيمة الافتراضية لـ top_p هي 1، أي دون قطع. ويضرب المرجع مثالًا: “0.1 means only the tokens comprising the top 10% probability mass are considered.” (ترجمة: 0.1 تعني أن الرموز التي تشكّل أعلى 10% من كتلة الاحتمال هي وحدها التي تؤخذ في الحسبان.) وقيمته الافتراضية في Hugging Face Transformers أيضًا 1.0، ما لم يضبط الملف generation_config.json للنموذج قيمة أخرى.
لماذا يهم
- رموز غريبة أقل. قطع الذيل يزيل الاختيارات النادرة التي تجعل النص ينجرف، وهذا مهم للإجابات الطويلة ولخطر الهلوسة.
- التفاعل مع درجة الحرارة. تُطبَّق درجة الحرارة على الدرجات، ثم يقلّم top-p النتيجة. وضبط الاثنين معًا يجعل السلوك صعب التوقع، ولهذا تقترح OpenAI تغيير أحدهما فقط.
- تتبّع الأخطاء. إن أظهرت logprobs أن النموذج اختار رمزًا منخفض الاحتمال، فإن قيمة top-p أدنى كانت ستمنعه.
لا يغيّر top-p السعر؛ فكل رمز مولَّد يُحاسَب بالطريقة نفسها.
في BroadNet Inference
لا يوثّق المرجع التقني لـ BroadNet المعاملين top_p وtop_k ولا قيمهما الافتراضية، ولا تضبط أمثلة الطلبات فيه أيًّا منهما. ستمرّر حزمة OpenAI SDK المعامل top_p، لكن لا يُذكر هل يطبّقه نموذج بعينه، فاختبره على أوامرك قبل الاعتماد عليه. راجع دليل Python SDK والمقال عن تقييم النموذج قبل الانتقال إليه، الذي يشرح لماذا يجب تثبيت إعدادات أخذ العينات أثناء المقارنة.
أخطاء شائعة
- ضبط
top_pودرجة الحرارة معًا، ثم عدم معرفة أيهما غيّر النتيجة. - نسخ إعدادات أخذ العينات من نموذج إلى آخر. فالقيم الموصى بها تختلف من نموذج لآخر.