BroadRouter

Top-p (أخذ العينات من النواة)

آخر تحديث

Top-p، ويُسمّى أيضًا أخذ العينات من النواة (nucleus sampling)، طريقة فك ترميز يختار فيها النموذج اللغوي الرمز التالي من أصغر مجموعة من الرموز الأرجح فقط، تلك التي يبلغ مجموع احتمالاتها عتبة p مثل 0.9، ويستبعد الذيل قليل الاحتمال.

يُسمّى أيضًا: أخذ العينات من النواة، عينات النواة، معامل top_p، أخذ العينات top-p، top-p، nucleus sampling، top_p، top-p sampling

يحدّد top-p أي الرموز يُسمح لها بدخول السحب قبل أن يختار النموذج واحدًا منها.

كيف يعمل

قدّم Holtzman وزملاؤه أخذ العينات من النواة عام 2019. ويعرّفون مفردات top-p بأنها أصغر مجموعة من الرموز يبلغ احتمالها التراكمي p على الأقل. وكل رمز خارج هذه المجموعة يصبح احتماله صفرًا، ثم يُعاد تحجيم الباقي ليكون مجموعه واحدًا، ويُسحب الرمز التالي منه. وتستخدم نتائجهم الرئيسية p = 0.95.

يتغيّر حجم المجموعة في كل خطوة:

توزيع الرمز التالي الرموز المُبقاة عند p = 0.9
رمز واحد باحتمال 0.95 1
أربعة رموز باحتمالات 0.3 و0.3 و0.2 و0.15 4
توزيع طويل مسطّح كثيرة

وهذه هي فكرة الطريقة كلها. إذ تحاجّ الورقة بأن “less reliable tail” (ترجمة: الذيل الأقل موثوقية) في التوزيع هو ما يُنتج نصًا متدهورًا، وأن قطعه يعطي مخرجات متنوعة دون فقدان الترابط. أما top-k الثابت فلا يتكيّف بهذا الشكل: فهو يُبقي العدد نفسه سواء كان النموذج متيقنًا أم مترددًا.

في واجهة OpenAI API، القيمة الافتراضية لـ top_p هي 1، أي دون قطع. ويضرب المرجع مثالًا: “0.1 means only the tokens comprising the top 10% probability mass are considered.” (ترجمة: 0.1 تعني أن الرموز التي تشكّل أعلى 10% من كتلة الاحتمال هي وحدها التي تؤخذ في الحسبان.) وقيمته الافتراضية في Hugging Face Transformers أيضًا 1.0، ما لم يضبط الملف generation_config.json للنموذج قيمة أخرى.

لماذا يهم

  • رموز غريبة أقل. قطع الذيل يزيل الاختيارات النادرة التي تجعل النص ينجرف، وهذا مهم للإجابات الطويلة ولخطر الهلوسة.
  • التفاعل مع درجة الحرارة. تُطبَّق درجة الحرارة على الدرجات، ثم يقلّم top-p النتيجة. وضبط الاثنين معًا يجعل السلوك صعب التوقع، ولهذا تقترح OpenAI تغيير أحدهما فقط.
  • تتبّع الأخطاء. إن أظهرت logprobs أن النموذج اختار رمزًا منخفض الاحتمال، فإن قيمة top-p أدنى كانت ستمنعه.

لا يغيّر top-p السعر؛ فكل رمز مولَّد يُحاسَب بالطريقة نفسها.

في BroadNet Inference

لا يوثّق المرجع التقني لـ BroadNet المعاملين top_p وtop_k ولا قيمهما الافتراضية، ولا تضبط أمثلة الطلبات فيه أيًّا منهما. ستمرّر حزمة OpenAI SDK المعامل top_p، لكن لا يُذكر هل يطبّقه نموذج بعينه، فاختبره على أوامرك قبل الاعتماد عليه. راجع دليل Python SDK والمقال عن تقييم النموذج قبل الانتقال إليه، الذي يشرح لماذا يجب تثبيت إعدادات أخذ العينات أثناء المقارنة.

أخطاء شائعة

  • ضبط top_p ودرجة الحرارة معًا، ثم عدم معرفة أيهما غيّر النتيجة.
  • نسخ إعدادات أخذ العينات من نموذج إلى آخر. فالقيم الموصى بها تختلف من نموذج لآخر.

أسئلة شائعة

ما الفرق بين top-p ودرجة الحرارة؟

درجة الحرارة تعيد تشكيل احتمالات الرموز كلها. أما top-p فيقطع الذيل قليل الاحتمال ويأخذ العينة مما تبقّى. وتوصي OpenAI بتغيير أحدهما لا كليهما.

ما الفرق بين top-p وtop-k؟

يُبقي top-k عددًا ثابتًا من الرموز، مثل 50. أما top-p فيُبقي ما يلزم من الرموز لبلوغ عتبة الاحتمال، فتصغر المجموعة حين يكون النموذج واثقًا وتكبر حين لا يكون.

هل يوثّق BroadNet المعامل top_p؟

لا. لا يذكر المرجع التقني لـ BroadNet المعامل top_p ولا قيمته الافتراضية لأي نموذج. اضبطه في الطلب واختبر أثره بنفسك.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity