BroadRouter

ٹاپ پی (top-p، nucleus sampling)

اپ ڈیٹ

ٹاپ پی، جسے nucleus sampling بھی کہتے ہیں، ڈیکوڈنگ کا ایک طریقہ ہے جس میں ماڈل اگلا ٹوکن صرف سب سے ممکنہ ٹوکنز کے اس سب سے چھوٹے سیٹ سے چنتا ہے جن کا مجموعی احتمال 0.9 جیسی حد p تک پہنچ جائے، اور باقی کم ممکنہ ٹوکنز چھوڑ دیتا ہے۔

دوسرے نام: ٹاپ پی، ٹاپ پی سیمپلنگ، نیوکلیس سیمپلنگ، top p kya hai، top_p kya hota hai، top-p، nucleus sampling، top_p، top-p sampling

ماڈل کوئی ٹوکن چنے، اس سے پہلے top-p طے کرتا ہے کہ کن ٹوکنز کو قرعے میں شامل ہونے دیا جائے۔

یہ کیسے کام کرتا ہے

Holtzman اور ساتھیوں نے 2019 میں nucleus sampling متعارف کرایا۔ وہ top-p ذخیرۂ الفاظ کو ٹوکنز کا وہ سب سے چھوٹا سیٹ قرار دیتے ہیں جس کا مجموعی (cumulative) احتمال کم از کم p ہو۔ اس سیٹ سے باہر ہر ٹوکن کا احتمال صفر ہو جاتا ہے۔ باقی ٹوکنز کے احتمالات کو دوبارہ اس طرح بانٹا جاتا ہے کہ ان کا مجموعہ ایک ہو، اور اگلا ٹوکن انہی میں سے سیمپل ہوتا ہے۔ ان کے اہم نتائج p = 0.95 پر ہیں۔

ہر قدم پر سیٹ کا سائز بدلتا ہے:

اگلے ٹوکن کی تقسیم p = 0.9 پر رکھے گئے ٹوکن
ایک ٹوکن 0.95 پر 1
چار ٹوکن 0.3، 0.3، 0.2، 0.15 پر 4
لمبا، ہموار پھیلاؤ بہت سے

اس طریقے کا مقصد یہی ہے۔ مقالہ دلیل دیتا ہے کہ تقسیم کی “less reliable tail” (ترجمہ: کم قابلِ اعتماد دُم) بگڑا ہوا متن پیدا کرتی ہے، اور اسے کاٹنے سے ربط کھوئے بغیر متنوع آؤٹ پٹ ملتا ہے۔ مقررہ top-k اس طرح ڈھل نہیں سکتا: ماڈل پُریقین ہو یا تذبذب میں، وہ اتنے ہی ٹوکن رکھتا ہے۔

OpenAI کے API میں top_p کی ڈیفالٹ قدر 1 ہے، یعنی کوئی کٹوتی نہیں۔ ریفرنس مثال دیتا ہے کہ “0.1 means only the tokens comprising the top 10% probability mass are considered.” (ترجمہ: 0.1 کا مطلب ہے کہ صرف وہ ٹوکن دیکھے جاتے ہیں جو اوپر کے 10% احتمالی حصے میں آتے ہیں۔) Hugging Face Transformers میں بھی ڈیفالٹ 1.0 ہے، جب تک ماڈل کی generation_config.json کوئی اور قدر سیٹ نہ کرے۔

یہ کیوں اہم ہے

  • کم عجیب ٹوکن۔ دُم کاٹنے سے وہ نایاب انتخاب ہٹ جاتے ہیں جو متن کو بھٹکاتے ہیں۔ لمبے جوابات اور ہیلوسینیشن کے خطرے کے لیے یہ اہم ہے۔
  • temperature کے ساتھ اثر۔ ٹمپریچر اسکورز پر لگتا ہے؛ پھر top-p نتیجے کو چھانٹتا ہے۔ دونوں کو ایک ساتھ ٹیون کرنے سے رویے کا اندازہ مشکل ہو جاتا ہے، اسی لیے OpenAI صرف ایک کو بدلنے کا مشورہ دیتا ہے۔
  • ڈی بگنگ۔ اگر logprobs دکھائیں کہ ماڈل نے کم احتمال والا ٹوکن چنا، تو کم top-p اسے روک دیتا۔

top-p سے قیمت نہیں بدلتی۔ ہر جنریٹ ہونے والے ٹوکن کا بل ایک جیسا بنتا ہے۔

BroadNet Inference پر

BroadNet کا API ریفرنس top_p، top_k یا ان کی ڈیفالٹ قدروں کو دستاویز نہیں کرتا۔ اس کی درخواستوں کی مثالیں ان میں سے کوئی سیٹ نہیں کرتیں۔ OpenAI SDK، top_p کو آگے بھیج دے گا، لیکن کوئی ماڈل اسے لاگو کرتا ہے یا نہیں، یہ نہیں بتایا گیا، اس لیے بھروسا کرنے سے پہلے اپنے پرامپٹس پر جانچ لیں۔ Python SDK گائیڈ دیکھیں، اور ماڈل بدلنے سے پہلے اسے پرکھنے والی پوسٹ بھی، جو بتاتی ہے کہ موازنے کے دوران سیمپلنگ سیٹنگز مقرر کیوں رکھنی چاہییں۔

عام غلطیاں

  • top_p اور temperature کو ایک ساتھ ٹیون کرنا، اور پھر یہ معلوم نہ ہونا کہ نتیجہ کس نے بدلا۔
  • ایک ماڈل کی سیمپلنگ سیٹنگز دوسرے ماڈل پر کاپی کرنا۔ تجویز کردہ قدریں ہر ماڈل کے لیے مختلف ہوتی ہیں۔

عام سوالات

top-p اور temperature میں کیا فرق ہے؟

temperature تمام ٹوکنز کے احتمالات کی شکل بدلتا ہے۔ top-p کم ممکنہ ٹوکنز کی دُم کاٹ دیتا ہے اور جو بچتا ہے اس میں سے سیمپل کرتا ہے۔ OpenAI مشورہ دیتا ہے کہ ان میں سے ایک ہی بدلیں، دونوں نہیں۔

top-p اور top-k میں کیا فرق ہے؟

top-k ٹوکنز کی ایک مقررہ تعداد رکھتا ہے، جیسے 50۔ top-p اتنے ٹوکن رکھتا ہے جتنے احتمال کی حد تک پہنچنے کے لیے چاہییں، اس لیے ماڈل پُریقین ہو تو سیٹ چھوٹا ہوتا ہے اور نہ ہو تو بڑا۔

کیا BroadNet، top_p کو دستاویز کرتا ہے؟

نہیں۔ BroadNet کا API ریفرنس کسی بھی ماڈل کے لیے top_p یا اس کی ڈیفالٹ قدر نہیں بتاتا۔ اسے درخواست میں سیٹ کریں اور اثر خود جانچیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں