BroadRouter
شروع کریں

لاگ پروبز (logprobs)

اپ ڈیٹ

لاگ پروبز وہ لاگ احتمالات ہیں جو لینگویج ماڈل نے اپنے جنریٹ کیے گئے ٹوکنز کو دیے۔ انہیں لوٹانے والا API ہر آؤٹ پٹ ٹوکن کے لیے دکھاتا ہے کہ ماڈل نے اسے کتنا ممکن سمجھا، اور چاہیں تو اس جگہ کے سب سے ممکنہ متبادل ٹوکن بھی۔

دوسرے نام: لاگ پروبز، لاگ احتمالات، ٹوکن احتمالات، logprobs kya hai، logprobs kya hote hain، logprobs، log probabilities، token log probabilities، top_logprobs، token probabilities

ماڈل جو بھی ٹوکن لکھتا ہے، وہ ایک احتمالی تقسیم سے چنا جاتا ہے۔ لاگ پروبز اس تقسیم کو، ایک ایک ٹوکن کر کے، سامنے لاتے ہیں۔

یہ کیسے کام کرتے ہیں

ہر قدم پر ماڈل اپنے ذخیرۂ الفاظ کے ہر ٹوکن کو اسکور دیتا ہے اور اسکورز کو احتمالات میں بدلتا ہے۔ API چنے گئے ٹوکن کے احتمال کا قدرتی لاگ (natural log) بتا سکتا ہے۔ لاگ اس لیے لیا جاتا ہے کیونکہ اصل اعداد بہت چھوٹے ہو جاتے ہیں؛ لاگ جمع کرنا احتمالات کو ضرب دینے کے برابر ہے۔

OpenAI کے Chat Completions API میں انہیں درخواست کے دو فیلڈز سے مانگا جاتا ہے:

  • logprobs: true ہر آؤٹ پٹ ٹوکن کا لاگ احتمال لوٹاتا ہے۔
  • top_logprobs “an integer between 0 and 20” (ترجمہ: 0 اور 20 کے درمیان ایک عدد صحیح) ہے، جو بتاتا ہے کہ ہر جگہ کتنے ممکنہ متبادل دکھائے جائیں۔ اس کے لیے logprobs: true ضروری ہے۔

choices[0].logprobs.content کی ہر اندراج میں token، اس کا logprob، اس کے UTF-8 bytes اور ایک top_logprobs فہرست ہوتی ہے۔ exp(logprob) سے بدلیں:

logprob احتمال
0 1.00
-0.105 تقریباً 0.90
-0.693 تقریباً 0.50
-2.303 تقریباً 0.10

یہ کیوں اہم ہیں

OpenAI کی cookbook ان کے عملی استعمال بتاتی ہے:

  • درجہ بندی کا اعتماد۔ ایک لفظ کا لیبل مانگیں اور اس ٹوکن کا logprob پڑھیں۔ کم اعتماد والے آئٹمز انسان کو بھیجیں۔
  • ریٹریول کی جانچ۔ پوچھیں کہ دیا گیا کانٹیکسٹ سوال کا جواب دیتا ہے یا نہیں، اور “yes” کے احتمال کو اسکور مانیں۔ cookbook اسے ہیلوسینیشن کم کرنے سے جوڑتی ہے۔
  • آٹو کمپلیٹ۔ اگلا لفظ تبھی تجویز کریں جب ماڈل پُراعتماد ہو۔
  • Perplexity۔ پورے جواب کے logprobs کا اوسط لیں، اس کی علامت الٹ دیں اور e کی اتنی طاقت لیں۔ کم perplexity کا مطلب ہے کہ ماڈل کو متن زیادہ قابلِ پیش گوئی لگا۔

لاگ پروبز سیمپلنگ کو بھی نظر آنے کے قابل بناتے ہیں۔ ٹمپریچر یا top-p بڑھانے سے کم احتمال والے ٹوکن اندر آنے لگتے ہیں، اور logprobs یہ دکھا دیتے ہیں۔ یہ LLM-as-judge مرحلے کا سستا ساتھی ہیں، کیونکہ یہ کسی اضافی درخواست کے بغیر جواب کے ساتھ ہی آتے ہیں۔

BroadNet Inference پر

BroadNet کا API ریفرنس کسی بھی ماڈل کے لیے logprobs یا top_logprobs دستاویز نہیں کرتا۔ یہ فرض نہ کریں کہ کوئی OpenAI-compatible اینڈپوائنٹ انہیں لوٹائے گا ہی۔ logprobs: true کے ساتھ ایک درخواست بھیجیں، دیکھیں کہ choices[0].logprobs بھرا ہے یا نہیں، اور نہ ہو تو جج پرامپٹ جیسا کوئی فال بیک طے کریں۔ ٹیسٹ کے لیے کلائنٹ سیٹ اپ Python SDK گائیڈ میں ہے۔

عام غلطیاں

  • اونچے logprob کو درست حقیقت کا ثبوت سمجھ لینا۔ اس کا مطلب صرف اتنا ہے کہ ماڈل کو اسی ٹوکن کی توقع تھی۔
  • مختلف ماڈلز کے logprobs کا موازنہ کرنا۔ ٹوکنائزر اور کیلیبریشن مختلف ہوتے ہیں، اس لیے اعداد ایک پیمانے پر نہیں ہوتے۔

عام سوالات

logprob کو فیصد میں کیسے بدلیں؟

e کی طاقت logprob لیں۔ -0.105 کا logprob تقریباً 0.90، یعنی 90% ہے۔ 0 کا logprob مطلب ماڈل نے اس ٹوکن کو احتمال 1 دیا۔

کیا logprobs بتاتے ہیں کہ جواب سچ ہے؟

نہیں۔ یہ بتاتے ہیں کہ ماڈل اپنے الفاظ کے بارے میں کتنا پُراعتماد تھا، یہ نہیں کہ حقیقت درست ہے۔ ماڈل پورے اعتماد کے ساتھ غلط ہو سکتا ہے۔

کیا BroadNet Inference، logprobs لوٹاتا ہے؟

BroadNet کا API ریفرنس logprobs کو دستاویز نہیں کرتا۔ logprobs کو true رکھ کر ایک ٹیسٹ درخواست بھیجیں اور اس پر کچھ بنانے سے پہلے جواب دیکھ لیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں