ماڈل جو بھی ٹوکن لکھتا ہے، وہ ایک احتمالی تقسیم سے چنا جاتا ہے۔ لاگ پروبز اس تقسیم کو، ایک ایک ٹوکن کر کے، سامنے لاتے ہیں۔
یہ کیسے کام کرتے ہیں
ہر قدم پر ماڈل اپنے ذخیرۂ الفاظ کے ہر ٹوکن کو اسکور دیتا ہے اور اسکورز کو احتمالات میں بدلتا ہے۔ API چنے گئے ٹوکن کے احتمال کا قدرتی لاگ (natural log) بتا سکتا ہے۔ لاگ اس لیے لیا جاتا ہے کیونکہ اصل اعداد بہت چھوٹے ہو جاتے ہیں؛ لاگ جمع کرنا احتمالات کو ضرب دینے کے برابر ہے۔
OpenAI کے Chat Completions API میں انہیں درخواست کے دو فیلڈز سے مانگا جاتا ہے:
logprobs: trueہر آؤٹ پٹ ٹوکن کا لاگ احتمال لوٹاتا ہے۔top_logprobs“an integer between 0 and 20” (ترجمہ: 0 اور 20 کے درمیان ایک عدد صحیح) ہے، جو بتاتا ہے کہ ہر جگہ کتنے ممکنہ متبادل دکھائے جائیں۔ اس کے لیےlogprobs: trueضروری ہے۔
choices[0].logprobs.content کی ہر اندراج میں token، اس کا logprob، اس کے UTF-8 bytes اور ایک top_logprobs فہرست ہوتی ہے۔ exp(logprob) سے بدلیں:
| logprob | احتمال |
|---|---|
| 0 | 1.00 |
| -0.105 | تقریباً 0.90 |
| -0.693 | تقریباً 0.50 |
| -2.303 | تقریباً 0.10 |
یہ کیوں اہم ہیں
OpenAI کی cookbook ان کے عملی استعمال بتاتی ہے:
- درجہ بندی کا اعتماد۔ ایک لفظ کا لیبل مانگیں اور اس ٹوکن کا logprob پڑھیں۔ کم اعتماد والے آئٹمز انسان کو بھیجیں۔
- ریٹریول کی جانچ۔ پوچھیں کہ دیا گیا کانٹیکسٹ سوال کا جواب دیتا ہے یا نہیں، اور “yes” کے احتمال کو اسکور مانیں۔ cookbook اسے ہیلوسینیشن کم کرنے سے جوڑتی ہے۔
- آٹو کمپلیٹ۔ اگلا لفظ تبھی تجویز کریں جب ماڈل پُراعتماد ہو۔
- Perplexity۔ پورے جواب کے logprobs کا اوسط لیں، اس کی علامت الٹ دیں اور e کی اتنی طاقت لیں۔ کم perplexity کا مطلب ہے کہ ماڈل کو متن زیادہ قابلِ پیش گوئی لگا۔
لاگ پروبز سیمپلنگ کو بھی نظر آنے کے قابل بناتے ہیں۔ ٹمپریچر یا top-p بڑھانے سے کم احتمال والے ٹوکن اندر آنے لگتے ہیں، اور logprobs یہ دکھا دیتے ہیں۔ یہ LLM-as-judge مرحلے کا سستا ساتھی ہیں، کیونکہ یہ کسی اضافی درخواست کے بغیر جواب کے ساتھ ہی آتے ہیں۔
BroadNet Inference پر
BroadNet کا API ریفرنس کسی بھی ماڈل کے لیے logprobs یا top_logprobs دستاویز نہیں کرتا۔ یہ فرض نہ کریں کہ کوئی OpenAI-compatible اینڈپوائنٹ انہیں لوٹائے گا ہی۔ logprobs: true کے ساتھ ایک درخواست بھیجیں، دیکھیں کہ choices[0].logprobs بھرا ہے یا نہیں، اور نہ ہو تو جج پرامپٹ جیسا کوئی فال بیک طے کریں۔ ٹیسٹ کے لیے کلائنٹ سیٹ اپ Python SDK گائیڈ میں ہے۔
عام غلطیاں
- اونچے logprob کو درست حقیقت کا ثبوت سمجھ لینا۔ اس کا مطلب صرف اتنا ہے کہ ماڈل کو اسی ٹوکن کی توقع تھی۔
- مختلف ماڈلز کے logprobs کا موازنہ کرنا۔ ٹوکنائزر اور کیلیبریشن مختلف ہوتے ہیں، اس لیے اعداد ایک پیمانے پر نہیں ہوتے۔