كل رمز يكتبه النموذج يُختار من توزيع احتمالي. وlogprobs تكشف هذا التوزيع، رمزًا تلو رمز.
كيف تعمل
في كل خطوة، يعطي النموذج درجة لكل رمز في مفرداته ويحوّل الدرجات إلى احتمالات. ويمكن للواجهة أن تُبلغ عن اللوغاريتم الطبيعي لاحتمال الرمز الذي اختاره. وتُستخدم اللوغاريتمات لأن الأرقام الخام تصبح صغيرة جدًا؛ وجمع اللوغاريتمات يعادل ضرب الاحتمالات.
في Chat Completions API لدى OpenAI، تطلبها بحقلين في الطلب:
logprobs: trueيُرجع احتمالًا لوغاريتميًا لكل رمز في المخرجات.top_logprobsهو “an integer between 0 and 20” (ترجمة: عدد صحيح بين 0 و20) يحدّد كم بديلًا محتملًا يُدرَج في كل موضع. ويتطلبlogprobs: true.
كل عنصر في choices[0].logprobs.content يحمل token وlogprob الخاص به وبايتاته bytes بترميز UTF-8 وقائمة top_logprobs. وللتحويل استخدم exp(logprob):
| logprob | الاحتمال |
|---|---|
| 0 | 1.00 |
| -0.105 | نحو 0.90 |
| -0.693 | نحو 0.50 |
| -2.303 | نحو 0.10 |
لماذا تهم
يسرد OpenAI Cookbook استخدامات عملية:
- الثقة في التصنيف. اطلب تصنيفًا من كلمة واحدة، واقرأ قيمة logprob لذلك الرمز. وأحِل العناصر منخفضة الثقة إلى إنسان.
- فحوص الاسترجاع. اسأل هل يجيب السياق المقدَّم عن السؤال، واستخدم احتمال “yes” درجةً. ويربط الـ Cookbook ذلك بالحدّ من الهلوسة.
- الإكمال التلقائي. لا تقترح الكلمة التالية إلا حين يكون النموذج واثقًا.
- الحيرة (Perplexity). خذ متوسط قيم logprobs لإجابة كاملة، واعكس إشارته، ثم ارفع e إلى هذا الأُس. والحيرة الأقل تعني أن النموذج وجد النص أسهل توقعًا.
وتجعل logprobs أخذ العينات مرئيًا أيضًا. فرفع درجة الحرارة أو top-p يسمح بمرور رموز أقل احتمالًا، وتُظهر logprobs ذلك. وهي مكمّل رخيص لخطوة نموذج اللغة حَكَمًا (LLM-as-judge)، لأنها تأتي مع الإجابة دون طلب إضافي.
في BroadNet Inference
لا يوثّق المرجع التقني لـ BroadNet الحقلين logprobs وtop_logprobs لأي نموذج. فلا تفترض أن أي نقطة نهاية متوافقة مع OpenAI تُرجعهما. أرسل طلبًا واحدًا مع logprobs: true، وتحقّق هل امتلأ choices[0].logprobs، وخطّط لبديل، مثل أمر تحكيم، إن لم يمتلئ. ويعرض دليل Python SDK إعداد العميل للاختبار.
أخطاء شائعة
- اعتبار قيمة logprob مرتفعة دليلًا على صحة معلومة. فهي تعني فقط أن النموذج توقّع ذلك الرمز.
- مقارنة قيم logprobs بين نماذج مختلفة. فالمُرمِّزات (tokenizers) والمعايرة تختلف، والأرقام ليست على المقياس نفسه.