BroadRouter
Mulakan

Logprobs (kebarangkalian log)

Dikemas kini

Logprobs ialah kebarangkalian log yang diberikan oleh model bahasa kepada token yang dijananya. API yang memulangkannya menunjukkan, bagi setiap token output, sejauh mana model menganggap token itu mungkin dan, secara pilihan, token alternatif yang paling mungkin pada kedudukan tersebut.

Juga dikenali sebagai: kebarangkalian log, kebarangkalian token, log probabilities, token log probabilities, top_logprobs, token probabilities

Setiap token yang ditulis model dipilih daripada taburan kebarangkalian. Logprobs mendedahkan taburan itu, satu token pada satu masa.

Cara ia berfungsi

Pada setiap langkah, model memberi skor kepada setiap token dalam perbendaharaan katanya dan menukar skor itu kepada kebarangkalian. API boleh melaporkan log asli kebarangkalian token yang dipilihnya. Log digunakan kerana nombor mentahnya menjadi sangat kecil; menambah log sama dengan mendarab kebarangkalian.

Dalam Chat Completions API OpenAI, anda memintanya dengan dua medan permintaan:

  • logprobs: true memulangkan kebarangkalian log untuk setiap token output.
  • top_logprobs ialah “an integer between 0 and 20” (integer antara 0 dan 20) untuk bilangan alternatif yang mungkin disenaraikan pada setiap kedudukan. Ia memerlukan logprobs: true.

Setiap entri dalam choices[0].logprobs.content mengandungi token, logprobnya, bytes UTF-8nya dan senarai top_logprobs. Tukar dengan exp(logprob):

logprob kebarangkalian
0 1.00
-0.105 kira-kira 0.90
-0.693 kira-kira 0.50
-2.303 kira-kira 0.10

Mengapa ia penting

Cookbook OpenAI menyenaraikan kegunaan praktikal:

  • Keyakinan pengelasan. Minta label satu perkataan dan baca logprob token itu. Hantar item berkeyakinan rendah kepada manusia.
  • Semakan pengambilan. Tanya sama ada konteks yang dibekalkan menjawab soalan, dan gunakan kebarangkalian “yes” sebagai skor. Cookbook mengaitkan ini dengan mengurangkan halusinasi.
  • Autolengkap. Cadangkan perkataan seterusnya hanya apabila model yakin.
  • Perplexity. Purata logprobs keseluruhan jawapan, negatifkan hasilnya dan ambil e kuasa nilai itu. Perplexity yang lebih rendah bermaksud model mendapati teks itu lebih mudah dijangka.

Logprobs juga menjadikan pensampelan kelihatan. Menaikkan temperature atau top-p membenarkan token berkebarangkalian lebih rendah lolos, dan logprobs menunjukkannya. Ia pelengkap murah kepada langkah LLM-as-judge, kerana ia datang bersama jawapan tanpa permintaan tambahan.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan logprobs atau top_logprobs untuk mana-mana model. Jangan anggap endpoint yang serasi OpenAI memulangkannya. Hantar satu permintaan dengan logprobs: true, semak sama ada choices[0].logprobs berisi, dan rancang sandaran, seperti prompt penilai, jika tiada. Panduan Python SDK menunjukkan persediaan klien untuk ujian.

Kesilapan biasa

  • Membaca logprob yang tinggi sebagai bukti fakta yang betul. Ia hanya bermaksud model menjangka token itu.
  • Membandingkan logprobs merentas model berbeza. Tokenizer dan kalibrasi berbeza, jadi nombornya tidak pada skala yang sama.

Soalan lazim

Bagaimanakah saya menukar logprob kepada peratusan?

Ambil e kuasa logprob itu. Logprob -0.105 ialah kira-kira 0.90, atau 90%. Logprob 0 bermaksud model memberi token itu kebarangkalian 1.

Adakah logprobs mengukur sama ada jawapan itu benar?

Tidak. Ia mengukur sejauh mana model yakin dengan susunan katanya, bukan sama ada fakta itu betul. Model boleh salah dengan penuh yakin.

Adakah BroadNet Inference memulangkan logprobs?

Rujukan API BroadNet tidak mendokumenkan logprobs. Hantar permintaan ujian dengan logprobs ditetapkan kepada true dan semak respons sebelum anda membina apa-apa di atasnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity