Setiap token yang ditulis model dipilih daripada taburan kebarangkalian. Logprobs mendedahkan taburan itu, satu token pada satu masa.
Cara ia berfungsi
Pada setiap langkah, model memberi skor kepada setiap token dalam perbendaharaan katanya dan menukar skor itu kepada kebarangkalian. API boleh melaporkan log asli kebarangkalian token yang dipilihnya. Log digunakan kerana nombor mentahnya menjadi sangat kecil; menambah log sama dengan mendarab kebarangkalian.
Dalam Chat Completions API OpenAI, anda memintanya dengan dua medan permintaan:
logprobs: truememulangkan kebarangkalian log untuk setiap token output.top_logprobsialah “an integer between 0 and 20” (integer antara 0 dan 20) untuk bilangan alternatif yang mungkin disenaraikan pada setiap kedudukan. Ia memerlukanlogprobs: true.
Setiap entri dalam choices[0].logprobs.content mengandungi token, logprobnya, bytes UTF-8nya dan senarai top_logprobs. Tukar dengan exp(logprob):
| logprob | kebarangkalian |
|---|---|
| 0 | 1.00 |
| -0.105 | kira-kira 0.90 |
| -0.693 | kira-kira 0.50 |
| -2.303 | kira-kira 0.10 |
Mengapa ia penting
Cookbook OpenAI menyenaraikan kegunaan praktikal:
- Keyakinan pengelasan. Minta label satu perkataan dan baca logprob token itu. Hantar item berkeyakinan rendah kepada manusia.
- Semakan pengambilan. Tanya sama ada konteks yang dibekalkan menjawab soalan, dan gunakan kebarangkalian “yes” sebagai skor. Cookbook mengaitkan ini dengan mengurangkan halusinasi.
- Autolengkap. Cadangkan perkataan seterusnya hanya apabila model yakin.
- Perplexity. Purata logprobs keseluruhan jawapan, negatifkan hasilnya dan ambil e kuasa nilai itu. Perplexity yang lebih rendah bermaksud model mendapati teks itu lebih mudah dijangka.
Logprobs juga menjadikan pensampelan kelihatan. Menaikkan temperature atau top-p membenarkan token berkebarangkalian lebih rendah lolos, dan logprobs menunjukkannya. Ia pelengkap murah kepada langkah LLM-as-judge, kerana ia datang bersama jawapan tanpa permintaan tambahan.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan logprobs atau top_logprobs untuk mana-mana model. Jangan anggap endpoint yang serasi OpenAI memulangkannya. Hantar satu permintaan dengan logprobs: true, semak sama ada choices[0].logprobs berisi, dan rancang sandaran, seperti prompt penilai, jika tiada. Panduan Python SDK menunjukkan persediaan klien untuk ujian.
Kesilapan biasa
- Membaca logprob yang tinggi sebagai bukti fakta yang betul. Ia hanya bermaksud model menjangka token itu.
- Membandingkan logprobs merentas model berbeza. Tokenizer dan kalibrasi berbeza, jadi nombornya tidak pada skala yang sama.