Setiap token yang ditulis model dipilih dari sebuah distribusi probabilitas. Logprobs memperlihatkan distribusi itu, satu token demi satu token.
Cara kerjanya
Di setiap langkah, model memberi skor pada setiap token dalam kosakatanya lalu mengubah skor itu menjadi probabilitas. API bisa melaporkan logaritma natural dari probabilitas token yang dipilih. Logaritma dipakai karena angka mentahnya menjadi sangat kecil; menjumlahkan log sama dengan mengalikan probabilitas.
Di Chat Completions API milik OpenAI, Anda memintanya dengan dua field permintaan:
logprobs: truemengembalikan log probabilitas untuk setiap token output.top_logprobsadalah “an integer between 0 and 20” (terjemahan: bilangan bulat antara 0 dan 20) untuk jumlah alternatif paling mungkin yang dicantumkan di setiap posisi. Field ini memerlukanlogprobs: true.
Setiap entri di choices[0].logprobs.content berisi token, logprob-nya, bytes UTF-8-nya, dan daftar top_logprobs. Konversikan dengan exp(logprob):
| logprob | probabilitas |
|---|---|
| 0 | 1,00 |
| -0.105 | kira-kira 0,90 |
| -0.693 | kira-kira 0,50 |
| -2.303 | kira-kira 0,10 |
Kenapa ini penting
Cookbook OpenAI mencantumkan kegunaan praktisnya:
- Keyakinan klasifikasi. Minta label satu kata dan baca logprob token itu. Serahkan item dengan keyakinan rendah ke manusia.
- Pemeriksaan retrieval. Tanyakan apakah konteks yang diberikan menjawab pertanyaan, lalu pakai probabilitas “yes” sebagai skor. Cookbook mengaitkan ini dengan mengurangi halusinasi.
- Autocomplete. Sarankan kata berikutnya hanya jika model yakin.
- Perplexity. Rata-ratakan logprobs dari seluruh jawaban, balik tandanya, lalu hitung e pangkat hasil itu. Perplexity yang lebih rendah berarti model menganggap teks itu lebih mudah ditebak.
Logprobs juga membuat sampling terlihat. Menaikkan temperature atau top-p meloloskan token berprobabilitas lebih rendah, dan logprobs memperlihatkannya. Logprobs adalah pelengkap murah untuk langkah LLM-as-judge, karena datang bersama jawaban tanpa permintaan tambahan.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan logprobs atau top_logprobs untuk model mana pun. Jangan berasumsi endpoint yang kompatibel dengan OpenAI mengembalikannya. Kirim satu permintaan dengan logprobs: true, periksa apakah choices[0].logprobs terisi, dan siapkan cadangan, misalnya prompt penilai (judge), jika tidak. Panduan SDK Python menunjukkan penyiapan client untuk pengujian.
Kesalahan umum
- Membaca logprob tinggi sebagai bukti fakta yang benar. Itu hanya berarti model memperkirakan token tersebut.
- Membandingkan logprobs antar model yang berbeda. Tokenizer dan kalibrasinya berbeda, jadi angkanya tidak berada pada skala yang sama.