BroadRouter
Mulai

Logprobs (log probabilitas)

Diperbarui

Logprobs adalah log probabilitas yang diberikan model bahasa untuk token-token yang dihasilkannya. API yang mengembalikannya menunjukkan, untuk setiap token output, seberapa mungkin token itu menurut model dan, secara opsional, token alternatif paling mungkin di posisi tersebut.

Disebut juga: log probabilitas, probabilitas token, log probabilitas token, log probabilities, token log probabilities, top_logprobs, token probabilities

Setiap token yang ditulis model dipilih dari sebuah distribusi probabilitas. Logprobs memperlihatkan distribusi itu, satu token demi satu token.

Cara kerjanya

Di setiap langkah, model memberi skor pada setiap token dalam kosakatanya lalu mengubah skor itu menjadi probabilitas. API bisa melaporkan logaritma natural dari probabilitas token yang dipilih. Logaritma dipakai karena angka mentahnya menjadi sangat kecil; menjumlahkan log sama dengan mengalikan probabilitas.

Di Chat Completions API milik OpenAI, Anda memintanya dengan dua field permintaan:

  • logprobs: true mengembalikan log probabilitas untuk setiap token output.
  • top_logprobs adalah “an integer between 0 and 20” (terjemahan: bilangan bulat antara 0 dan 20) untuk jumlah alternatif paling mungkin yang dicantumkan di setiap posisi. Field ini memerlukan logprobs: true.

Setiap entri di choices[0].logprobs.content berisi token, logprob-nya, bytes UTF-8-nya, dan daftar top_logprobs. Konversikan dengan exp(logprob):

logprob probabilitas
0 1,00
-0.105 kira-kira 0,90
-0.693 kira-kira 0,50
-2.303 kira-kira 0,10

Kenapa ini penting

Cookbook OpenAI mencantumkan kegunaan praktisnya:

  • Keyakinan klasifikasi. Minta label satu kata dan baca logprob token itu. Serahkan item dengan keyakinan rendah ke manusia.
  • Pemeriksaan retrieval. Tanyakan apakah konteks yang diberikan menjawab pertanyaan, lalu pakai probabilitas “yes” sebagai skor. Cookbook mengaitkan ini dengan mengurangi halusinasi.
  • Autocomplete. Sarankan kata berikutnya hanya jika model yakin.
  • Perplexity. Rata-ratakan logprobs dari seluruh jawaban, balik tandanya, lalu hitung e pangkat hasil itu. Perplexity yang lebih rendah berarti model menganggap teks itu lebih mudah ditebak.

Logprobs juga membuat sampling terlihat. Menaikkan temperature atau top-p meloloskan token berprobabilitas lebih rendah, dan logprobs memperlihatkannya. Logprobs adalah pelengkap murah untuk langkah LLM-as-judge, karena datang bersama jawaban tanpa permintaan tambahan.

Di BroadNet Inference

Referensi API BroadNet tidak mendokumentasikan logprobs atau top_logprobs untuk model mana pun. Jangan berasumsi endpoint yang kompatibel dengan OpenAI mengembalikannya. Kirim satu permintaan dengan logprobs: true, periksa apakah choices[0].logprobs terisi, dan siapkan cadangan, misalnya prompt penilai (judge), jika tidak. Panduan SDK Python menunjukkan penyiapan client untuk pengujian.

Kesalahan umum

  • Membaca logprob tinggi sebagai bukti fakta yang benar. Itu hanya berarti model memperkirakan token tersebut.
  • Membandingkan logprobs antar model yang berbeda. Tokenizer dan kalibrasinya berbeda, jadi angkanya tidak berada pada skala yang sama.

Pertanyaan umum

Bagaimana cara mengubah logprob menjadi persentase?

Hitung e pangkat logprob. Logprob -0.105 kira-kira 0,90, atau 90%. Logprob 0 berarti model memberi token itu probabilitas 1.

Apakah logprobs mengukur benar atau tidaknya jawaban?

Tidak. Logprobs mengukur seberapa yakin model pada susunan katanya, bukan apakah faktanya benar. Model bisa salah dengan sangat yakin.

Apakah BroadNet Inference mengembalikan logprobs?

Referensi API BroadNet tidak mendokumentasikan logprobs. Kirim permintaan uji dengan logprobs bernilai true dan periksa responsnya sebelum membangun sesuatu di atasnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity