モデルが書くトークンは、どれも確率分布から選ばれています。logprobs は、その分布をトークン 1 つずつ見せてくれます。
しくみ
モデルは各ステップで語彙内のすべてのトークンにスコアを付け、それを確率に変換します。API は、選ばれたトークンの確率の自然対数を返すことができます。対数を使うのは、生の数値が非常に小さくなるためです。対数の足し算は確率の掛け算と同じです。
OpenAI の Chat Completions API では、2 つのリクエストフィールドで取得します。
logprobs: trueで、出力トークンごとに対数確率が返ります。top_logprobsは「an integer between 0 and 20」(訳:0 から 20 までの整数)で、各位置で有力な代替をいくつ並べるかを指定します。logprobs: trueが必要です。
choices[0].logprobs.content の各要素には、token、その logprob、UTF-8 の bytes、top_logprobs のリストが入っています。exp(logprob) で換算します。
| logprob | 確率 |
|---|---|
| 0 | 1.00 |
| -0.105 | 約 0.90 |
| -0.693 | 約 0.50 |
| -2.303 | 約 0.10 |
なぜ重要か
OpenAI の Cookbook は、実用的な使い方を挙げています。
- 分類の確信度。 1 語のラベルを出力させ、そのトークンの logprob を読みます。確信度の低いものは人に回します。
- 検索結果のチェック。 渡したコンテキストで質問に答えられるかを尋ね、「yes」の確率をスコアにします。Cookbook はこれをハルシネーションの低減に結び付けています。
- オートコンプリート。 モデルに確信があるときだけ次の単語を提案します。
- パープレキシティ。 回答全体の logprobs を平均し、符号を反転して e のその乗を取ります。パープレキシティが低いほど、モデルにとってそのテキストは予測しやすかったことになります。
logprobs はサンプリングも可視化します。temperature や top-p を上げると確率の低いトークンが通るようになり、logprobs にそれが表れます。追加のリクエストなしで回答と一緒に返ってくるので、LLM-as-judge のステップを安価に補えます。
BroadNet Inference の場合
BroadNet の API リファレンスには、どのモデルについても logprobs や top_logprobs の記載がありません。OpenAI 互換のエンドポイントだからといって返ってくるとは限りません。logprobs: true を付けたリクエストを 1 回送り、choices[0].logprobs に値が入っているかを確認してください。入っていなければ、判定用プロンプトなどの代替手段を用意しましょう。テスト用のクライアント設定は Python SDK のガイドにあります。
よくある間違い
- logprob が高いことを、事実が正しい証拠と受け取ること。モデルがそのトークンを予想していたというだけです。
- 異なるモデル間で logprobs を比べること。トークナイザーもキャリブレーションも違うので、数値は同じ尺度ではありません。