BroadRouter
始める

logprobs(対数確率)

更新日

logprobs(対数確率)とは、言語モデルが生成したトークンに割り当てた確率の対数です。logprobs を返す API では、出力トークンごとにモデルがどれだけありそうだと判断したかと、必要に応じてその位置の有力な代替トークンがわかります。

別名: 対数確率、トークンの対数確率、トークン確率、ログ確率、log probabilities、token log probabilities、top_logprobs、token probabilities

モデルが書くトークンは、どれも確率分布から選ばれています。logprobs は、その分布をトークン 1 つずつ見せてくれます。

しくみ

モデルは各ステップで語彙内のすべてのトークンにスコアを付け、それを確率に変換します。API は、選ばれたトークンの確率の自然対数を返すことができます。対数を使うのは、生の数値が非常に小さくなるためです。対数の足し算は確率の掛け算と同じです。

OpenAI の Chat Completions API では、2 つのリクエストフィールドで取得します。

  • logprobs: true で、出力トークンごとに対数確率が返ります。
  • top_logprobs は「an integer between 0 and 20」(訳:0 から 20 までの整数)で、各位置で有力な代替をいくつ並べるかを指定します。logprobs: true が必要です。

choices[0].logprobs.content の各要素には、token、その logprob、UTF-8 の bytes、top_logprobs のリストが入っています。exp(logprob) で換算します。

logprob 確率
0 1.00
-0.105 約 0.90
-0.693 約 0.50
-2.303 約 0.10

なぜ重要か

OpenAI の Cookbook は、実用的な使い方を挙げています。

  • 分類の確信度。 1 語のラベルを出力させ、そのトークンの logprob を読みます。確信度の低いものは人に回します。
  • 検索結果のチェック。 渡したコンテキストで質問に答えられるかを尋ね、「yes」の確率をスコアにします。Cookbook はこれをハルシネーションの低減に結び付けています。
  • オートコンプリート。 モデルに確信があるときだけ次の単語を提案します。
  • パープレキシティ。 回答全体の logprobs を平均し、符号を反転して e のその乗を取ります。パープレキシティが低いほど、モデルにとってそのテキストは予測しやすかったことになります。

logprobs はサンプリングも可視化します。temperature や top-p を上げると確率の低いトークンが通るようになり、logprobs にそれが表れます。追加のリクエストなしで回答と一緒に返ってくるので、LLM-as-judge のステップを安価に補えます。

BroadNet Inference の場合

BroadNet の API リファレンスには、どのモデルについても logprobs や top_logprobs の記載がありません。OpenAI 互換のエンドポイントだからといって返ってくるとは限りません。logprobs: true を付けたリクエストを 1 回送り、choices[0].logprobs に値が入っているかを確認してください。入っていなければ、判定用プロンプトなどの代替手段を用意しましょう。テスト用のクライアント設定は Python SDK のガイドにあります。

よくある間違い

  • logprob が高いことを、事実が正しい証拠と受け取ること。モデルがそのトークンを予想していたというだけです。
  • 異なるモデル間で logprobs を比べること。トークナイザーもキャリブレーションも違うので、数値は同じ尺度ではありません。

よくある質問

logprob をパーセントに換算するには?

e の logprob 乗を計算します。logprob が -0.105 なら約 0.90、つまり 90% です。logprob が 0 なら、モデルはそのトークンに確率 1 を与えたことになります。

logprobs で答えが正しいかどうかがわかりますか?

いいえ。わかるのはモデルが言い回しにどれだけ確信を持っていたかで、事実が正しいかどうかではありません。モデルは自信満々に間違えることがあります。

BroadNet Inference は logprobs を返しますか?

BroadNet の API リファレンスには logprobs の記載がありません。これを前提に開発する前に、logprobs を true にしたテストリクエストを送り、応答を確認してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く