BroadRouter

top-p(Nucleus サンプリング)

更新日

top-p(Nucleus サンプリング)とは、確率の高い順に合計が閾値 p(0.9 など)に達する最小のトークン集合からだけ次のトークンを選び、可能性の低い裾を切り捨てるデコード手法です。

別名: ニュークリアスサンプリング、核サンプリング、top_p パラメータ、top-p サンプリング、nucleus sampling、top_p、top-p sampling

top-p は、モデルがトークンを 1 つ選ぶ前に、どのトークンを抽選に参加させるかを決めます。

しくみ

Nucleus サンプリングは、Holtzman らが 2019 年に提案しました。top-p の語彙を、累積確率が p 以上になる最小のトークン集合と定義しています。集合の外のトークンは確率 0 になり、残りは合計が 1 になるよう再スケールされ、そこから次のトークンがサンプリングされます。論文の主な結果では p = 0.95 を使っています。

この集合の大きさはステップごとに変わります。

次トークンの確率分布 p = 0.9 で残るトークン数
1 つのトークンが 0.95 1
4 つのトークンが 0.3、0.3、0.2、0.15 4
長く平らに広がった分布 多数

これこそがこの手法の狙いです。論文は、分布の「less reliable tail」(訳:信頼性の低い裾)がテキストの劣化を招くと論じ、そこを切れば一貫性を失わずに多様な出力が得られるとしています。固定の top-k はこのように適応できません。モデルに確信があってもなくても、同じ数を残すからです。

OpenAI の API では top_p のデフォルトは 1 で、切り捨てなしを意味します。リファレンスは「0.1 means only the tokens comprising the top 10% probability mass are considered.」(訳:0.1 は、確率質量の上位 10% を構成するトークンだけを考慮するという意味)という例を挙げています。Hugging Face Transformers も、モデルの generation_config.json が別の値を指定していなければデフォルトは 1.0 です。

なぜ重要か

  • おかしなトークンが減る。 裾を切ると、文章を脱線させる珍しい選択がなくなります。長い回答やハルシネーションのリスクに効きます。
  • temperature との相互作用。 temperature はスコアに適用され、top-p はその結果を刈り込みます。両方を同時に調整すると挙動が予測しにくくなるため、OpenAI は片方だけを変えるよう勧めています。
  • デバッグ。 logprobs を見てモデルが確率の低いトークンを選んでいたら、top-p を下げればそれを防げたはずです。

top-p は料金に影響しません。生成されたトークンはどれも同じ料金です。

BroadNet Inference の場合

BroadNet の API リファレンスには、top_p、top_k、それらのデフォルト値の記載がありません。リクエストの例でもどちらも設定されていません。OpenAI SDK は top_p をそのまま送りますが、各モデルがそれを適用するかどうかは記載されていないため、頼る前にご自身のプロンプトで試してください。Python SDK のガイドと、比較中はサンプリング設定を固定すべき理由を説明した乗り換え前のモデル評価の記事も参照してください。

よくある間違い

  • top_p と temperature を同時に調整し、どちらが結果を変えたのかわからなくなること。
  • あるモデルのサンプリング設定を別のモデルにそのまま流用すること。推奨値はモデルごとに異なります。

よくある質問

top-p と temperature の違いは何ですか?

temperature はすべてのトークンの確率分布を変形します。top-p は可能性の低い裾を切り落とし、残りからサンプリングします。OpenAI はどちらか一方だけを変更し、両方は変えないよう勧めています。

top-p と top-k の違いは何ですか?

top-k は 50 個など決まった数のトークンを残します。top-p は確率の閾値に達するまで必要な数だけトークンを残すため、モデルに確信があるときは集合が小さく、ないときは大きくなります。

BroadNet は top_p をドキュメントに記載していますか?

いいえ。BroadNet の API リファレンスには、どのモデルについても top_p やそのデフォルト値は載っていません。リクエストで設定し、効果をご自身で確かめてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く