temperature は、「毎回同じ答え」と「毎回違う答え」のあいだを調整するダイヤルです。
しくみ
モデルは、次に書く可能性のあるすべてのトークンにスコア(logit)を付けます。softmax がそのスコアを確率に変えますが、その前に各スコアを temperature で割ります。Hinton らはこの T を使って softmax を表し、「using a higher value for T produces a softer probability distribution over classes.」(訳:T を大きくすると、クラス間の確率分布がなだらかになる)と述べています。
- T が 1 未満だと分布が尖ります。最上位のトークンが選ばれやすくなります。
- T = 1 では、学習したとおりの確率がそのまま使われます。
- T が 1 より大きいと分布が平らになります。まれなトークンが選ばれやすくなります。
- T が 0 に近いと貪欲デコーディングに近づきます。常に最も可能性の高いトークンを選びます。
OpenAI の API は「between 0 and 2」(訳:0 から 2 の間)の値を受け付け、デフォルトは 1 です。リファレンスによると、0.8 では出力が「more random」(訳:よりランダム)になり、0.2 では「more focused and deterministic」(訳:より集中的で決定的)になります。また、top-p もランダム性を抑える別の手段なので、「altering this or top_p but not both」(訳:これか top_p のどちらかを変更し、両方は変えない)よう勧めています。
オープンモデルは独自のデフォルト値を持っていることがよくあります。Hugging Face Transformers はモデルの generation_config.json から temperature を読み、なければ 1.0 を使います。推論サーバーはどちらの値を使うこともあります。
なぜ重要か
- 再現性。 抽出、ルーティング、構造化出力には安定した答えが必要です。temperature を下げると、実行ごとのばらつきが減ります。
- 品質。 高すぎると、モデルが奇妙な言葉を選んだり細部をでっち上げたりし、ハルシネーションの原因になります。低すぎると、長い文章がループすることがあります。Hugging Face は、長い系列では貪欲デコーディングが「begins to repeat itself」(訳:同じことを繰り返し始める)と指摘しています。
- 評価。 モデルを比べるときは temperature を固定してください。そうしないと、サンプリングのノイズを測ることになります。logprobs を見ると、モデルにどれだけ選択の余地があったかがわかります。
temperature は料金や速度には影響しません。どの設定でもトークン単価は同じです。
BroadNet Inference の場合
BroadNet の API リファレンスには、どのモデルについても temperature、その範囲、デフォルト値が記載されていません。リクエストの例でも設定されていません。API は OpenAI 互換なので SDK はこのフィールドを送りますが、各モデルがそれに従うかどうかは記載されていません。明示的に設定し、同じプロンプトを何度か実行してばらつきを確かめてください。クライアントの設定は OpenAI Python SDK のガイドにあります。
よくある間違い
- temperature を 0 にして、出力がずっと同じだと思い込むこと。再現が必要な回答は保存してください。
- 間違った答えを直そうとして temperature を上げること。正確さを上げるのはより良いプロンプトや追加のコンテキストで、temperature が変えるのは多様性だけです。