BroadRouter
始める

temperature(温度)

更新日

temperature(温度)とは、言語モデルの出力のランダム性を決めるサンプリングのパラメーターです。トークンのスコアをこの値で割ってから確率にするため、低いと最有力のトークンが支配的になり、高いと分布が平らになって確率の低いトークンも選ばれやすくなります。

別名: 温度、温度パラメーター、サンプリング温度、temperature パラメータ、temperature、sampling temperature、LLM temperature、temperature parameter

temperature は、「毎回同じ答え」と「毎回違う答え」のあいだを調整するダイヤルです。

しくみ

モデルは、次に書く可能性のあるすべてのトークンにスコア(logit)を付けます。softmax がそのスコアを確率に変えますが、その前に各スコアを temperature で割ります。Hinton らはこの T を使って softmax を表し、「using a higher value for T produces a softer probability distribution over classes.」(訳:T を大きくすると、クラス間の確率分布がなだらかになる)と述べています。

  • T が 1 未満だと分布が尖ります。最上位のトークンが選ばれやすくなります。
  • T = 1 では、学習したとおりの確率がそのまま使われます。
  • T が 1 より大きいと分布が平らになります。まれなトークンが選ばれやすくなります。
  • T が 0 に近いと貪欲デコーディングに近づきます。常に最も可能性の高いトークンを選びます。

OpenAI の API は「between 0 and 2」(訳:0 から 2 の間)の値を受け付け、デフォルトは 1 です。リファレンスによると、0.8 では出力が「more random」(訳:よりランダム)になり、0.2 では「more focused and deterministic」(訳:より集中的で決定的)になります。また、top-p もランダム性を抑える別の手段なので、「altering this or top_p but not both」(訳:これか top_p のどちらかを変更し、両方は変えない)よう勧めています。

オープンモデルは独自のデフォルト値を持っていることがよくあります。Hugging Face Transformers はモデルの generation_config.json から temperature を読み、なければ 1.0 を使います。推論サーバーはどちらの値を使うこともあります。

なぜ重要か

  • 再現性。 抽出、ルーティング、構造化出力には安定した答えが必要です。temperature を下げると、実行ごとのばらつきが減ります。
  • 品質。 高すぎると、モデルが奇妙な言葉を選んだり細部をでっち上げたりし、ハルシネーションの原因になります。低すぎると、長い文章がループすることがあります。Hugging Face は、長い系列では貪欲デコーディングが「begins to repeat itself」(訳:同じことを繰り返し始める)と指摘しています。
  • 評価。 モデルを比べるときは temperature を固定してください。そうしないと、サンプリングのノイズを測ることになります。logprobs を見ると、モデルにどれだけ選択の余地があったかがわかります。

temperature は料金や速度には影響しません。どの設定でもトークン単価は同じです。

BroadNet Inference の場合

BroadNet の API リファレンスには、どのモデルについても temperature、その範囲、デフォルト値が記載されていません。リクエストの例でも設定されていません。API は OpenAI 互換なので SDK はこのフィールドを送りますが、各モデルがそれに従うかどうかは記載されていません。明示的に設定し、同じプロンプトを何度か実行してばらつきを確かめてください。クライアントの設定は OpenAI Python SDK のガイドにあります。

よくある間違い

  • temperature を 0 にして、出力がずっと同じだと思い込むこと。再現が必要な回答は保存してください。
  • 間違った答えを直そうとして temperature を上げること。正確さを上げるのはより良いプロンプトや追加のコンテキストで、temperature が変えるのは多様性だけです。

よくある質問

temperature はいくつにすればよいですか?

抽出、分類、コードのように毎回同じ答えがほしい用途では 0〜0.3 のような低い値を使います。ブレインストーミングや言い回しに変化がほしい用途では 0.7〜1 のような高めの値を使います。どちらもご自身のプロンプトで試してください。

temperature を 0 にすれば出力は決定的になりますか?

保証はされません。毎回最上位のトークンを選ぶ方向に寄せますが、プロバイダーは一般に、実行ごとに同一の出力を約束していません。再現が必要な回答は保存しておいてください。

BroadNet のデフォルトの temperature はいくつですか?

BroadNet のドキュメントには、どのモデルについてもデフォルトの temperature は記載されていません。出力が temperature に左右される場合は、リクエストごとに明示的に設定してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く