ループにはまったモデルは、トークンが尽きるまで同じフレーズを繰り返します。ペナルティは、サンプリングの段階でかける大まかな対処法です。
しくみ
次のトークンを引く前に、サーバーはすでに生成されたトークンのスコアを調整します。
| 設定 | vLLM のドキュメントによるペナルティの対象 | 範囲とデフォルト |
|---|---|---|
presence_penalty |
「based on whether they appear in the generated text so far」(訳:それまでに生成されたテキストに現れたかどうか)に基づくトークン | OpenAI:-2.0〜2.0、デフォルト 0 |
frequency_penalty |
「based on their frequency in the generated text so far」(訳:それまでに生成されたテキストでの出現頻度)に基づくトークン | OpenAI:-2.0〜2.0、デフォルト 0 |
repetition_penalty |
「based on whether they appear in the prompt and the generated text so far」(訳:プロンプトとそれまでに生成されたテキストに現れたかどうか)に基づくトークン | vLLM と Hugging Face:1.0 でペナルティなし |
正の値は使用済みのトークンを避けさせ、負の値は繰り返しを起こりやすくします。OpenAI によると、正の frequency penalty は「the model’s likelihood to repeat the same line verbatim」(訳:モデルが同じ行をそのまま繰り返す可能性)を下げ、正の presence penalty は「the model’s likelihood to talk about new topics」(訳:モデルが新しい話題に触れる可能性)を上げます。repetition_penalty について vLLM は、1 より大きい値は新しいトークンを、1 より小さい値は繰り返しを促すとしています。Hugging Face のドキュメントは、このペナルティについて CTRL の論文を参照しています。
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
なぜ重要か
- 長い出力でのループ。 エージェントや長い要約は、同じテキストの繰り返しに陥ることがあります。小さなペナルティでループを断ち切れることがあり、max_tokens の厳格な上限で被害を抑えられます。
- 副作用。 ペナルティが作用するのはトークンであって、アイデアではありません。強くしすぎると、コードの変数名、JSON のキー、意図的に繰り返されるアラビア語テキスト中の名前など、モデルが再利用すべき語まで使えなくなります。0 から始めて少しずつ変えてください。
- サンプリング設定との重なり。 temperature と top-p も多様性を変えます。テストでは設定を 1 つずつ変えてください。
BroadNet Inference の場合
BroadNet の API リファレンスには frequency_penalty、presence_penalty、repetition_penalty の記載がありません。頼る前に試してください。繰り返しが起きやすいプロンプトを、フィールドありとなしで送って比べます。長時間の実行で繰り返しが出るなら、より明確なプロンプト、より低い出力上限を試すか、実行を止めてチェックポイントから再開してください。このパターンは夜間のエージェント実行の記事で扱っています。
よくある間違い
- プロンプトの問題を直すためにペナルティを高く設定すること。繰り返しは、多くの場合モデルに明確な終わりどころがないことを意味します。
- キーが繰り返し現れるのが当然の構造化出力にペナルティを使うこと。