Модель, попавшая в цикл, повторяет одну и ту же фразу, пока не закончатся токены. Штрафы — грубое средство, которое применяется на этапе сэмплирования.
Как это работает
Прежде чем выбрать каждый следующий токен, сервер корректирует оценки уже сгенерированных токенов.
| Параметр | Что штрафует, по документации vLLM | Диапазон и значение по умолчанию |
|---|---|---|
presence_penalty |
Токены “based on whether they appear in the generated text so far” (перевод: «в зависимости от того, встречаются ли они в уже сгенерированном тексте») | OpenAI: от -2.0 до 2.0, по умолчанию 0 |
frequency_penalty |
Токены “based on their frequency in the generated text so far” (перевод: «в зависимости от их частоты в уже сгенерированном тексте») | OpenAI: от -2.0 до 2.0, по умолчанию 0 |
repetition_penalty |
Токены “based on whether they appear in the prompt and the generated text so far” (перевод: «в зависимости от того, встречаются ли они в промпте и в уже сгенерированном тексте») | vLLM и Hugging Face: 1.0 означает отсутствие штрафа |
Положительные значения отталкивают от уже использованных токенов; отрицательные делают повторы вероятнее. По словам OpenAI, положительный штраф за частоту снижает “the model’s likelihood to repeat the same line verbatim” (перевод: «вероятность того, что модель дословно повторит ту же строку»), а положительный штраф за присутствие повышает “the model’s likelihood to talk about new topics” (перевод: «вероятность того, что модель заговорит о новых темах»). Для repetition_penalty vLLM указывает, что значения больше 1 поощряют новые токены, а меньше 1 — повторы. Документация Hugging Face ссылается для этого штрафа на статью о CTRL.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Почему это важно
- Циклы в длинных ответах. Агенты и длинные пересказы могут скатиться в повторяющийся текст. Небольшой штраф может разорвать цикл, а жёсткий лимит max_tokens ограничит ущерб.
- Побочные эффекты. Штрафы действуют на токены, а не на идеи. Сильный штраф может помешать модели повторить нужные ей слова: имя переменной в коде, ключ JSON или имя в арабском тексте, которое повторяется намеренно. Начинайте с 0 и меняйте маленькими шагами.
- Пересечение с сэмплированием. Температура и top-p тоже меняют разнообразие. При тестировании меняйте по одному параметру.
В BroadNet Inference
Справочник API BroadNet не описывает frequency_penalty, presence_penalty и repetition_penalty. Проверьте их, прежде чем на них полагаться: отправьте промпт, склонный к повторам, с этим полем и без него и сравните. Если повторы появляются в долгих запусках, попробуйте более ясный промпт, меньший лимит вывода или остановку запуска с продолжением с контрольной точки; этот подход разобран в статье о ночных запусках агентов.
Частые ошибки
- Ставить высокие штрафы, чтобы исправить проблему промпта. Повторы часто означают, что у модели нет ясной точки остановки.
- Применять штраф к структурированному выводу, где ключи обязаны повторяться.