Top-p решает, какие токены вообще попадут в розыгрыш, прежде чем модель выберет один из них.
Как это работает
Holtzman с соавторами предложили ядерное сэмплирование в 2019 году. Они определяют словарь top-p как наименьший набор токенов, чья накопленная вероятность не меньше p. Все токены вне этого набора получают нулевую вероятность. Вероятности остальных перенормируются так, чтобы в сумме давать единицу, и следующий токен выбирается из них. В основных результатах статьи используется p = 0,95.
Размер набора меняется на каждом шаге:
| Распределение следующего токена | Сколько токенов остаётся при p = 0,9 |
|---|---|
| Один токен с вероятностью 0,95 | 1 |
| Четыре токена: 0,3, 0,3, 0,2, 0,15 | 4 |
| Длинное ровное распределение | много |
В этом и смысл метода. Авторы утверждают, что “less reliable tail” (перевод: «менее надёжный хвост») распределения порождает вырожденный текст, а если его отрезать, вывод остаётся разнообразным и не теряет связности. Фиксированный top-k так подстраиваться не умеет: он оставляет одно и то же число токенов, уверена модель или нет.
В API OpenAI top_p по умолчанию равен 1, то есть ничего не отрезается. В справочнике приведён пример: “0.1 means only the tokens comprising the top 10% probability mass are considered” (перевод: «0.1 означает, что рассматриваются только токены, составляющие верхние 10% массы вероятности»). В Hugging Face Transformers значение по умолчанию тоже 1.0, если generation_config.json модели не задаёт другое.
Почему это важно
- Меньше странных токенов. Отрезая «хвост», вы убираете редкие варианты, из-за которых текст уводит в сторону. Это важно для длинных ответов и для риска галлюцинаций.
- Взаимодействие с температурой. Температура применяется к оценкам, а top-p затем обрезает результат. Если настраивать оба параметра сразу, поведение трудно предсказать, поэтому OpenAI советует менять только один.
- Отладка. Если по logprobs видно, что модель выбрала маловероятный токен, более низкий top-p его бы не пропустил.
Top-p не влияет на цену. Каждый сгенерированный токен оплачивается одинаково.
В BroadNet Inference
Справочник API BroadNet не описывает top_p, top_k и их значения по умолчанию. В примерах запросов не задан ни один из них. OpenAI SDK передаст top_p дальше, но применяет ли его конкретная модель, не сказано, поэтому проверьте на своих промптах, прежде чем на него полагаться. Смотрите руководство по Python SDK и статью о том, как оценить модель перед переходом: в ней объясняется, почему параметры сэмплирования при сравнении нужно фиксировать.
Частые ошибки
- Настраивать
top_pи температуру одновременно, а потом не понимать, что именно изменило результат. - Переносить параметры сэмплирования с одной модели на другую. Рекомендуемые значения у моделей разные.