Температура — это регулятор между «всегда один и тот же ответ» и «каждый раз новый ответ».
Как это работает
Для каждого токена, который может идти следующим, модель выдаёт оценку (логит). Softmax превращает оценки в вероятности, но сначала каждая оценка делится на температуру. Hinton с соавторами записывают softmax с этим T и отмечают: “using a higher value for T produces a softer probability distribution over classes” (перевод: «более высокое значение T даёт более мягкое распределение вероятностей по классам»).
- T ниже 1 делает распределение острее. Самый вероятный токен выигрывает чаще.
- T = 1 оставляет вероятности такими, какими их выучила модель.
- T выше 1 выравнивает их. Редкие токены выбираются чаще.
- T около 0 приближается к жадному декодированию: всегда берётся самый вероятный токен.
API OpenAI принимает значения “between 0 and 2” (перевод: «от 0 до 2»), по умолчанию 1. В справочнике сказано, что 0,8 делает вывод “more random” (перевод: «более случайным»), а 0,2 — “more focused and deterministic” (перевод: «более сфокусированным и детерминированным»). Там же рекомендуется “altering this or top_p but not both” (перевод: «менять либо этот параметр, либо top_p, но не оба»), потому что top-p — второй способ ограничить случайность.
У открытых моделей часто свои значения по умолчанию. Hugging Face Transformers берёт температуру из generation_config.json модели, а если её там нет, использует 1.0. Сервер инференса может применять любое из этих значений.
Почему это важно
- Воспроизводимость. Извлечению данных, маршрутизации и структурированному выводу нужны стабильные ответы. Низкая температура уменьшает разброс между запусками.
- Качество. При слишком высокой температуре модель уходит в странные формулировки или выдуманные детали, а это подпитывает галлюцинации. При слишком низкой длинный текст может зациклиться: Hugging Face отмечает, что жадное декодирование на длинных последовательностях “begins to repeat itself” (перевод: «начинает повторяться»).
- Оценка моделей. Сравнивая модели, фиксируйте температуру. Иначе вы измеряете шум сэмплирования. По logprobs видно, насколько широк был выбор у модели.
Температура не влияет на цену и скорость. Токен стоит одинаково при любом значении.
В BroadNet Inference
Справочник API BroadNet не описывает temperature, допустимый диапазон и значение по умолчанию ни для одной модели. В примерах запросов она не задаётся. API совместим с OpenAI, поэтому SDK будут передавать это поле, но учитывает ли его каждая модель, не сказано. Задавайте температуру явно и прогоните один и тот же промпт несколько раз, чтобы увидеть разброс. Настройка клиента показана в руководстве по OpenAI Python SDK.
Частые ошибки
- Ставить температуру 0 и считать, что ответ всегда будет одинаковым. Сохраняйте ответы, которые нужно воспроизвести.
- Повышать температуру, чтобы исправить неверный ответ. Точность улучшает более удачный промпт или дополнительный контекст; температура меняет только разнообразие.