BroadRouter
Начать

Температура (temperature)

Обновлено

Температура — это параметр сэмплирования, который определяет, насколько случайным будет ответ языковой модели. Модель делит оценки токенов на температуру, прежде чем превратить их в вероятности: при низких значениях доминирует самый вероятный токен, при высоких распределение выравнивается и менее вероятные токены выбираются чаще.

Также называют: температура модели, температура LLM, параметр temperature, температура сэмплирования, temperature, sampling temperature, LLM temperature, temperature parameter

Температура — это регулятор между «всегда один и тот же ответ» и «каждый раз новый ответ».

Как это работает

Для каждого токена, который может идти следующим, модель выдаёт оценку (логит). Softmax превращает оценки в вероятности, но сначала каждая оценка делится на температуру. Hinton с соавторами записывают softmax с этим T и отмечают: “using a higher value for T produces a softer probability distribution over classes” (перевод: «более высокое значение T даёт более мягкое распределение вероятностей по классам»).

  • T ниже 1 делает распределение острее. Самый вероятный токен выигрывает чаще.
  • T = 1 оставляет вероятности такими, какими их выучила модель.
  • T выше 1 выравнивает их. Редкие токены выбираются чаще.
  • T около 0 приближается к жадному декодированию: всегда берётся самый вероятный токен.

API OpenAI принимает значения “between 0 and 2” (перевод: «от 0 до 2»), по умолчанию 1. В справочнике сказано, что 0,8 делает вывод “more random” (перевод: «более случайным»), а 0,2 — “more focused and deterministic” (перевод: «более сфокусированным и детерминированным»). Там же рекомендуется “altering this or top_p but not both” (перевод: «менять либо этот параметр, либо top_p, но не оба»), потому что top-p — второй способ ограничить случайность.

У открытых моделей часто свои значения по умолчанию. Hugging Face Transformers берёт температуру из generation_config.json модели, а если её там нет, использует 1.0. Сервер инференса может применять любое из этих значений.

Почему это важно

  • Воспроизводимость. Извлечению данных, маршрутизации и структурированному выводу нужны стабильные ответы. Низкая температура уменьшает разброс между запусками.
  • Качество. При слишком высокой температуре модель уходит в странные формулировки или выдуманные детали, а это подпитывает галлюцинации. При слишком низкой длинный текст может зациклиться: Hugging Face отмечает, что жадное декодирование на длинных последовательностях “begins to repeat itself” (перевод: «начинает повторяться»).
  • Оценка моделей. Сравнивая модели, фиксируйте температуру. Иначе вы измеряете шум сэмплирования. По logprobs видно, насколько широк был выбор у модели.

Температура не влияет на цену и скорость. Токен стоит одинаково при любом значении.

В BroadNet Inference

Справочник API BroadNet не описывает temperature, допустимый диапазон и значение по умолчанию ни для одной модели. В примерах запросов она не задаётся. API совместим с OpenAI, поэтому SDK будут передавать это поле, но учитывает ли его каждая модель, не сказано. Задавайте температуру явно и прогоните один и тот же промпт несколько раз, чтобы увидеть разброс. Настройка клиента показана в руководстве по OpenAI Python SDK.

Частые ошибки

  • Ставить температуру 0 и считать, что ответ всегда будет одинаковым. Сохраняйте ответы, которые нужно воспроизвести.
  • Повышать температуру, чтобы исправить неверный ответ. Точность улучшает более удачный промпт или дополнительный контекст; температура меняет только разнообразие.

Вопросы и ответы

Какую температуру выбрать?

Низкие значения, от 0 до 0,3, — для извлечения данных, классификации и кода, где нужен один и тот же ответ каждый раз. Более высокие, от 0,7 до 1, — для мозгового штурма и разнообразных формулировок. Проверьте оба варианта на своих промптах.

Делает ли температура 0 ответ детерминированным?

Не гарантированно. Она подталкивает модель каждый раз выбирать самый вероятный токен, но провайдеры, как правило, не обещают одинакового ответа при повторных запусках. Сохраняйте ответы, которые нужно воспроизвести.

Какая температура по умолчанию в BroadNet?

Документация BroadNet не указывает температуру по умолчанию ни для одной модели. Задавайте её явно в каждом запросе, если от неё зависит результат.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity