BroadRouter
Начать

Logprobs (логарифмы вероятностей токенов)

Обновлено

Logprobs — это логарифмы вероятностей, которые языковая модель присвоила сгенерированным токенам. API, который их возвращает, показывает для каждого выходного токена, насколько вероятным его сочла модель, и при желании — самые вероятные альтернативные токены на этой позиции.

Также называют: логарифмы вероятностей, лог-вероятности, логарифмические вероятности токенов, вероятности токенов, log probabilities, token log probabilities, top_logprobs, token probabilities

Каждый токен, который пишет модель, выбирается из распределения вероятностей. Logprobs показывают это распределение, токен за токеном.

Как это работает

На каждом шаге модель оценивает каждый токен своего словаря и превращает оценки в вероятности. API может сообщить натуральный логарифм вероятности выбранного токена. Логарифмы используют потому, что сами числа становятся очень маленькими; сложение логарифмов равносильно перемножению вероятностей.

В Chat Completions API от OpenAI их запрашивают двумя полями запроса:

  • logprobs: true возвращает логарифм вероятности для каждого выходного токена.
  • top_logprobs — “an integer between 0 and 20” (перевод: «целое число от 0 до 20»): сколько вероятных альтернатив показывать на каждой позиции. Требует logprobs: true.

Каждая запись в choices[0].logprobs.content содержит token, его logprob, его байты UTF-8 в bytes и список top_logprobs. Переводите в вероятность через exp(logprob):

logprob вероятность
0 1,00
-0,105 около 0,90
-0,693 около 0,50
-2,303 около 0,10

Почему это важно

В OpenAI Cookbook перечислены практические применения:

  • Уверенность классификации. Попросите метку из одного слова и посмотрите logprob этого токена. Элементы с низкой уверенностью отправляйте человеку.
  • Проверка поиска. Спросите, отвечает ли переданный контекст на вопрос, и используйте вероятность «yes» как оценку. Cookbook связывает это со снижением галлюцинаций.
  • Автодополнение. Предлагайте следующее слово, только когда модель уверена.
  • Перплексия. Усредните logprobs всего ответа, смените знак и возведите e в эту степень. Чем ниже перплексия, тем предсказуемее был для модели текст.

Logprobs также делают сэмплирование видимым. Повышение температуры или top-p пропускает токены с меньшей вероятностью, и logprobs это показывают. Это дешёвое дополнение к шагу LLM-as-judge: они приходят вместе с ответом, без дополнительного запроса.

В BroadNet Inference

Справочник API BroadNet не описывает logprobs и top_logprobs ни для одной модели. Не рассчитывайте, что OpenAI-совместимый эндпоинт их вернёт. Отправьте один запрос с logprobs: true, проверьте, заполнено ли choices[0].logprobs, и, если нет, предусмотрите запасной вариант, например промпт-судью. Настройка клиента для теста показана в руководстве по Python SDK.

Частые ошибки

  • Считать высокий logprob доказательством того, что факт верен. Он лишь значит, что модель ожидала этот токен.
  • Сравнивать logprobs разных моделей. Токенизаторы и калибровка отличаются, поэтому числа не в одной шкале.

Вопросы и ответы

Как перевести logprob в проценты?

Возведите e в степень logprob. Logprob -0,105 — это примерно 0,90, то есть 90%. Logprob 0 означает, что модель дала этому токену вероятность 1.

Показывают ли logprobs, верен ли ответ?

Нет. Они показывают, насколько модель была уверена в формулировке, а не верен ли факт. Модель может уверенно ошибаться.

Возвращает ли BroadNet Inference logprobs?

Справочник API BroadNet не описывает logprobs. Отправьте тестовый запрос с logprobs, равным true, и проверьте ответ, прежде чем на это опираться.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity