Каждый токен, который пишет модель, выбирается из распределения вероятностей. Logprobs показывают это распределение, токен за токеном.
Как это работает
На каждом шаге модель оценивает каждый токен своего словаря и превращает оценки в вероятности. API может сообщить натуральный логарифм вероятности выбранного токена. Логарифмы используют потому, что сами числа становятся очень маленькими; сложение логарифмов равносильно перемножению вероятностей.
В Chat Completions API от OpenAI их запрашивают двумя полями запроса:
logprobs: trueвозвращает логарифм вероятности для каждого выходного токена.top_logprobs— “an integer between 0 and 20” (перевод: «целое число от 0 до 20»): сколько вероятных альтернатив показывать на каждой позиции. Требуетlogprobs: true.
Каждая запись в choices[0].logprobs.content содержит token, его logprob, его байты UTF-8 в bytes и список top_logprobs. Переводите в вероятность через exp(logprob):
| logprob | вероятность |
|---|---|
| 0 | 1,00 |
| -0,105 | около 0,90 |
| -0,693 | около 0,50 |
| -2,303 | около 0,10 |
Почему это важно
В OpenAI Cookbook перечислены практические применения:
- Уверенность классификации. Попросите метку из одного слова и посмотрите logprob этого токена. Элементы с низкой уверенностью отправляйте человеку.
- Проверка поиска. Спросите, отвечает ли переданный контекст на вопрос, и используйте вероятность «yes» как оценку. Cookbook связывает это со снижением галлюцинаций.
- Автодополнение. Предлагайте следующее слово, только когда модель уверена.
- Перплексия. Усредните logprobs всего ответа, смените знак и возведите e в эту степень. Чем ниже перплексия, тем предсказуемее был для модели текст.
Logprobs также делают сэмплирование видимым. Повышение температуры или top-p пропускает токены с меньшей вероятностью, и logprobs это показывают. Это дешёвое дополнение к шагу LLM-as-judge: они приходят вместе с ответом, без дополнительного запроса.
В BroadNet Inference
Справочник API BroadNet не описывает logprobs и top_logprobs ни для одной модели. Не рассчитывайте, что OpenAI-совместимый эндпоинт их вернёт. Отправьте один запрос с logprobs: true, проверьте, заполнено ли choices[0].logprobs, и, если нет, предусмотрите запасной вариант, например промпт-судью. Настройка клиента для теста показана в руководстве по Python SDK.
Частые ошибки
- Считать высокий logprob доказательством того, что факт верен. Он лишь значит, что модель ожидала этот токен.
- Сравнивать logprobs разных моделей. Токенизаторы и калибровка отличаются, поэтому числа не в одной шкале.