BroadRouter
Começar

Logprobs (log-probabilidades)

Atualizado em

Logprobs são as log-probabilidades que um modelo de linguagem atribuiu aos tokens que gerou. Uma API que os retorna mostra, para cada token de saída, quão provável o modelo o considerou e, opcionalmente, os tokens alternativos mais prováveis naquela posição.

Também chamado de: logprobs, log-probabilidades, log probabilidades de tokens, probabilidades dos tokens, log probabilities, token log probabilities, top_logprobs, token probabilities

Todo token que um modelo escreve é escolhido a partir de uma distribuição de probabilidade. Os logprobs expõem essa distribuição, um token de cada vez.

Como funciona

A cada passo, o modelo dá uma pontuação a cada token do vocabulário e transforma as pontuações em probabilidades. A API pode informar o logaritmo natural da probabilidade do token escolhido. Usam-se logaritmos porque os números brutos ficam muito pequenos; somar logaritmos é o mesmo que multiplicar probabilidades.

Na Chat Completions API da OpenAI, você os pede com dois campos da requisição:

  • logprobs: true retorna uma log-probabilidade para cada token de saída.
  • top_logprobs é “an integer between 0 and 20” (um inteiro entre 0 e 20) que indica quantas alternativas prováveis listar em cada posição. Exige logprobs: true.

Cada entrada de choices[0].logprobs.content traz o token, seu logprob, seus bytes em UTF-8 e uma lista top_logprobs. Converta com exp(logprob):

logprob probabilidade
0 1,00
-0,105 cerca de 0,90
-0,693 cerca de 0,50
-2,303 cerca de 0,10

Por que isso importa

O cookbook da OpenAI lista usos práticos:

  • Confiança na classificação. Peça um rótulo de uma palavra e leia o logprob desse token. Encaminhe os itens de baixa confiança para uma pessoa.
  • Verificações de retrieval. Pergunte se o contexto fornecido responde à pergunta e use a probabilidade do “sim” como pontuação. O cookbook relaciona isso à redução de alucinações.
  • Autocompletar. Só sugira a próxima palavra quando o modelo estiver confiante.
  • Perplexidade. Tire a média dos logprobs de uma resposta inteira, inverta o sinal e eleve e a esse valor. Uma perplexidade menor significa que o modelo achou o texto mais previsível.

Os logprobs também deixam a amostragem visível. Aumentar a temperatura ou o top-p deixa passar tokens de probabilidade mais baixa, e os logprobs mostram isso. Eles são um complemento barato a uma etapa de LLM-as-judge, já que vêm junto com a resposta, sem requisição extra.

Na BroadNet Inference

A referência da API da BroadNet não documenta logprobs nem top_logprobs para nenhum modelo. Não presuma que um endpoint compatível com a OpenAI os retorna. Envie uma requisição com logprobs: true, veja se choices[0].logprobs vem preenchido e planeje uma alternativa, como um prompt de juiz, caso não venha. O guia do SDK Python mostra como configurar o client para um teste.

Erros comuns

  • Ler um logprob alto como prova de que um fato está correto. Isso só significa que o modelo esperava aquele token.
  • Comparar logprobs entre modelos diferentes. Tokenizers e calibração mudam, então os números não estão na mesma escala.

Perguntas frequentes

Como transformo um logprob em porcentagem?

Calcule e elevado ao logprob. Um logprob de -0,105 equivale a cerca de 0,90, ou 90%. Um logprob de 0 significa que o modelo deu probabilidade 1 a esse token.

Logprobs medem se a resposta é verdadeira?

Não. Eles medem quão confiante o modelo estava na formulação, não se o fato está correto. Um modelo pode errar com toda a confiança.

A BroadNet Inference retorna logprobs?

A referência da API da BroadNet não documenta logprobs. Envie uma requisição de teste com logprobs igual a true e confira a resposta antes de construir algo em cima disso.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity