Todo token que um modelo escreve é escolhido a partir de uma distribuição de probabilidade. Os logprobs expõem essa distribuição, um token de cada vez.
Como funciona
A cada passo, o modelo dá uma pontuação a cada token do vocabulário e transforma as pontuações em probabilidades. A API pode informar o logaritmo natural da probabilidade do token escolhido. Usam-se logaritmos porque os números brutos ficam muito pequenos; somar logaritmos é o mesmo que multiplicar probabilidades.
Na Chat Completions API da OpenAI, você os pede com dois campos da requisição:
logprobs: trueretorna uma log-probabilidade para cada token de saída.top_logprobsé “an integer between 0 and 20” (um inteiro entre 0 e 20) que indica quantas alternativas prováveis listar em cada posição. Exigelogprobs: true.
Cada entrada de choices[0].logprobs.content traz o token, seu logprob, seus bytes em UTF-8 e uma lista top_logprobs. Converta com exp(logprob):
| logprob | probabilidade |
|---|---|
| 0 | 1,00 |
| -0,105 | cerca de 0,90 |
| -0,693 | cerca de 0,50 |
| -2,303 | cerca de 0,10 |
Por que isso importa
O cookbook da OpenAI lista usos práticos:
- Confiança na classificação. Peça um rótulo de uma palavra e leia o logprob desse token. Encaminhe os itens de baixa confiança para uma pessoa.
- Verificações de retrieval. Pergunte se o contexto fornecido responde à pergunta e use a probabilidade do “sim” como pontuação. O cookbook relaciona isso à redução de alucinações.
- Autocompletar. Só sugira a próxima palavra quando o modelo estiver confiante.
- Perplexidade. Tire a média dos logprobs de uma resposta inteira, inverta o sinal e eleve e a esse valor. Uma perplexidade menor significa que o modelo achou o texto mais previsível.
Os logprobs também deixam a amostragem visível. Aumentar a temperatura ou o top-p deixa passar tokens de probabilidade mais baixa, e os logprobs mostram isso. Eles são um complemento barato a uma etapa de LLM-as-judge, já que vêm junto com a resposta, sem requisição extra.
Na BroadNet Inference
A referência da API da BroadNet não documenta logprobs nem top_logprobs para nenhum modelo. Não presuma que um endpoint compatível com a OpenAI os retorna. Envie uma requisição com logprobs: true, veja se choices[0].logprobs vem preenchido e planeje uma alternativa, como um prompt de juiz, caso não venha. O guia do SDK Python mostra como configurar o client para um teste.
Erros comuns
- Ler um logprob alto como prova de que um fato está correto. Isso só significa que o modelo esperava aquele token.
- Comparar logprobs entre modelos diferentes. Tokenizers e calibração mudam, então os números não estão na mesma escala.