Cada token que escribe un modelo se elige de una distribución de probabilidad. Los logprobs muestran esa distribución, token a token.
Cómo funciona
En cada paso, el modelo puntúa cada token de su vocabulario y convierte las puntuaciones en probabilidades. La API puede informar el logaritmo natural de la probabilidad del token que eligió. Se usan logaritmos porque los números en bruto se vuelven muy pequeños; sumar logaritmos equivale a multiplicar probabilidades.
En la API de Chat Completions de OpenAI se piden con dos campos de la solicitud:
logprobs: truedevuelve una log-probabilidad para cada token de salida.top_logprobses “an integer between 0 and 20” (traducción: un entero entre 0 y 20) que indica cuántas alternativas probables listar en cada posición. Requierelogprobs: true.
Cada entrada de choices[0].logprobs.content contiene el token, su logprob, sus bytes en UTF-8 y una lista top_logprobs. Para convertir, use exp(logprob):
| logprob | probabilidad |
|---|---|
| 0 | 1.00 |
| -0.105 | unos 0.90 |
| -0.693 | unos 0.50 |
| -2.303 | unos 0.10 |
Por qué importa
El cookbook de OpenAI enumera usos prácticos:
- Confianza en la clasificación. Pida una etiqueta de una sola palabra y lea el logprob de ese token. Envíe a una persona los casos de baja confianza.
- Verificación de la recuperación. Pregunte si el contexto proporcionado responde la pregunta y use la probabilidad de “yes” como puntuación. El cookbook lo relaciona con reducir la alucinación.
- Autocompletado. Sugiera la siguiente palabra solo cuando el modelo tenga confianza.
- Perplejidad. Promedie los logprobs de una respuesta completa, cambie el signo del resultado y eleve e a esa potencia. Una perplejidad más baja significa que el modelo encontró el texto más predecible.
Los logprobs también hacen visible el muestreo. Subir la temperatura o top-p deja pasar tokens de menor probabilidad, y los logprobs lo muestran. Son un complemento barato a un paso de LLM como juez (LLM-as-judge), ya que llegan con la respuesta sin una solicitud adicional.
En BroadNet Inference
La referencia de la API de BroadNet no documenta logprobs ni top_logprobs para ningún modelo. No suponga que un endpoint compatible con OpenAI los devuelve. Envíe una solicitud con logprobs: true, compruebe si choices[0].logprobs viene relleno y prevea una alternativa, como un prompt de juez, si no es así. La guía del SDK para Python muestra cómo configurar el cliente para una prueba.
Errores comunes
- Leer un logprob alto como prueba de que un dato es correcto. Solo significa que el modelo esperaba ese token.
- Comparar logprobs entre modelos distintos. Los tokenizadores y la calibración difieren, así que los números no están en la misma escala.