BroadRouter
Comenzar

Logprobs (log-probabilidades de tokens)

Actualizado

Los logprobs son las probabilidades logarítmicas que un modelo de lenguaje asignó a los tokens que generó. Una API que los devuelve muestra, para cada token de salida, qué tan probable lo consideró el modelo y, de forma opcional, los tokens alternativos más probables en esa posición.

También llamado: log-probabilidades, probabilidades logarítmicas, probabilidades de tokens, confianza del modelo, logprobs, log probabilities, token log probabilities, top_logprobs, token probabilities

Cada token que escribe un modelo se elige de una distribución de probabilidad. Los logprobs muestran esa distribución, token a token.

Cómo funciona

En cada paso, el modelo puntúa cada token de su vocabulario y convierte las puntuaciones en probabilidades. La API puede informar el logaritmo natural de la probabilidad del token que eligió. Se usan logaritmos porque los números en bruto se vuelven muy pequeños; sumar logaritmos equivale a multiplicar probabilidades.

En la API de Chat Completions de OpenAI se piden con dos campos de la solicitud:

  • logprobs: true devuelve una log-probabilidad para cada token de salida.
  • top_logprobs es “an integer between 0 and 20” (traducción: un entero entre 0 y 20) que indica cuántas alternativas probables listar en cada posición. Requiere logprobs: true.

Cada entrada de choices[0].logprobs.content contiene el token, su logprob, sus bytes en UTF-8 y una lista top_logprobs. Para convertir, use exp(logprob):

logprob probabilidad
0 1.00
-0.105 unos 0.90
-0.693 unos 0.50
-2.303 unos 0.10

Por qué importa

El cookbook de OpenAI enumera usos prácticos:

  • Confianza en la clasificación. Pida una etiqueta de una sola palabra y lea el logprob de ese token. Envíe a una persona los casos de baja confianza.
  • Verificación de la recuperación. Pregunte si el contexto proporcionado responde la pregunta y use la probabilidad de “yes” como puntuación. El cookbook lo relaciona con reducir la alucinación.
  • Autocompletado. Sugiera la siguiente palabra solo cuando el modelo tenga confianza.
  • Perplejidad. Promedie los logprobs de una respuesta completa, cambie el signo del resultado y eleve e a esa potencia. Una perplejidad más baja significa que el modelo encontró el texto más predecible.

Los logprobs también hacen visible el muestreo. Subir la temperatura o top-p deja pasar tokens de menor probabilidad, y los logprobs lo muestran. Son un complemento barato a un paso de LLM como juez (LLM-as-judge), ya que llegan con la respuesta sin una solicitud adicional.

En BroadNet Inference

La referencia de la API de BroadNet no documenta logprobs ni top_logprobs para ningún modelo. No suponga que un endpoint compatible con OpenAI los devuelve. Envíe una solicitud con logprobs: true, compruebe si choices[0].logprobs viene relleno y prevea una alternativa, como un prompt de juez, si no es así. La guía del SDK para Python muestra cómo configurar el cliente para una prueba.

Errores comunes

  • Leer un logprob alto como prueba de que un dato es correcto. Solo significa que el modelo esperaba ese token.
  • Comparar logprobs entre modelos distintos. Los tokenizadores y la calibración difieren, así que los números no están en la misma escala.

Preguntas frecuentes

¿Cómo convierto un logprob en un porcentaje?

Eleve e a la potencia del logprob. Un logprob de -0.105 equivale a unos 0.90, es decir, 90 %. Un logprob de 0 significa que el modelo le dio a ese token probabilidad 1.

¿Los logprobs miden si la respuesta es verdadera?

No. Miden cuánta confianza tenía el modelo en su redacción, no si el dato es correcto. Un modelo puede equivocarse con total confianza.

¿BroadNet Inference devuelve logprobs?

La referencia de la API de BroadNet no documenta logprobs. Envíe una solicitud de prueba con logprobs en true y revise la respuesta antes de construir sobre ella.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity