BroadRouter

Top-p (nucleus sampling o muestreo de núcleo)

Actualizado

Top-p, también llamado muestreo de núcleo (nucleus sampling), es un método de decodificación en el que un modelo de lenguaje elige el siguiente token solo entre el conjunto más pequeño de tokens más probables cuya probabilidad combinada alcanza un umbral p, como 0.9, y descarta la cola improbable.

También llamado: muestreo de núcleo, muestreo top-p, parámetro top_p, top-p, nucleus sampling, top_p, top-p sampling

Top-p decide qué tokens entran en el sorteo antes de que el modelo elija uno.

Cómo funciona

Holtzman y sus colegas presentaron el muestreo de núcleo en 2019. Definen el vocabulario top-p como el conjunto más pequeño de tokens cuya probabilidad acumulada es al menos p. Todo token fuera de ese conjunto pasa a tener probabilidad cero. El resto se reescala para que sume uno, y el siguiente token se muestrea de ahí. Sus resultados principales usan p = 0.95.

El tamaño del conjunto cambia en cada paso:

Distribución del siguiente token Tokens conservados con p = 0.9
Un token con 0.95 1
Cuatro tokens con 0.3, 0.3, 0.2 y 0.15 4
Una distribución larga y plana muchos

Esa es la idea del método. El artículo sostiene que la “less reliable tail” (traducción: cola menos fiable) de la distribución causa texto degenerado, y que cortarla da una salida variada sin perder coherencia. Un top-k fijo no puede adaptarse así: conserva la misma cantidad tanto si el modelo está seguro como si duda.

En la API de OpenAI, top_p vale 1 por defecto, es decir, sin corte. La referencia da el ejemplo de que “0.1 means only the tokens comprising the top 10% probability mass are considered.” (traducción: 0.1 significa que solo se consideran los tokens que forman el 10 % superior de la masa de probabilidad.) Hugging Face Transformers también usa 1.0 por defecto, salvo que el generation_config.json del modelo defina otro valor.

Por qué importa

  • Menos tokens extraños. Cortar la cola elimina las elecciones raras que hacen que el texto se desvíe, algo que importa en respuestas largas y para el riesgo de alucinación.
  • Interacción con la temperatura. La temperatura se aplica a las puntuaciones; top-p recorta después el resultado. Ajustar ambos a la vez hace que el comportamiento sea difícil de predecir, y por eso OpenAI sugiere cambiar solo uno.
  • Depuración. Si los logprobs muestran que el modelo eligió un token de baja probabilidad, un top-p más bajo lo habría bloqueado.

Top-p no cambia el precio. Cada token generado se cobra igual.

En BroadNet Inference

La referencia de la API de BroadNet no documenta top_p, top_k ni sus valores predeterminados. Sus ejemplos de solicitud no configuran ninguno. Un SDK de OpenAI enviará top_p, pero no se indica si un modelo determinado lo aplica, así que pruébelo con sus propios prompts antes de depender de él. Consulte la guía del SDK para Python y el artículo sobre cómo evaluar un modelo antes de cambiar, que explica por qué los ajustes de muestreo deben quedar fijos durante una comparación.

Errores comunes

  • Ajustar top_p y la temperatura a la vez y luego no saber cuál cambió el resultado.
  • Copiar los ajustes de muestreo de un modelo a otro. Los valores recomendados varían según el modelo.

Preguntas frecuentes

¿Cuál es la diferencia entre top-p y la temperatura?

La temperatura cambia la forma de todas las probabilidades de los tokens. Top-p corta la cola improbable y muestrea de lo que queda. OpenAI recomienda modificar uno u otro, no ambos.

¿Cuál es la diferencia entre top-p y top-k?

Top-k conserva un número fijo de tokens, por ejemplo 50. Top-p conserva los tokens que hagan falta para alcanzar el umbral de probabilidad, así que el conjunto es pequeño cuando el modelo está seguro y grande cuando no lo está.

¿BroadNet documenta top_p?

No. La referencia de la API de BroadNet no incluye top_p ni su valor predeterminado para ningún modelo. Configúrelo en la solicitud y pruebe el efecto usted mismo.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity