BroadRouter
Comenzar

Temperatura (temperature)

Actualizado

La temperatura es un parámetro de muestreo que controla qué tan aleatoria es la salida de un modelo de lenguaje. El modelo divide las puntuaciones de los tokens entre la temperatura antes de convertirlas en probabilidades: los valores bajos hacen dominar al token más probable y los altos aplanan la distribución, de modo que los menos probables salen más seguido.

También llamado: temperatura, temperatura del modelo, temperatura de muestreo, parámetro de temperatura, temperature, sampling temperature, LLM temperature, temperature parameter

La temperatura es la perilla entre “siempre la misma respuesta” y “una respuesta distinta cada vez”.

Cómo funciona

Un modelo produce una puntuación (un logit) para cada token que podría escribir a continuación. Una softmax convierte las puntuaciones en probabilidades. La temperatura divide antes cada puntuación. Hinton y sus colegas escriben la softmax con esa T y señalan que “using a higher value for T produces a softer probability distribution over classes” (traducción: usar un valor más alto de T produce una distribución de probabilidad más suave entre las clases).

  • T menor que 1 afila la distribución. El token principal gana más a menudo.
  • T = 1 deja las probabilidades del modelo tal como se entrenaron.
  • T mayor que 1 las aplana. Los tokens raros se eligen más.
  • T cercana a 0 se acerca a la decodificación voraz (greedy): tomar siempre el token más probable.

La API de OpenAI acepta valores “between 0 and 2” (traducción: entre 0 y 2), con 1 como valor predeterminado. Su referencia dice que 0.8 hace la salida “more random” (traducción: más aleatoria) y 0.2 “more focused and deterministic” (traducción: más enfocada y determinista). También recomienda “altering this or top_p but not both” (traducción: modificar este parámetro o top_p, pero no ambos), porque top-p es una segunda forma de recortar la aleatoriedad.

Los modelos abiertos suelen traer sus propios valores predeterminados. Hugging Face Transformers lee la temperatura del generation_config.json del modelo y, si falta, usa 1.0. Una plataforma de servicio puede usar cualquiera de los dos valores.

Por qué importa

  • Repetibilidad. La extracción, el enrutamiento y la salida estructurada necesitan respuestas estables. Una temperatura más baja reduce la variación entre ejecuciones.
  • Calidad. Si es demasiado alta, el modelo deriva hacia palabras extrañas o detalles inventados, lo que alimenta la alucinación. Si es demasiado baja, un texto largo puede entrar en bucle: Hugging Face señala que la decodificación voraz “begins to repeat itself” (traducción: empieza a repetirse) en secuencias más largas.
  • Evaluación. Cuando compare modelos, fije la temperatura. Si no, estará midiendo ruido de muestreo. Observar los logprobs muestra cuánto margen tenía el modelo.

La temperatura no cambia el precio ni la velocidad. Un token cuesta lo mismo con cualquier ajuste.

En BroadNet Inference

La referencia de la API de BroadNet no documenta temperature, su rango permitido ni su valor predeterminado para ningún modelo. Los ejemplos de solicitud no lo configuran. Como la API es compatible con OpenAI, los SDKs enviarán el campo, pero no se indica si cada modelo lo respeta. Configúrelo de forma explícita y ejecute el mismo prompt varias veces para ver la dispersión. La guía del SDK de OpenAI para Python muestra cómo configurar el cliente.

Errores comunes

  • Usar temperatura 0 y suponer que la salida será idéntica para siempre. Guarde las respuestas que necesite reproducir.
  • Subir la temperatura para corregir una respuesta equivocada. La precisión se corrige con un mejor prompt o más contexto; la temperatura solo cambia la variedad.

Preguntas frecuentes

¿Qué temperatura debo usar?

Valores bajos, de 0 a 0.3, para extracción, clasificación y código, donde quiere la misma respuesta cada vez. Valores más altos, de 0.7 a 1, para generar ideas y variar la redacción. Pruebe ambos con sus propios prompts.

¿La temperatura 0 hace que la salida sea determinista?

No está garantizado. Empuja al modelo hacia el token más probable cada vez, pero los proveedores en general no prometen una salida idéntica entre ejecuciones. Guarde toda respuesta que necesite reproducir.

¿Cuál es la temperatura predeterminada en BroadNet?

La documentación de BroadNet no indica una temperatura predeterminada para ningún modelo. Configúrela de forma explícita en cada solicitud si su salida depende de ella.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity