BroadRouter

Penalización de frecuencia y de presencia

Actualizado

Las penalizaciones de frecuencia y de presencia son ajustes de muestreo que bajan la puntuación de los tokens que ya están en la salida. La de presencia se aplica en cuanto un token ha aparecido; la de frecuencia crece con cada repetición. En la API de OpenAI ambas van de -2.0 a 2.0, con 0 por defecto.

También llamado: penalización de frecuencia, penalización de presencia, penalización por repetición, evitar repeticiones, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Un modelo atrapado en un bucle repite la misma frase hasta quedarse sin tokens. Las penalizaciones son una solución burda que se aplica durante el muestreo.

Cómo funciona

Antes de sortear cada siguiente token, el servidor ajusta las puntuaciones de los tokens ya generados.

Ajuste Qué penaliza según la documentación de vLLM Rango y valor predeterminado
presence_penalty Tokens “based on whether they appear in the generated text so far” (traducción: según si aparecen en el texto generado hasta ahora) OpenAI: de -2.0 a 2.0, 0 por defecto
frequency_penalty Tokens “based on their frequency in the generated text so far” (traducción: según su frecuencia en el texto generado hasta ahora) OpenAI: de -2.0 a 2.0, 0 por defecto
repetition_penalty Tokens “based on whether they appear in the prompt and the generated text so far” (traducción: según si aparecen en el prompt y en el texto generado hasta ahora) vLLM y Hugging Face: 1.0 significa sin penalización

Los valores positivos alejan al modelo de los tokens usados; los negativos hacen más probables las repeticiones. OpenAI dice que una penalización de frecuencia positiva reduce “the model’s likelihood to repeat the same line verbatim” (traducción: la probabilidad de que el modelo repita la misma línea al pie de la letra), y que una penalización de presencia positiva aumenta “the model’s likelihood to talk about new topics” (traducción: la probabilidad de que el modelo hable de temas nuevos). Para repetition_penalty, vLLM indica que los valores mayores que 1 favorecen tokens nuevos y los menores que 1 favorecen la repetición. La documentación de Hugging Face remite al artículo de CTRL para esta penalización.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Por qué importa

  • Bucles en salidas largas. Los agentes y los resúmenes largos pueden caer en texto repetido. Una penalización pequeña puede romper el bucle, y un límite firme de max_tokens acota el daño.
  • Efectos secundarios. Las penalizaciones actúan sobre tokens, no sobre ideas. Una penalización fuerte puede impedir que el modelo reutilice palabras que necesita, como el nombre de una variable en el código, una clave JSON o un nombre que se repite a propósito en un texto en árabe. Empiece en 0 y cambie en pasos pequeños.
  • Solapamiento con el muestreo. La temperatura y top-p también cambian la variedad. Cambie un ajuste a la vez cuando haga pruebas.

En BroadNet Inference

La referencia de la API de BroadNet no documenta frequency_penalty, presence_penalty ni repetition_penalty. Pruébelos antes de depender de ellos: envíe un prompt que tienda a repetirse, con y sin el campo, y compare. Si aparece repetición en ejecuciones largas, pruebe un prompt más claro, un límite de salida más bajo, o detenga la ejecución y reanúdela desde un checkpoint; el artículo sobre ejecuciones nocturnas de agentes cubre ese patrón.

Errores comunes

  • Subir mucho las penalizaciones para corregir un problema del prompt. La repetición suele significar que el modelo no tiene un punto de parada claro.
  • Usar una penalización con salida estructurada, donde las claves deben repetirse.

Preguntas frecuentes

¿Cuál es la diferencia entre la penalización de frecuencia y la de presencia?

La de presencia pregunta "¿ha aparecido este token?" y se aplica una vez. La de frecuencia pregunta "¿cuántas veces?" y crece con cada repetición. vLLM las describe como penalizaciones según si los tokens aparecen y según su frecuencia en el texto generado hasta ese momento.

¿repetition_penalty es lo mismo?

No. Es un multiplicador aparte que usan vLLM y Hugging Face, donde 1.0 significa sin penalización. vLLM lo aplica a los tokens del prompt y de la salida, no solo a los de la salida.

¿BroadNet Inference admite estas penalizaciones?

La referencia de la API de BroadNet no documenta frequency_penalty, presence_penalty ni repetition_penalty. Pruébelas antes de depender de ellas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity