Un modelo atrapado en un bucle repite la misma frase hasta quedarse sin tokens. Las penalizaciones son una solución burda que se aplica durante el muestreo.
Cómo funciona
Antes de sortear cada siguiente token, el servidor ajusta las puntuaciones de los tokens ya generados.
| Ajuste | Qué penaliza según la documentación de vLLM | Rango y valor predeterminado |
|---|---|---|
presence_penalty |
Tokens “based on whether they appear in the generated text so far” (traducción: según si aparecen en el texto generado hasta ahora) | OpenAI: de -2.0 a 2.0, 0 por defecto |
frequency_penalty |
Tokens “based on their frequency in the generated text so far” (traducción: según su frecuencia en el texto generado hasta ahora) | OpenAI: de -2.0 a 2.0, 0 por defecto |
repetition_penalty |
Tokens “based on whether they appear in the prompt and the generated text so far” (traducción: según si aparecen en el prompt y en el texto generado hasta ahora) | vLLM y Hugging Face: 1.0 significa sin penalización |
Los valores positivos alejan al modelo de los tokens usados; los negativos hacen más probables las repeticiones. OpenAI dice que una penalización de frecuencia positiva reduce “the model’s likelihood to repeat the same line verbatim” (traducción: la probabilidad de que el modelo repita la misma línea al pie de la letra), y que una penalización de presencia positiva aumenta “the model’s likelihood to talk about new topics” (traducción: la probabilidad de que el modelo hable de temas nuevos). Para repetition_penalty, vLLM indica que los valores mayores que 1 favorecen tokens nuevos y los menores que 1 favorecen la repetición. La documentación de Hugging Face remite al artículo de CTRL para esta penalización.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Por qué importa
- Bucles en salidas largas. Los agentes y los resúmenes largos pueden caer en texto repetido. Una penalización pequeña puede romper el bucle, y un límite firme de max_tokens acota el daño.
- Efectos secundarios. Las penalizaciones actúan sobre tokens, no sobre ideas. Una penalización fuerte puede impedir que el modelo reutilice palabras que necesita, como el nombre de una variable en el código, una clave JSON o un nombre que se repite a propósito en un texto en árabe. Empiece en 0 y cambie en pasos pequeños.
- Solapamiento con el muestreo. La temperatura y top-p también cambian la variedad. Cambie un ajuste a la vez cuando haga pruebas.
En BroadNet Inference
La referencia de la API de BroadNet no documenta frequency_penalty, presence_penalty ni repetition_penalty. Pruébelos antes de depender de ellos: envíe un prompt que tienda a repetirse, con y sin el campo, y compare. Si aparece repetición en ejecuciones largas, pruebe un prompt más claro, un límite de salida más bajo, o detenga la ejecución y reanúdela desde un checkpoint; el artículo sobre ejecuciones nocturnas de agentes cubre ese patrón.
Errores comunes
- Subir mucho las penalizaciones para corregir un problema del prompt. La repetición suele significar que el modelo no tiene un punto de parada claro.
- Usar una penalización con salida estructurada, donde las claves deben repetirse.