Un modèle pris dans une boucle répète la même phrase jusqu’à épuiser ses tokens. Les pénalités sont un remède grossier, appliqué au moment de l’échantillonnage.
Comment ça marche
Avant le tirage de chaque nouveau token, le serveur ajuste le score des tokens déjà générés.
| Réglage | Ce qu’il pénalise selon la documentation de vLLM | Plage et valeur par défaut |
|---|---|---|
presence_penalty |
Les tokens « based on whether they appear in the generated text so far » (traduction : « selon qu’ils apparaissent ou non dans le texte généré jusqu’ici ») | OpenAI : -2.0 à 2.0, 0 par défaut |
frequency_penalty |
Les tokens « based on their frequency in the generated text so far » (traduction : « selon leur fréquence dans le texte généré jusqu’ici ») | OpenAI : -2.0 à 2.0, 0 par défaut |
repetition_penalty |
Les tokens « based on whether they appear in the prompt and the generated text so far » (traduction : « selon qu’ils apparaissent dans le prompt et dans le texte généré jusqu’ici ») | vLLM et Hugging Face : 1.0 signifie aucune pénalité |
Les valeurs positives éloignent des tokens déjà utilisés ; les valeurs négatives rendent les répétitions plus probables. Selon OpenAI, une frequency penalty positive réduit « the model’s likelihood to repeat the same line verbatim » (traduction : « la probabilité que le modèle répète mot pour mot la même ligne »), et une presence penalty positive augmente « the model’s likelihood to talk about new topics » (traduction : « la probabilité que le modèle aborde de nouveaux sujets »). Pour repetition_penalty, vLLM indique que les valeurs supérieures à 1 favorisent les nouveaux tokens et que les valeurs inférieures à 1 favorisent la répétition. La documentation de Hugging Face renvoie à l’article sur CTRL pour cette pénalité.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Pourquoi c’est important
- Boucles dans les sorties longues. Les agents et les longs résumés peuvent tomber dans du texte répétitif. Une petite pénalité peut casser la boucle, et une limite stricte via max_tokens borne les dégâts.
- Effets secondaires. Les pénalités agissent sur les tokens, pas sur les idées. Une pénalité forte peut empêcher le modèle de réutiliser des mots dont il a besoin, comme un nom de variable dans du code, une clé JSON ou un nom qui revient volontairement dans un texte arabe. Partez de 0 et avancez par petits pas.
- Recoupement avec l’échantillonnage. La température et le top-p modifient aussi la variété. Ne changez qu’un réglage à la fois pendant vos tests.
Sur BroadNet Inference
La référence de l’API de BroadNet ne documente ni frequency_penalty, ni presence_penalty, ni repetition_penalty. Testez-les avant de vous y fier : envoyez un prompt qui a tendance à se répéter, avec et sans le champ, puis comparez. Si des répétitions apparaissent sur de longues exécutions, essayez un prompt plus clair, une limite de sortie plus basse, ou arrêtez l’exécution et reprenez depuis un point de sauvegarde ; l’article sur les agents qui tournent la nuit décrit ce schéma.
Erreurs fréquentes
- Mettre des pénalités élevées pour corriger un problème de prompt. Les répétitions signifient souvent que le modèle n’a pas de point d’arrêt clair.
- Appliquer une pénalité à une sortie structurée, où les clés doivent se répéter.