Ein Modell in einer Schleife wiederholt dieselbe Phrase, bis ihm die Tokens ausgehen. Penalties sind eine grobe Abhilfe, die beim Sampling ansetzt.
So funktioniert es
Bevor das nächste Token gezogen wird, passt der Server die Scores der bereits erzeugten Tokens an.
| Einstellung | Was sie laut vLLM-Dokumentation bestraft | Bereich und Standardwert |
|---|---|---|
presence_penalty |
Tokens „based on whether they appear in the generated text so far“ (Übersetzung: „danach, ob sie im bisher erzeugten Text vorkommen“) | OpenAI: -2.0 bis 2.0, Standard 0 |
frequency_penalty |
Tokens „based on their frequency in the generated text so far“ (Übersetzung: „nach ihrer Häufigkeit im bisher erzeugten Text“) | OpenAI: -2.0 bis 2.0, Standard 0 |
repetition_penalty |
Tokens „based on whether they appear in the prompt and the generated text so far“ (Übersetzung: „danach, ob sie im Prompt und im bisher erzeugten Text vorkommen“) | vLLM und Hugging Face: 1.0 bedeutet keine Strafe |
Positive Werte drängen weg von schon genutzten Tokens; negative Werte machen Wiederholungen wahrscheinlicher. Laut OpenAI senkt eine positive Frequency Penalty „the model’s likelihood to repeat the same line verbatim“ (Übersetzung: „die Wahrscheinlichkeit, dass das Modell dieselbe Zeile wörtlich wiederholt“), und eine positive Presence Penalty erhöht „the model’s likelihood to talk about new topics“ (Übersetzung: „die Wahrscheinlichkeit, dass das Modell über neue Themen spricht“). Für repetition_penalty schreibt vLLM, dass Werte über 1 neue Tokens bevorzugen und Werte unter 1 Wiederholungen. Die Dokumentation von Hugging Face verweist für diese Penalty auf das CTRL-Paper.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Warum es wichtig ist
- Schleifen in langen Outputs. Agenten und lange Zusammenfassungen können in sich wiederholenden Text geraten. Eine kleine Penalty kann die Schleife brechen, und ein hartes Limit über max_tokens begrenzt den Schaden.
- Nebenwirkungen. Penalties wirken auf Tokens, nicht auf Ideen. Eine starke Penalty kann ein Modell daran hindern, Wörter wiederzuverwenden, die es braucht, etwa einen Variablennamen im Code, einen JSON-Key oder einen Namen in einem arabischen Text, der sich bewusst wiederholt. Beginnen Sie bei 0 und ändern Sie in kleinen Schritten.
- Überschneidung mit dem Sampling. Auch Temperatur und Top-p verändern die Vielfalt. Ändern Sie beim Testen immer nur eine Einstellung.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert frequency_penalty, presence_penalty und repetition_penalty nicht. Testen Sie die Felder, bevor Sie sich darauf verlassen: Senden Sie einen Prompt, der zu Wiederholungen neigt, einmal mit und einmal ohne das Feld, und vergleichen Sie. Treten Wiederholungen in langen Läufen auf, versuchen Sie einen klareren Prompt oder ein niedrigeres Output-Limit, oder stoppen Sie den Lauf und setzen Sie ihn an einem Checkpoint fort; der Beitrag zu nächtlichen Agenten-Läufen beschreibt dieses Muster.
Häufige Fehler
- Penalties hoch ansetzen, um ein Prompt-Problem zu lösen. Wiederholungen bedeuten oft, dass das Modell keinen klaren Endpunkt hat.
- Eine Penalty bei strukturierter Ausgabe verwenden, wo sich Keys wiederholen müssen.