Model yang tersekat dalam gelung mengulangi frasa yang sama sehingga token habis. Penalti ialah penyelesaian kasar yang dikenakan semasa pensampelan.
Cara ia berfungsi
Sebelum setiap token seterusnya dicabut, pelayan melaraskan skor token yang sudah dijana.
| Tetapan | Apa yang dihukum, menurut dokumentasi vLLM | Julat dan nilai lalai |
|---|---|---|
presence_penalty |
Token “based on whether they appear in the generated text so far” (berdasarkan sama ada ia muncul dalam teks yang dijana setakat ini) | OpenAI: -2.0 hingga 2.0, lalai 0 |
frequency_penalty |
Token “based on their frequency in the generated text so far” (berdasarkan kekerapannya dalam teks yang dijana setakat ini) | OpenAI: -2.0 hingga 2.0, lalai 0 |
repetition_penalty |
Token “based on whether they appear in the prompt and the generated text so far” (berdasarkan sama ada ia muncul dalam prompt dan teks yang dijana setakat ini) | vLLM dan Hugging Face: 1.0 bermaksud tiada penalti |
Nilai positif menolak model menjauhi token yang sudah digunakan; nilai negatif menjadikan ulangan lebih mungkin. OpenAI menyatakan frequency penalty yang positif merendahkan “the model’s likelihood to repeat the same line verbatim” (kemungkinan model mengulangi baris yang sama perkataan demi perkataan), dan presence penalty yang positif menaikkan “the model’s likelihood to talk about new topics” (kemungkinan model bercakap tentang topik baharu). Bagi repetition_penalty, vLLM menyatakan nilai melebihi 1 mengutamakan token baharu dan nilai bawah 1 mengutamakan ulangan. Dokumentasi Hugging Face merujuk kepada kertas CTRL untuk penalti ini.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Mengapa ia penting
- Gelung dalam output panjang. Ejen dan ringkasan panjang boleh terjerumus ke dalam teks berulang. Penalti kecil boleh memecahkan gelung itu, dan had max_tokens yang ketat mengehadkan kerosakan.
- Kesan sampingan. Penalti bertindak pada token, bukan idea. Penalti yang kuat boleh menghalang model daripada menggunakan semula perkataan yang diperlukannya, seperti nama pemboleh ubah dalam kod, kunci JSON, atau nama dalam teks Arab yang memang berulang. Mulakan pada 0 dan ubah sedikit demi sedikit.
- Pertindihan dengan pensampelan. Temperature dan top-p juga mengubah kepelbagaian. Ubah satu tetapan pada satu masa semasa menguji.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan frequency_penalty, presence_penalty atau repetition_penalty. Uji sebelum bergantung padanya: hantar prompt yang cenderung berulang, dengan dan tanpa medan itu, dan bandingkan. Jika ulangan muncul dalam larian panjang, cuba prompt yang lebih jelas, had output yang lebih rendah, atau hentikan larian dan sambung semula dari titik semak; artikel larian ejen semalaman membincangkan corak itu.
Kesilapan biasa
- Menetapkan penalti yang tinggi untuk membetulkan masalah prompt. Ulangan selalunya bermaksud model tiada titik henti yang jelas.
- Menggunakan penalti pada output berstruktur, di mana kunci mesti berulang.