Kadangkala anda tahu dengan tepat di mana jawapan patut tamat. Jujukan henti memberitahu pelayan untuk memotong penjanaan di situ, bukannya anda membayar token yang akan dibuang.
Cara ia berfungsi
Anda menghantar satu atau lebih rentetan. Selepas setiap token baharu, pelayan menyemak sama ada output kini mengandungi salah satu daripadanya. Jika ya, penjanaan tamat.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Butiran penyedia daripada sumber:
| Penyedia | Medan | Nota |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences” (sehingga 4 jujukan); rujukan itu masih menyatakan “Not supported with latest reasoning models o3 and o4-mini” (tidak disokong pada model penaakulan terkini o3 dan o4-mini; perkataan setakat 2026-11-16) |
| Anthropic Messages | stop_sequences |
Respons mengandungi stop_reason: "stop_sequence" dan menamakan padanan dalam stop_sequence |
| vLLM (pelayan model terbuka) | stop |
“String(s) that stop the generation when they are generated” (rentetan yang menghentikan penjanaan apabila ia dijana); output tidak mengandunginya |
Dalam format OpenAI, jujukan henti yang sepadan melaporkan finish_reason stop, nilai yang sama seperti penamat semula jadi. Anthropic membezakan kedua-duanya.
Mengapa ia penting
- Kos dan kependaman. Token output dibilkan dan lambat dijana. Berhenti pada penanda yang diketahui menjimatkan kedua-duanya.
- Kawalan format. Prompt few-shot sering menggunakan pembatas seperti
###antara contoh. Stop pada pembatas itu menghalang model daripada menulis contoh seterusnya sendiri. - Had. Jujukan henti tidak boleh membentuk apa yang datang sebelum pemotongan. Untuk output yang dibaca mesin, output berstruktur ialah alat yang lebih kukuh. Kekalkan max_tokens sebagai siling mutlak.
Di BroadNet Inference
Rujukan API BroadNet tidak mendokumenkan stop. Uji sebelum bergantung padanya: hantar prompt yang sepatutnya mengenai penanda anda dan semak sama ada jawapan tamat di situ. Sebagai sandaran, potong teks dalam klien anda pada penanda pertama; dalam strim, anda juga boleh menutup pembaca sebaik penanda muncul. Model penaakulan di BroadNet (DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B) berfikir sebelum menjawab, jadi uji sama ada rentetan henti boleh sepadan di dalam penaakulan. Panduan langkah demi langkah migrasi menyenaraikan medan OpenAI lain yang perlu disemak.
Kesilapan biasa
- Memilih rentetan henti yang boleh muncul dalam output biasa, seperti baris baharu atau perkataan biasa.
- Menganggap rentetan henti dipulangkan dalam jawapan dan menghurai untuk mencarinya.