BroadRouter
Mulakan

Jujukan henti (stop sequences)

Dikemas kini

Jujukan henti (stop sequences) ialah rentetan yang anda hantar bersama permintaan supaya model berhenti menjana sebaik sahaja ia menghasilkan salah satu daripadanya. OpenAI menamakan medan itu stop dan menerima sehingga 4 jujukan; Anthropic menamakannya stop_sequences. Teks yang sepadan biasanya tidak dimasukkan dalam output yang dipulangkan.

Juga dikenali sebagai: jujukan henti, rentetan henti, parameter stop, stop sequence, stop parameter, stop strings, stop_sequences

Kadangkala anda tahu dengan tepat di mana jawapan patut tamat. Jujukan henti memberitahu pelayan untuk memotong penjanaan di situ, bukannya anda membayar token yang akan dibuang.

Cara ia berfungsi

Anda menghantar satu atau lebih rentetan. Selepas setiap token baharu, pelayan menyemak sama ada output kini mengandungi salah satu daripadanya. Jika ya, penjanaan tamat.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Butiran penyedia daripada sumber:

Penyedia Medan Nota
OpenAI Chat Completions stop “Up to 4 sequences” (sehingga 4 jujukan); rujukan itu masih menyatakan “Not supported with latest reasoning models o3 and o4-mini” (tidak disokong pada model penaakulan terkini o3 dan o4-mini; perkataan setakat 2026-11-16)
Anthropic Messages stop_sequences Respons mengandungi stop_reason: "stop_sequence" dan menamakan padanan dalam stop_sequence
vLLM (pelayan model terbuka) stop “String(s) that stop the generation when they are generated” (rentetan yang menghentikan penjanaan apabila ia dijana); output tidak mengandunginya

Dalam format OpenAI, jujukan henti yang sepadan melaporkan finish_reason stop, nilai yang sama seperti penamat semula jadi. Anthropic membezakan kedua-duanya.

Mengapa ia penting

  • Kos dan kependaman. Token output dibilkan dan lambat dijana. Berhenti pada penanda yang diketahui menjimatkan kedua-duanya.
  • Kawalan format. Prompt few-shot sering menggunakan pembatas seperti ### antara contoh. Stop pada pembatas itu menghalang model daripada menulis contoh seterusnya sendiri.
  • Had. Jujukan henti tidak boleh membentuk apa yang datang sebelum pemotongan. Untuk output yang dibaca mesin, output berstruktur ialah alat yang lebih kukuh. Kekalkan max_tokens sebagai siling mutlak.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan stop. Uji sebelum bergantung padanya: hantar prompt yang sepatutnya mengenai penanda anda dan semak sama ada jawapan tamat di situ. Sebagai sandaran, potong teks dalam klien anda pada penanda pertama; dalam strim, anda juga boleh menutup pembaca sebaik penanda muncul. Model penaakulan di BroadNet (DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B) berfikir sebelum menjawab, jadi uji sama ada rentetan henti boleh sepadan di dalam penaakulan. Panduan langkah demi langkah migrasi menyenaraikan medan OpenAI lain yang perlu disemak.

Kesilapan biasa

  • Memilih rentetan henti yang boleh muncul dalam output biasa, seperti baris baharu atau perkataan biasa.
  • Menganggap rentetan henti dipulangkan dalam jawapan dan menghurai untuk mencarinya.

Soalan lazim

Berapa banyak jujukan henti yang boleh saya hantar?

Rujukan OpenAI membenarkan sehingga 4 jujukan dalam stop. Penyedia lain menetapkan had sendiri, jadi semak rujukan mereka.

Adakah jujukan henti dimasukkan dalam jawapan?

Biasanya tidak. Dokumentasi vLLM menyatakan output yang dipulangkan tidak mengandungi rentetan henti. Anthropic memulangkan jujukan yang tercetus dalam medan stop_sequence yang berasingan.

Adakah BroadNet Inference menyokong stop?

Rujukan API BroadNet tidak mendokumenkan stop. Uji pada model anda sebelum bergantung padanya, dan simpan pemotongan di sisi klien sebagai sandaran.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity