BroadRouter
Mulai

Stop sequences (urutan henti)

Diperbarui

Stop sequence adalah string yang Anda kirim bersama permintaan agar model berhenti menghasilkan teks begitu ia menulis salah satunya. OpenAI menamai field-nya stop dan menerima hingga 4 urutan; Anthropic menamainya stop_sequences. Teks yang cocok biasanya tidak disertakan dalam output yang dikembalikan.

Disebut juga: stop sequence, urutan henti, parameter stop, string stop, stop parameter, stop strings, stop_sequences

Kadang Anda tahu persis di mana sebuah jawaban seharusnya berakhir. Stop sequence menyuruh server memotong generasi di titik itu, alih-alih membayar token yang toh akan Anda buang.

Cara kerjanya

Anda mengirim satu atau beberapa string. Setelah setiap token baru, server memeriksa apakah output kini memuat salah satunya. Jika ya, generasi berhenti.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Detail penyedia dari sumber-sumber:

Penyedia Field Catatan
OpenAI Chat Completions stop “Up to 4 sequences” (terjemahan: hingga 4 urutan); referensinya masih menyebut “Not supported with latest reasoning models o3 and o4-mini” (terjemahan: tidak didukung pada model penalaran terbaru o3 dan o4-mini) (redaksi per 2026-11-16)
Anthropic Messages stop_sequences Respons berisi stop_reason: "stop_sequence" dan menyebut urutan yang cocok di stop_sequence
vLLM (server model terbuka) stop “String(s) that stop the generation when they are generated” (terjemahan: string yang menghentikan generasi ketika dihasilkan); output tidak memuatnya

Dalam format OpenAI, stop sequence yang cocok melaporkan finish_reason stop, nilai yang sama dengan akhir alami. Anthropic memisahkan keduanya.

Kenapa ini penting

  • Biaya dan latensi. Token output ditagih dan lambat dihasilkan. Berhenti di penanda yang sudah diketahui menghemat keduanya.
  • Kontrol format. Prompt few-shot sering memakai pemisah seperti ### di antara contoh. Stop pada pemisah itu mencegah model menulis contoh berikutnya sendiri.
  • Batasan. Stop sequence tidak bisa membentuk apa yang muncul sebelum titik potong. Untuk output yang dibaca mesin, output terstruktur adalah alat yang lebih kuat. Tetap pasang max_tokens sebagai batas keras.

Di BroadNet Inference

Referensi API BroadNet tidak mendokumentasikan stop. Uji sebelum mengandalkannya: kirim prompt yang seharusnya mengenai penanda Anda dan periksa apakah balasan berakhir di situ. Sebagai cadangan, potong teks di client pada penanda pertama; dalam stream Anda juga bisa menutup reader begitu penanda muncul. Model penalaran di BroadNet (DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B) berpikir sebelum menjawab, jadi uji apakah string stop bisa cocok di dalam penalarannya. Panduan migrasi mencantumkan field OpenAI lain yang perlu diperiksa.

Kesalahan umum

  • Memilih string stop yang bisa muncul di output biasa, seperti baris baru atau kata umum.
  • Mengira string stop ikut kembali di balasan lalu mencoba mem-parse-nya.

Pertanyaan umum

Berapa banyak stop sequence yang bisa saya kirim?

Referensi OpenAI mengizinkan hingga 4 urutan di stop. Penyedia lain menetapkan batasnya sendiri, jadi periksa referensi mereka.

Apakah stop sequence ikut muncul di balasan?

Biasanya tidak. Dokumentasi vLLM menyebutkan output yang dikembalikan tidak memuat string stop. Anthropic mengembalikan urutan mana yang terpicu di field terpisah, stop_sequence.

Apakah BroadNet Inference mendukung stop?

Referensi API BroadNet tidak mendokumentasikan stop. Uji di model Anda sebelum mengandalkannya, dan siapkan pemotongan di sisi client sebagai cadangan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity