Kadang Anda tahu persis di mana sebuah jawaban seharusnya berakhir. Stop sequence menyuruh server memotong generasi di titik itu, alih-alih membayar token yang toh akan Anda buang.
Cara kerjanya
Anda mengirim satu atau beberapa string. Setelah setiap token baru, server memeriksa apakah output kini memuat salah satunya. Jika ya, generasi berhenti.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Detail penyedia dari sumber-sumber:
| Penyedia | Field | Catatan |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences” (terjemahan: hingga 4 urutan); referensinya masih menyebut “Not supported with latest reasoning models o3 and o4-mini” (terjemahan: tidak didukung pada model penalaran terbaru o3 dan o4-mini) (redaksi per 2026-11-16) |
| Anthropic Messages | stop_sequences |
Respons berisi stop_reason: "stop_sequence" dan menyebut urutan yang cocok di stop_sequence |
| vLLM (server model terbuka) | stop |
“String(s) that stop the generation when they are generated” (terjemahan: string yang menghentikan generasi ketika dihasilkan); output tidak memuatnya |
Dalam format OpenAI, stop sequence yang cocok melaporkan finish_reason stop, nilai yang sama dengan akhir alami. Anthropic memisahkan keduanya.
Kenapa ini penting
- Biaya dan latensi. Token output ditagih dan lambat dihasilkan. Berhenti di penanda yang sudah diketahui menghemat keduanya.
- Kontrol format. Prompt few-shot sering memakai pemisah seperti
###di antara contoh. Stop pada pemisah itu mencegah model menulis contoh berikutnya sendiri. - Batasan. Stop sequence tidak bisa membentuk apa yang muncul sebelum titik potong. Untuk output yang dibaca mesin, output terstruktur adalah alat yang lebih kuat. Tetap pasang max_tokens sebagai batas keras.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan stop. Uji sebelum mengandalkannya: kirim prompt yang seharusnya mengenai penanda Anda dan periksa apakah balasan berakhir di situ. Sebagai cadangan, potong teks di client pada penanda pertama; dalam stream Anda juga bisa menutup reader begitu penanda muncul. Model penalaran di BroadNet (DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B) berpikir sebelum menjawab, jadi uji apakah string stop bisa cocok di dalam penalarannya. Panduan migrasi mencantumkan field OpenAI lain yang perlu diperiksa.
Kesalahan umum
- Memilih string stop yang bisa muncul di output biasa, seperti baris baru atau kata umum.
- Mengira string stop ikut kembali di balasan lalu mencoba mem-parse-nya.