Balasan yang tampak lengkap belum tentu lengkap. finish_reason adalah satu-satunya field yang memberi tahu apakah model berhenti atas kemauannya sendiri.
Cara kerjanya
Setiap item di choices membawa finish_reason. Referensi OpenAI mencantumkan nilai-nilai ini:
| Nilai | Arti (OpenAI) |
|---|---|
stop |
Titik berhenti alami, atau stop sequence yang diberikan tercapai |
length |
“The maximum number of tokens specified in the request was reached” (terjemahan: jumlah token maksimum yang ditentukan di permintaan telah tercapai) |
tool_calls |
Model memanggil tool |
content_filter |
“Content was omitted due to a flag from our content filters” (terjemahan: konten dihilangkan karena ditandai oleh filter konten kami) |
function_call |
Bentuk lama pemanggilan fungsi yang sudah usang |
Messages API milik Anthropic memakai stop_reason dengan nilainya sendiri, antara lain end_turn, max_tokens, stop_sequence, tool_use, pause_turn, refusal, dan model_context_window_exceeded. Saat stop sequence terpicu, Anthropic juga mengembalikan urutan mana yang terpicu di stop_sequence.
choice = r.choices[0]
if choice.finish_reason == "length":
raise RuntimeError("cut off: raise max_tokens and resend")
if choice.finish_reason == "tool_calls":
run_tools(choice.message.tool_calls)
Kenapa ini penting
- JSON yang terpotong. Balasan
lengthtidak lengkap. Menutup kurung membuatnya bisa di-parse tetapi datanya hilang. Artikel JSON tidak valid membahas hal ini. - Loop agen.
tool_callsberarti “jalankan tool-nya lalu panggil saya lagi”, bukan “selesai”. - Caching. Hanya cache balasan yang berakhir dengan
stop. Jawaban terpotong yang tersimpan di cache selama seminggu akan terlihat seperti bug model.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan nilai finish_reason, jadi catat apa yang Anda terima sebelum mengandalkannya. Referensi itu mendokumentasikan penyebab utama kejutan length: DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan token penalaran dihitung dalam max_tokens. BroadNet menyebutkan bahwa dengan batas kecil “the reasoning can use the whole budget and the answer comes back empty.” (terjemahan: penalaran bisa memakai seluruh anggaran dan jawaban kembali kosong.) Sisakan 1.000 token atau lebih, atau atur reasoning_effort ke low. Panduan respons kosong menjelaskan perbaikannya langkah demi langkah.
Kesalahan umum
- Membaca
message.contenttanpa memeriksa finish_reason terlebih dahulu. - Menganggap jawaban kosong sebagai kegagalan model padahal penalaran memakai seluruh anggaran.