BroadRouter

max_tokens

Diperbarui

max_tokens adalah parameter API LLM yang menetapkan jumlah token maksimum yang boleh dihasilkan model dalam satu respons. Saat generasi mencapai batas itu, proses berhenti dan respons ditandai terpotong, misalnya dengan finish_reason bernilai "length".

Disebut juga: batas token output, batas output, panjang output maksimum, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens adalah anggaran output untuk satu balasan. Parameter ini melindungi Anda dari jawaban yang tak terkendali, tetapi jika terlalu rendah, jawaban terpotong atau tidak ada sama sekali.

Cara kerjanya

Model menghasilkan satu token setiap kali. Saat jumlahnya mencapai max_tokens, generasi berhenti, bahkan di tengah kalimat. Respons lalu menyebutkan alasan berhentinya:

finish_reason Artinya
stop Model selesai dengan sendirinya
length Batas max_tokens tercapai
tool_calls Model meminta untuk memanggil tool

Parameter ini punya beberapa nama. Chat Completions API milik OpenAI kini menandai max_tokens sebagai deprecated dan menggantinya dengan max_completion_tokens, batas atas yang mencakup output yang terlihat sekaligus token penalaran. Responses API milik OpenAI memakai max_output_tokens. Messages API milik Anthropic memakai max_tokens. Banyak penyedia kompatibel OpenAI menerima max_tokens.

Prompt dan output berbagi satu context window. Jika window-nya 32.768 token dan prompt-nya 30.000, paling banyak 2.768 token yang bisa kembali, berapa pun nilai max_tokens.

Kenapa ini penting

  • Kontrol biaya. Pada kunci yang ditagih per token, max_tokens adalah biaya output maksimum untuk satu balasan.
  • Jawaban kosong. Pada model penalaran, proses berpikir diambil dari anggaran yang sama. Batas 100 bisa habis seluruhnya untuk token penalaran, sehingga jawaban yang terlihat kosong dan finish_reason bernilai length.
  • JSON rusak. Balasan yang terpotong membuat output terstruktur tidak lengkap dan tidak bisa di-parse. Periksa finish_reason sebelum mem-parse.

Di BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan menurut dokumentasi BroadNet penalaran ikut dihitung dalam max_tokens. Sediakan 1.000 token atau lebih, biarkan tidak diatur, atau turunkan reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Ukuran konteks berbeda per model: 1.048.576 token untuk DeepSeek V4.1 Flash dan GLM 5.3, 262.144 untuk Qwen3.8 27B, dan 32.768 untuk BroadNet Gemma 4 VL 26B. Lihat halaman model dan kenapa model penalaran mengembalikan jawaban kosong.

Kesalahan umum

  • Menyalin batas kecil dari model non-penalaran saat migrasi. Lihat checklist migrasi.
  • Menganggap length sebagai keberhasilan. Catat dan coba ulang dengan ruang yang lebih besar.

Pertanyaan umum

Apakah max_tokens sama dengan context window?

Tidak. Context window adalah total yang bisa ditangani model, yaitu prompt ditambah output. max_tokens hanya membatasi output, dan prompt ditambah max_tokens tetap harus muat di dalam window.

Apakah max_tokens harus selalu diatur?

Atur jika Anda butuh batas pasti untuk biaya atau panjang. Beri ruang yang longgar pada model penalaran, atau biarkan tidak diatur jika default penyedia sudah cukup besar.

Apa bedanya max_tokens dan max_completion_tokens?

OpenAI menandai max_tokens sebagai deprecated di Chat Completions dan menggantinya dengan max_completion_tokens, yang secara eksplisit mencakup token penalaran. Banyak penyedia kompatibel OpenAI masih menerima max_tokens.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity