BroadRouter

max_tokens

Dikemas kini

max_tokens ialah parameter API LLM yang menetapkan bilangan maksimum token yang boleh dijana oleh model dalam satu respons. Apabila had itu dicapai, penjanaan berhenti dan respons ditandakan sebagai terpotong, contohnya dengan finish_reason ditetapkan kepada "length".

Juga dikenali sebagai: had token output, had output, panjang output maksimum, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens ialah bajet output untuk satu jawapan. Ia melindungi anda daripada jawapan yang tidak berhenti, tetapi jika ditetapkan terlalu rendah, jawapan akan terpotong atau tiada apa-apa langsung dipulangkan.

Cara ia berfungsi

Model menjana satu token pada satu masa. Apabila kiraan mencapai max_tokens, penjanaan berhenti, walaupun di tengah-tengah ayat. Respons kemudian menyatakan sebab ia berakhir:

finish_reason Maksud
stop Model selesai dengan sendirinya
length Had max_tokens telah dicapai
tool_calls Model meminta untuk memanggil alatan

Parameter ini mempunyai beberapa nama. Chat Completions API OpenAI kini menandakan max_tokens sebagai deprecated dan menggantikannya dengan max_completion_tokens, had atas yang merangkumi output yang kelihatan dan token penaakulan. Responses API OpenAI menggunakan max_output_tokens. Messages API Anthropic menggunakan max_tokens. Banyak penyedia serasi OpenAI menerima max_tokens.

Prompt dan output berkongsi satu tetingkap konteks. Jika tetingkap ialah 32,768 token dan prompt 30,000, paling banyak 2,768 token sahaja boleh dipulangkan, walau apa pun nilai max_tokens.

Mengapa ia penting

  • Kawalan kos. Pada kunci setiap token, max_tokens ialah kos output maksimum bagi satu jawapan.
  • Jawapan kosong. Pada model penaakulan, proses berfikir menggunakan bajet yang sama. Had 100 boleh habis sepenuhnya pada token penaakulan, jadi jawapan yang kelihatan kosong dan finish_reason ialah length.
  • JSON rosak. Jawapan yang terpotong menjadikan output berstruktur tidak lengkap dan tidak boleh dihuraikan. Semak finish_reason sebelum menghuraikannya.

Di BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan dokumentasi BroadNet menyatakan penaakulan itu dikira dalam max_tokens. Berikan 1,000 token atau lebih, biarkan tidak ditetapkan, atau turunkan reasoning_effort. Dalam contoh di bawah, jika finish_reason ialah length, kod mencetak amaran bahawa jawapan terpotong dan max_tokens perlu dinaikkan atau reasoning_effort diturunkan:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Saiz konteks berbeza mengikut model: 1,048,576 token untuk DeepSeek V4.1 Flash dan GLM 5.3, 262,144 untuk Qwen3.8 27B dan 32,768 untuk BroadNet Gemma 4 VL 26B. Lihat halaman model dan mengapa model penaakulan memulangkan jawapan kosong.

Kesilapan biasa

  • Menyalin had yang kecil daripada model bukan penaakulan semasa migrasi. Lihat senarai semak migrasi.
  • Menganggap length sebagai berjaya. Log nilainya dan cuba semula dengan ruang yang lebih besar.

Soalan lazim

Adakah max_tokens sama dengan tetingkap konteks?

Tidak. Tetingkap konteks ialah jumlah yang boleh dikendalikan model, iaitu prompt dan output. max_tokens hanya mengehadkan output, dan prompt bersama max_tokens masih mesti muat dalam tetingkap itu.

Patutkah saya sentiasa menetapkan max_tokens?

Tetapkannya apabila anda memerlukan had tegas pada kos atau panjang. Berikan ruang yang cukup luas pada model penaakulan, atau biarkan tidak ditetapkan jika nilai lalai penyedia sudah cukup besar.

Apakah perbezaan antara max_tokens dan max_completion_tokens?

OpenAI telah menamatkan sokongan (deprecated) max_tokens pada Chat Completions dan menggantikannya dengan max_completion_tokens, yang secara jelas merangkumi token penaakulan. Banyak penyedia serasi OpenAI masih menerima max_tokens.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity