max_tokens ialah bajet output untuk satu jawapan. Ia melindungi anda daripada jawapan yang tidak berhenti, tetapi jika ditetapkan terlalu rendah, jawapan akan terpotong atau tiada apa-apa langsung dipulangkan.
Cara ia berfungsi
Model menjana satu token pada satu masa. Apabila kiraan mencapai max_tokens, penjanaan berhenti, walaupun di tengah-tengah ayat. Respons kemudian menyatakan sebab ia berakhir:
finish_reason |
Maksud |
|---|---|
stop |
Model selesai dengan sendirinya |
length |
Had max_tokens telah dicapai |
tool_calls |
Model meminta untuk memanggil alatan |
Parameter ini mempunyai beberapa nama. Chat Completions API OpenAI kini menandakan max_tokens sebagai deprecated dan menggantikannya dengan max_completion_tokens, had atas yang merangkumi output yang kelihatan dan token penaakulan. Responses API OpenAI menggunakan max_output_tokens. Messages API Anthropic menggunakan max_tokens. Banyak penyedia serasi OpenAI menerima max_tokens.
Prompt dan output berkongsi satu tetingkap konteks. Jika tetingkap ialah 32,768 token dan prompt 30,000, paling banyak 2,768 token sahaja boleh dipulangkan, walau apa pun nilai max_tokens.
Mengapa ia penting
- Kawalan kos. Pada kunci setiap token,
max_tokensialah kos output maksimum bagi satu jawapan. - Jawapan kosong. Pada model penaakulan, proses berfikir menggunakan bajet yang sama. Had 100 boleh habis sepenuhnya pada token penaakulan, jadi jawapan yang kelihatan kosong dan
finish_reasonialahlength. - JSON rosak. Jawapan yang terpotong menjadikan output berstruktur tidak lengkap dan tidak boleh dihuraikan. Semak
finish_reasonsebelum menghuraikannya.
Di BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan dokumentasi BroadNet menyatakan penaakulan itu dikira dalam max_tokens. Berikan 1,000 token atau lebih, biarkan tidak ditetapkan, atau turunkan reasoning_effort. Dalam contoh di bawah, jika finish_reason ialah length, kod mencetak amaran bahawa jawapan terpotong dan max_tokens perlu dinaikkan atau reasoning_effort diturunkan:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Saiz konteks berbeza mengikut model: 1,048,576 token untuk DeepSeek V4.1 Flash dan GLM 5.3, 262,144 untuk Qwen3.8 27B dan 32,768 untuk BroadNet Gemma 4 VL 26B. Lihat halaman model dan mengapa model penaakulan memulangkan jawapan kosong.
Kesilapan biasa
- Menyalin had yang kecil daripada model bukan penaakulan semasa migrasi. Lihat senarai semak migrasi.
- Menganggap
lengthsebagai berjaya. Log nilainya dan cuba semula dengan ruang yang lebih besar.