max_tokens là ngân sách đầu ra cho một câu trả lời. Nó bảo vệ bạn khỏi những câu trả lời dài vô tận, nhưng nếu đặt quá thấp, câu trả lời sẽ bị cắt hoặc không có gì trả về.
Cách hoạt động
Model sinh từng token một. Khi số token chạm max_tokens, việc sinh dừng lại, kể cả giữa câu. Phản hồi sẽ cho biết lý do kết thúc:
finish_reason |
Ý nghĩa |
|---|---|
stop |
Model tự kết thúc |
length |
Đã chạm giới hạn max_tokens |
tool_calls |
Model đang yêu cầu gọi một tool |
Tham số này có nhiều tên. Chat Completions API của OpenAI hiện đánh dấu max_tokens là deprecated, thay bằng max_completion_tokens, một mức trần bao gồm cả đầu ra nhìn thấy và token suy luận. Responses API của OpenAI dùng max_output_tokens. Messages API của Anthropic dùng max_tokens. Nhiều nhà cung cấp tương thích OpenAI nhận max_tokens.
Prompt và đầu ra dùng chung một context window. Nếu context window là 32.768 token và prompt là 30.000, tối đa chỉ 2.768 token có thể trả về, bất kể max_tokens là bao nhiêu.
Vì sao quan trọng
- Kiểm soát chi phí. Với key tính theo token,
max_tokenslà mức tối đa một câu trả lời có thể tốn cho phần đầu ra. - Câu trả lời rỗng. Ở model suy luận, phần suy nghĩ lấy từ cùng ngân sách. Giới hạn 100 có thể bị tiêu hết cho token suy luận, nên câu trả lời nhìn thấy bị rỗng và
finish_reasonlàlength. - JSON hỏng. Câu trả lời bị cắt khiến đầu ra có cấu trúc không hoàn chỉnh và không parse được. Hãy kiểm tra
finish_reasontrước khi parse.
Trên BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và tài liệu BroadNet cho biết suy luận được tính vào max_tokens. Hãy cho từ 1.000 token trở lên, bỏ trống, hoặc giảm reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Nếu câu trả lời bị cắt, đoạn code trên in ra lời nhắc tăng max_tokens hoặc giảm reasoning_effort.
Kích thước context khác nhau theo model: 1.048.576 token cho DeepSeek V4.1 Flash và GLM 5.3, 262.144 cho Qwen3.8 27B và 32.768 cho BroadNet Gemma 4 VL 26B. Xem các trang model và vì sao model suy luận trả về câu trả lời rỗng.
Lỗi thường gặp
- Chép một giới hạn nhỏ từ model không suy luận khi chuyển đổi. Xem checklist chuyển đổi.
- Coi
lengthlà thành công. Hãy ghi log và thử lại với nhiều chỗ hơn.