BroadRouter

max_tokens (giới hạn token đầu ra)

Cập nhật

max_tokens là tham số của API LLM đặt số token tối đa mà model được sinh trong một phản hồi. Khi chạm giới hạn, việc sinh dừng lại và phản hồi được đánh dấu là bị cắt, ví dụ finish_reason được đặt là "length".

Còn gọi là: giới hạn token đầu ra, số token tối đa, độ dài đầu ra tối đa, max_tokens là gì, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens là ngân sách đầu ra cho một câu trả lời. Nó bảo vệ bạn khỏi những câu trả lời dài vô tận, nhưng nếu đặt quá thấp, câu trả lời sẽ bị cắt hoặc không có gì trả về.

Cách hoạt động

Model sinh từng token một. Khi số token chạm max_tokens, việc sinh dừng lại, kể cả giữa câu. Phản hồi sẽ cho biết lý do kết thúc:

finish_reason Ý nghĩa
stop Model tự kết thúc
length Đã chạm giới hạn max_tokens
tool_calls Model đang yêu cầu gọi một tool

Tham số này có nhiều tên. Chat Completions API của OpenAI hiện đánh dấu max_tokens là deprecated, thay bằng max_completion_tokens, một mức trần bao gồm cả đầu ra nhìn thấy và token suy luận. Responses API của OpenAI dùng max_output_tokens. Messages API của Anthropic dùng max_tokens. Nhiều nhà cung cấp tương thích OpenAI nhận max_tokens.

Prompt và đầu ra dùng chung một context window. Nếu context window là 32.768 token và prompt là 30.000, tối đa chỉ 2.768 token có thể trả về, bất kể max_tokens là bao nhiêu.

Vì sao quan trọng

  • Kiểm soát chi phí. Với key tính theo token, max_tokens là mức tối đa một câu trả lời có thể tốn cho phần đầu ra.
  • Câu trả lời rỗng. Ở model suy luận, phần suy nghĩ lấy từ cùng ngân sách. Giới hạn 100 có thể bị tiêu hết cho token suy luận, nên câu trả lời nhìn thấy bị rỗng và finish_reason là length.
  • JSON hỏng. Câu trả lời bị cắt khiến đầu ra có cấu trúc không hoàn chỉnh và không parse được. Hãy kiểm tra finish_reason trước khi parse.

Trên BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và tài liệu BroadNet cho biết suy luận được tính vào max_tokens. Hãy cho từ 1.000 token trở lên, bỏ trống, hoặc giảm reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Nếu câu trả lời bị cắt, đoạn code trên in ra lời nhắc tăng max_tokens hoặc giảm reasoning_effort.

Kích thước context khác nhau theo model: 1.048.576 token cho DeepSeek V4.1 Flash và GLM 5.3, 262.144 cho Qwen3.8 27B và 32.768 cho BroadNet Gemma 4 VL 26B. Xem các trang model và vì sao model suy luận trả về câu trả lời rỗng.

Lỗi thường gặp

  • Chép một giới hạn nhỏ từ model không suy luận khi chuyển đổi. Xem checklist chuyển đổi.
  • Coi length là thành công. Hãy ghi log và thử lại với nhiều chỗ hơn.

Câu hỏi thường gặp

max_tokens có giống context window không?

Không. Context window là tổng lượng model xử lý được, gồm prompt cộng đầu ra. max_tokens chỉ giới hạn đầu ra, và prompt cộng max_tokens vẫn phải nằm gọn trong context window.

Có nên luôn đặt max_tokens không?

Hãy đặt khi bạn cần một mức trần cứng về chi phí hoặc độ dài. Với model suy luận, hãy chừa nhiều chỗ, hoặc bỏ trống nếu giá trị mặc định của nhà cung cấp đủ lớn.

max_tokens và max_completion_tokens khác nhau thế nào?

OpenAI đã đánh dấu max_tokens là deprecated trên Chat Completions, thay bằng max_completion_tokens, vốn tính rõ cả token suy luận. Nhiều nhà cung cấp tương thích OpenAI vẫn nhận max_tokens.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity