Model suy luận suy nghĩ trước khi trả lời. Phần suy nghĩ đó cũng là văn bản, nên nó tốn token, thời gian và chỗ trong context window.
Cách hoạt động
Model suy luận sinh ra một chuỗi suy nghĩ nội bộ (chain of thought), rồi mới đến câu trả lời hiển thị. Cả hai đều lấy từ cùng một ngân sách đầu ra. Hướng dẫn của OpenAI cho biết token suy luận “are billed as output tokens” (Bản dịch: được tính phí như token đầu ra) và chiếm chỗ trong context window; Anthropic nói điều tương tự về thinking token và gọi chúng là “a subset of your max_tokens.” (Bản dịch: một phần của max_tokens).
Ở định dạng Chat Completions, số lượng này xuất hiện trong usage:
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
Ở đây, 1.024 trong 1.186 token đầu ra dành cho việc suy nghĩ, chỉ 162 token cho câu trả lời. OpenAI cảnh báo rằng một phản hồi có thể chạm giới hạn “before any visible output tokens are produced,” (Bản dịch: trước khi bất kỳ token đầu ra hiển thị nào được tạo ra), nên bạn trả tiền cho đầu vào và phần suy luận mà không nhận được câu trả lời. OpenAI khuyên nên dành ít nhất 25.000 token cho suy luận và đầu ra khi bắt đầu thử nghiệm các model của họ.
Nhiều API có tham số như reasoning_effort (low, medium, high) để đổi một chút chất lượng lấy ít token suy nghĩ hơn.
Vì sao quan trọng
- Chi phí. Với key tính theo token, phần suy luận bị tính theo giá đầu ra, thường là mức giá cao nhất. Xem token đầu vào và đầu ra.
- Độ trễ. Việc suy nghĩ tốn thời gian trước khi token hiển thị đầu tiên xuất hiện. Với cùng một tốc độ token mỗi giây, 2.000 token suy luận cộng thêm đúng thời gian sinh 2.000 token đầu ra.
- Độ ổn định. Một giá trị
max_tokensnhỏ vốn chạy tốt với model không suy luận có thể trả về câu trả lời rỗng với model suy luận.
Trên BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời. Tài liệu của BroadNet cho biết phần suy luận được tính vào max_tokens. Tài liệu của BroadNet không ghi khả năng suy luận cho BroadNet Gemma 4 VL 26B.
Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết phần dành cho suy nghĩ. Hãy đặt max_tokens từ 1.000 trở lên hoặc bỏ trống, và dùng reasoning_effort="low" cho các bước đơn giản:
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
Với hình thức trả theo mức dùng, phần suy luận được tính theo giá đầu ra, ví dụ $0.52 cho 1 triệu token trên DeepSeek V4.1 Flash. Với gói không giới hạn cho model này thì không có đồng hồ đo token, nên suy luận không tốn thêm tiền mà chỉ tốn thời gian. Danh sách cách khắc phục đầy đủ có trong vì sao model suy luận trả về câu trả lời rỗng.