BroadRouter

Token suy luận (reasoning tokens)

Cập nhật

Token suy luận (reasoning tokens) là token mà model suy luận sinh ra để giải quyết vấn đề trước khi viết câu trả lời hiển thị. Chúng thường được tính phí như token đầu ra, tính vào giới hạn đầu ra và context window, và có thể bị API ẩn đi hoặc tóm tắt.

Còn gọi là: token suy luận, token suy nghĩ, reasoning tokens, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Model suy luận suy nghĩ trước khi trả lời. Phần suy nghĩ đó cũng là văn bản, nên nó tốn token, thời gian và chỗ trong context window.

Cách hoạt động

Model suy luận sinh ra một chuỗi suy nghĩ nội bộ (chain of thought), rồi mới đến câu trả lời hiển thị. Cả hai đều lấy từ cùng một ngân sách đầu ra. Hướng dẫn của OpenAI cho biết token suy luận “are billed as output tokens” (Bản dịch: được tính phí như token đầu ra) và chiếm chỗ trong context window; Anthropic nói điều tương tự về thinking token và gọi chúng là “a subset of your max_tokens.” (Bản dịch: một phần của max_tokens).

Ở định dạng Chat Completions, số lượng này xuất hiện trong usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Ở đây, 1.024 trong 1.186 token đầu ra dành cho việc suy nghĩ, chỉ 162 token cho câu trả lời. OpenAI cảnh báo rằng một phản hồi có thể chạm giới hạn “before any visible output tokens are produced,” (Bản dịch: trước khi bất kỳ token đầu ra hiển thị nào được tạo ra), nên bạn trả tiền cho đầu vào và phần suy luận mà không nhận được câu trả lời. OpenAI khuyên nên dành ít nhất 25.000 token cho suy luận và đầu ra khi bắt đầu thử nghiệm các model của họ.

Nhiều API có tham số như reasoning_effort (low, medium, high) để đổi một chút chất lượng lấy ít token suy nghĩ hơn.

Vì sao quan trọng

  • Chi phí. Với key tính theo token, phần suy luận bị tính theo giá đầu ra, thường là mức giá cao nhất. Xem token đầu vào và đầu ra.
  • Độ trễ. Việc suy nghĩ tốn thời gian trước khi token hiển thị đầu tiên xuất hiện. Với cùng một tốc độ token mỗi giây, 2.000 token suy luận cộng thêm đúng thời gian sinh 2.000 token đầu ra.
  • Độ ổn định. Một giá trị max_tokens nhỏ vốn chạy tốt với model không suy luận có thể trả về câu trả lời rỗng với model suy luận.

Trên BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời. Tài liệu của BroadNet cho biết phần suy luận được tính vào max_tokens. Tài liệu của BroadNet không ghi khả năng suy luận cho BroadNet Gemma 4 VL 26B.

Khi model có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết phần dành cho suy nghĩ. Hãy đặt max_tokens từ 1.000 trở lên hoặc bỏ trống, và dùng reasoning_effort="low" cho các bước đơn giản:

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

Với hình thức trả theo mức dùng, phần suy luận được tính theo giá đầu ra, ví dụ $0.52 cho 1 triệu token trên DeepSeek V4.1 Flash. Với gói không giới hạn cho model này thì không có đồng hồ đo token, nên suy luận không tốn thêm tiền mà chỉ tốn thời gian. Danh sách cách khắc phục đầy đủ có trong vì sao model suy luận trả về câu trả lời rỗng.

Câu hỏi thường gặp

Tôi có xem được token suy luận không?

Tùy API. OpenAI cho biết token suy luận không hiển thị qua API của họ nhưng có thể được tóm tắt. Các nhà cung cấp khác trả về một phần hoặc toàn bộ phần suy luận trong một trường riêng. Dù thế nào bạn vẫn bị tính phí cho chúng.

Làm sao để giảm token suy luận?

Với tác vụ đơn giản, hãy dùng mức suy luận thấp hơn, ví dụ đặt reasoning_effort là low, nếu model hỗ trợ. Prompt rõ ràng, cụ thể cũng giúp ích.

Vì sao model suy luận trả về câu trả lời rỗng?

Nhiều khả năng model đã dùng hết ngân sách đầu ra cho phần suy luận. Khi đó finish_reason là length. Hãy tăng max_tokens hoặc giảm mức suy luận.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity