Bạn gửi một câu hỏi ngắn, nhận về câu trả lời hai dòng, và hóa đơn ghi 1.400 token đầu ra. Không có gì sai cả. Model đã suy nghĩ trước khi trả lời, và phần suy nghĩ bị tính phí. Bài này giải thích token suy luận được đếm thế nào, tốn bao nhiêu trên từng model, và bốn thiết lập giúp kiểm soát chúng.
Token suy luận là gì?
Một model suy luận viết một chuỗi suy nghĩ nội bộ, rồi mới viết câu trả lời hiển thị. Cả hai đến từ cùng một lần sinh. Phần suy nghĩ được tạo thành từ token suy luận. Trong response chat-completions chuẩn, câu trả lời nằm trong message.content, còn phần suy nghĩ chỉ được đếm, không được hiển thị.
Hướng dẫn suy luận của OpenAI nêu rõ quy tắc: token suy luận “still occupy space in the model’s context window and are billed as” (bản dịch: vẫn chiếm chỗ trong context window của model và được tính phí như) token đầu ra. Các nhà cung cấp khác cũng theo cùng quy tắc.
Token suy luận được tính phí thế nào?
Chúng là một phần của completion_tokens, nên chịu giá đầu ra. Đầu ra là đồng hồ đắt đỏ:
| Model | Suy luận trước | Đầu ra mỗi 1M | Đầu vào mỗi 1M |
|---|---|---|---|
| DeepSeek V4.1 Flash | Có | $0.52 | $0.175 |
| GLM 5.3 | Có | $3.46 | $0.78 |
| Qwen3.8 27B | Có | $2.17 | $0.175 |
| Gemma 4 VL 26B | Không ghi | $0.22 | $0.10 |
Giá là của BroadNet Inference, đồng bộ 2026-11-14. Các host khác tính bao nhiêu cho cùng model có trong bảng giá API LLM, ví dụ GLM 5.3 giữa các nhà cung cấp.
Suy luận có thể làm hóa đơn tăng bao nhiêu?
Lấy ví dụ một bộ phân loại trả về nhãn một từ, khoảng 10 token hiển thị. Nếu model suy nghĩ 1.000 token trước, 99% hóa đơn đầu ra là phần suy nghĩ.
Ở quy mô lớn: 1.000 câu trả lời, mỗi câu kèm 1.000 token suy luận, cộng thêm 1M token đầu ra. Con số đó tốn $0.52 trên DeepSeek V4.1 Flash, $2.17 trên Qwen3.8 27B và $3.46 trên GLM 5.3, cộng thêm vào phần câu trả lời hiển thị.
Lượng suy luận thay đổi theo tác vụ. Toán khó hay suy luận code trên nhiều file có thể lên tới hàng nghìn token. Một lời chào có thể gần như không cần. Đó là lý do phải đo.
Đo token suy luận thế nào?
Khối usage báo cáo chúng khi model cung cấp con số:
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
"share:", round(reasoning / max(u.completion_tokens, 1), 2))
Hãy ghi log số liệu này theo từng loại tác vụ trong một tuần. Bạn thường sẽ thấy một vài tác vụ chiếm phần lớn phần suy nghĩ. Khi streaming, hãy thêm stream_options: {"include_usage": true}; số liệu đến trong chunk cuối cùng (hướng dẫn streaming).
Bốn cách kiểm soát chi phí suy luận
1. Hạ reasoning_effort cho tác vụ đơn giản
reasoning_effort yêu cầu model suy nghĩ ít hơn. Các hướng dẫn của BroadNet dùng low cho phân loại, trích xuất và định dạng:
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
max_tokens=1000, messages=msgs)
OpenAI ghi nhận một dải giá trị rộng hơn trên các model của họ, từ none và minimal qua low, medium và high đến xhigh và max, và lưu ý rằng “some models support only a subset” (bản dịch: một số model chỉ hỗ trợ một phần trong đó). Hãy kiểm tra model của bạn nhận những giá trị nào, và so số token đầu ra trước và sau trên cùng bộ mẫu.
2. Đặt max_tokens làm trần, không phải để siết
max_tokens giới hạn chung cả suy luận và câu trả lời. Nó chặn được câu trả lời mất kiểm soát, nhưng nếu đặt quá thấp, model có thể dùng hết ngân sách để suy nghĩ và trả về câu trả lời trống với finish_reason: "length". Bạn trả tiền cho phần suy nghĩ đó mà vẫn phải retry. BroadNet đề xuất từ 1.000 token trở lên cho model suy luận. Vì sao model suy luận trả về câu trả lời trống.
3. Định tuyến bước dễ sang model không suy luận
Không phải bước nào cũng cần suy nghĩ. Định dạng JSON, đổi tên trường hay trả lời tra cứu FAQ có thể chuyển sang Gemma 4 VL 26B với giá $0.22 mỗi 1M đầu ra, model mà BroadNet không ghi khả năng suy luận. Hãy giữ model suy luận cho lập kế hoạch, debug và câu trả lời nhiều bước. Kiểm tra chất lượng trên mẫu của chính bạn trước khi định tuyến.
4. Bỏ “hãy suy nghĩ từng bước” khỏi prompt
Model suy luận vốn đã suy nghĩ. Yêu cầu thêm phần suy luận từng bước hiển thị khiến chúng viết hai lần: một lần ẩn, một lần trong câu trả lời. Hãy yêu cầu câu trả lời cuối cùng theo định dạng bạn cần.
Nên dùng thiết lập nào cho tác vụ nào?
| Tác vụ | Mức suy luận | max_tokens | Gợi ý model |
|---|---|---|---|
| Phân loại, định tuyến | low | 1.000 | Gemma 4 VL 26B hoặc DeepSeek V4.1 Flash |
| Trích xuất sang JSON | low | 1.000 đến 2.000 | DeepSeek V4.1 Flash, GLM 5.3 cho đầu ra có cấu trúc |
| Soạn câu trả lời cho khách hàng | low hoặc mặc định | 2.000 | DeepSeek V4.1 Flash |
| Debug, lập kế hoạch, review code | mặc định hoặc cao hơn | 8.000 hoặc không đặt | DeepSeek V4.1 Flash hoặc GLM 5.3 |
Đây là điểm khởi đầu. Hãy đo token đầu ra và chất lượng trên dữ liệu của bạn, rồi điều chỉnh.
Khi nào suy luận không còn tốn thêm tiền?
Trên gói giá cố định. Gói Full Moon của BroadNet có giá $60 mỗi phiên mỗi tháng cho DeepSeek V4.1 Flash không giới hạn và không đếm token, nên token suy luận không có chi phí theo token. Chúng vẫn tốn thời gian: ở tốc độ điển hình khoảng 100 token mỗi giây, mọi token suy luận đều được sinh ra trước khi câu trả lời bắt đầu, nên suy nghĩ càng dài thì câu trả lời càng đến chậm. Khi nào gói giá cố định thắng trả theo token, và mười cách khác để giảm hóa đơn của coding agent.
BroadNet Inference phù hợp ở đâu?
BroadNet chạy ba model suy luận và một model không ghi khả năng suy luận trên một key tương thích OpenAI tại https://inference.broadnet.ai/v1, với mức sử dụng được báo cáo trong mỗi response. Điều đó giúp định tuyến theo tác vụ và đo sự khác biệt một cách đơn giản. Nếu bạn cần một model đóng có bản tóm tắt suy luận hiển thị, hãy dùng API của nhà cung cấp đó; danh mục chat của BroadNet không có model đóng nào. Xem các gói.
