Chain-of-thought bắt đầu là một mẹo viết prompt và đã trở thành một tính năng của model.
Cách hoạt động
Wei và cộng sự công bố phương pháp này năm 2022. Thay vì ví dụ few-shot chỉ có câu hỏi và đáp án, họ viết các ví dụ thể hiện cả những bước ở giữa. Với tám ví dụ như vậy, một model 540 tỷ tham số đạt độ chính xác cao nhất (state of the art) trên GSM8K, bộ bài toán đố cấp tiểu học, vượt cả GPT-3 đã fine-tune có kèm verifier. Họ thử nghiệm suy luận số học, thường thức và ký hiệu.
Một ví dụ chain-of-thought trong prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Viết ra các bước cho model thêm nhiều token tính toán trước khi chốt câu trả lời, và mỗi bước làm điều kiện cho bước sau. Đây là một dạng few-shot prompting trong đó ví dụ dạy phương pháp, không chỉ định dạng.
Model suy luận tích hợp nó ra sao
Model suy luận được huấn luyện để tự sinh ra đoạn văn từng bước này. Hướng dẫn của OpenAI nói chúng “use internal reasoning tokens before producing a response” (Bản dịch: dùng reasoning token nội bộ trước khi tạo phản hồi), và các token đó không hiển thị qua API của họ nhưng vẫn chiếm context và được tính tiền như đầu ra. Một số model mở trả phần suy luận trong một trường riêng. Xem reasoning token để biết cách chúng được đếm.
Vì sao quan trọng
- Độ chính xác. Các tác vụ nhiều bước như toán, lập kế hoạch và sửa code được lợi nhiều nhất. Tra cứu đơn giản gần như không được gì.
- Chi phí và độ trễ. Mỗi bước là một token đầu ra. Một chuỗi dài có thể tốn hơn cả câu trả lời.
- Không phải bằng chứng. Các bước viết ra có thể trông hợp lý mà vẫn sai, nên chúng không ngăn được hallucination.
Trên BroadNet Inference
Tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Hãy chừa từ 1.000 token trở lên, hoặc đặt reasoning_effort thành low; với giới hạn nhỏ, câu trả lời có thể trả về rỗng. Khi có báo cáo, usage.completion_tokens_details.reasoning_tokens cho biết đã dùng bao nhiêu. Tài liệu không liệt kê BroadNet Gemma 4 VL 26B là model suy luận, nên chain-of-thought prompting cổ điển là cách để yêu cầu nó viết các bước. Hướng dẫn xử lý phản hồi rỗng và bài viết về chi phí reasoning token trình bày cách lập ngân sách.