BroadRouter

思维链(CoT,chain-of-thought)

更新于

思维链(CoT)是一种提示技巧:给语言模型示范或要求它在给出最终答案之前,先写出中间的推理步骤。它能提高算术、逻辑等多步问题的准确率,如今思考模型会自动生成思维链。

又称: 思维链、思维链提示、链式思考、逐步推理、一步一步思考、CoT、chain-of-thought prompting、step-by-step prompting、CoT prompting

思维链起初是一个提示技巧,后来变成了模型的一项功能。

工作原理

Wei 和同事在 2022 年发表了这个方法。普通的少样本示例只展示问题和答案,他们写的示例则展示了中间的步骤。用八个这样的示例,一个 5400 亿参数的模型在 GSM8K(一套小学数学应用题)上达到了当时最高的准确率,超过了带验证器的微调版 GPT-3。他们测试了算术、常识和符号推理。

提示词中的一个思维链示例:

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

写出步骤让模型在给出答案之前有更多 token 用于计算,而且每一步都会影响下一步。它是少样本提示的一种形式,示例教的是方法,而不只是格式。

思考模型如何把它内化

思考模型经过训练,会自己产生这种逐步推理的文本。OpenAI 的指南说,这些模型 “use internal reasoning tokens before producing a response”(译文:在生成回复之前使用内部的思考 token),这些 token 无法通过它的 API 看到,但仍然占用上下文并按输出计费。有些开源模型则把思考内容放在一个单独的字段里返回。它们如何计数,见思考 token。

为什么重要

  • 准确率。 数学、规划和修复代码这类多步任务受益最大。简单的查询几乎没有提升。
  • 成本与延迟。 每一步都是输出 token。一条长的思维链可能比答案本身还贵。
  • 不等于证明。 写出来的步骤看起来合理,结论仍可能是错的,所以它不能防止幻觉。

在 BroadNet Inference 上

BroadNet 的文档说,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,思考内容计入 max_tokens。请留出 1,000 个或更多 token,或者把 reasoning_effort 设为 low;上限太小时,答案可能为空。如果返回了 usage.completion_tokens_details.reasoning_tokens,它会显示用了多少思考 token。文档没有把 BroadNet Gemma 4 VL 26B 列为思考模型,所以要让它给出步骤,用经典的思维链提示即可。空回复指南和思考 token 成本一文介绍了如何做预算。

常见问题

思维链和思考 token 是一回事吗?

相关,但不一样。思维链是写出步骤的技巧。思考 token 是思考模型在内部做这件事时生成的内容,按输出计费。

对思考模型还需要写“一步一步思考”吗?

通常没有必要。思考模型在回答之前本来就会思考。OpenAI 的指南建议给它们清晰的目标和约束,而不是规定每一个步骤。

思维链会更贵吗?

会。这些步骤都是输出 token,而输出 token 通常是最贵的 token,还会增加延迟。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity