Chain-of-Thought は、プロンプトの小技として始まり、モデルの機能になりました。
しくみ
Wei らは 2022 年にこの手法を発表しました。質問と答えだけを示す通常の few-shot の例ではなく、途中の手順も示す例を書いたのです。そうした例を 8 つ与えると、5,400 億パラメーターのモデルが、小学校レベルの算数の文章題集である GSM8K で当時の最高精度に達し、検証器付きでファインチューニングした GPT-3 を上回りました。検証したのは、算術、常識、記号の推論です。
プロンプトに入れる Chain-of-Thought の例です。
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
手順を書かせると、モデルは答えを確定する前に計算に使えるトークンが増え、各ステップが次のステップの条件になります。これは few-shot プロンプトの一種で、例が教えるのは形式だけでなく解き方です。
推論モデルはどう内部化したか
推論モデルは、この段階的なテキストを自分で生成するように学習されています。OpenAI のガイドによると、推論モデルは “use internal reasoning tokens before producing a response”(訳:応答を生成する前に内部の推論トークンを使う)もので、そのトークンは同社の API からは見えませんが、コンテキストを使い、出力として課金されます。オープンモデルの中には、推論を別のフィールドで返すものもあります。数え方は推論トークンを参照してください。
なぜ重要か
- 精度。 最も効果があるのは、数学、計画、コード修正のような多段階のタスクです。単純な調べものではほとんど変わりません。
- コストとレイテンシ。 手順の一つひとつが出力トークンです。長い連鎖は、答えそのものより高くつくことがあります。
- 証明にはならない。 書かれた手順がもっともらしく見えても間違っていることはあるので、ハルシネーションは防げません。
BroadNet Inference の場合
BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は答える前に推論し、その推論は max_tokens に含まれます。1,000 トークン以上の余裕を残すか、reasoning_effort を low にしてください。上限が小さいと、答えが空で返ってくることがあります。usage.completion_tokens_details.reasoning_tokens が返された場合は、使われた推論トークンの数がわかります。ドキュメントは BroadNet Gemma 4 VL 26B を推論モデルとして挙げていないので、このモデルに手順を出させるには従来の Chain-of-Thought プロンプトを使います。予算の立て方は空の応答のガイドと推論トークンのコストの記事で解説しています。