BroadRouter

Цепочка рассуждений (chain-of-thought, CoT)

Обновлено

Цепочка рассуждений (chain-of-thought, CoT) — это техника промптинга, при которой языковой модели показывают или поручают записывать промежуточные шаги рассуждения перед окончательным ответом. Она повышает точность в многошаговых задачах, например в арифметике и логике, а модели рассуждений теперь генерируют её автоматически.

Также называют: CoT, цепочка рассуждений, цепочка мыслей, цепочка размышлений, пошаговые рассуждения, рассуждай шаг за шагом, chain-of-thought, chain-of-thought prompting, step-by-step prompting, CoT prompting

Chain-of-thought начиналась как приём в промпте, а стала функцией моделей.

Как это работает

Wei и соавторы опубликовали метод в 2022 году. Вместо few-shot-примеров, где есть только вопрос и ответ, они писали примеры с промежуточными шагами. С восемью такими примерами модель на 540 млрд параметров достигла лучшей на тот момент точности на GSM8K, наборе школьных текстовых задач по математике, опередив дообученную GPT-3 с верификатором. Проверялись арифметические, бытовые (commonsense) и символьные рассуждения.

Пример chain-of-thought в промпте:

Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.

Записывая шаги, модель получает больше токенов вычислений, прежде чем зафиксировать ответ, и каждый шаг влияет на следующий. Это разновидность few-shot-промптинга, где примеры учат методу, а не только формату.

Как модели рассуждений встроили это в себя

Модели рассуждений обучены сами выдавать такой пошаговый текст. Руководство OpenAI говорит, что они “use internal reasoning tokens before producing a response” (перевод: «используют внутренние токены рассуждений, прежде чем выдать ответ»), и что эти токены не видны через её API, но всё равно занимают контекст и оплачиваются как выходные. Некоторые открытые модели вместо этого возвращают рассуждения в отдельном поле. Как они считаются, описано в статье о токенах рассуждений.

Почему это важно

  • Точность. Больше всего выигрывают многошаговые задачи: математика, планирование, исправление кода. Простой поиск фактов почти ничего не получает.
  • Стоимость и задержка. Каждый шаг — это выходной токен. Длинная цепочка может стоить дороже самого ответа.
  • Не доказательство. Записанные шаги могут выглядеть убедительно и всё равно быть неверными, поэтому от галлюцинаций они не защищают.

В BroadNet Inference

Документация BroadNet говорит, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения учитываются в max_tokens. Оставляйте 1000 токенов или больше либо задайте reasoning_effort равным low; при малом лимите ответ может прийти пустым. Если поле передаётся, usage.completion_tokens_details.reasoning_tokens показывает, сколько токенов ушло. BroadNet Gemma 4 VL 26B в документации не указана как модель рассуждений, поэтому попросить у неё шаги можно классическим промптингом chain-of-thought. Как распределять бюджет, описано в руководстве о пустых ответах и в статье о стоимости токенов рассуждений.

Вопросы и ответы

Chain-of-thought и токены рассуждений — это одно и то же?

Связаны, но не одно и то же. Chain-of-thought — техника, при которой шаги записываются явно. Токены рассуждений — то, что генерирует модель рассуждений, когда делает это внутри себя, и они оплачиваются как выходные.

Нужно ли писать «думай шаг за шагом» модели рассуждений?

Обычно это лишнее. Модели рассуждений и так рассуждают перед ответом. Руководство OpenAI советует ставить им ясную цель и ограничения, а не расписывать каждый шаг.

Дороже ли chain-of-thought?

Да. Шаги — это выходные токены, обычно самые дорогие, и они увеличивают задержку.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity