Chain-of-thought начиналась как приём в промпте, а стала функцией моделей.
Как это работает
Wei и соавторы опубликовали метод в 2022 году. Вместо few-shot-примеров, где есть только вопрос и ответ, они писали примеры с промежуточными шагами. С восемью такими примерами модель на 540 млрд параметров достигла лучшей на тот момент точности на GSM8K, наборе школьных текстовых задач по математике, опередив дообученную GPT-3 с верификатором. Проверялись арифметические, бытовые (commonsense) и символьные рассуждения.
Пример chain-of-thought в промпте:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Записывая шаги, модель получает больше токенов вычислений, прежде чем зафиксировать ответ, и каждый шаг влияет на следующий. Это разновидность few-shot-промптинга, где примеры учат методу, а не только формату.
Как модели рассуждений встроили это в себя
Модели рассуждений обучены сами выдавать такой пошаговый текст. Руководство OpenAI говорит, что они “use internal reasoning tokens before producing a response” (перевод: «используют внутренние токены рассуждений, прежде чем выдать ответ»), и что эти токены не видны через её API, но всё равно занимают контекст и оплачиваются как выходные. Некоторые открытые модели вместо этого возвращают рассуждения в отдельном поле. Как они считаются, описано в статье о токенах рассуждений.
Почему это важно
- Точность. Больше всего выигрывают многошаговые задачи: математика, планирование, исправление кода. Простой поиск фактов почти ничего не получает.
- Стоимость и задержка. Каждый шаг — это выходной токен. Длинная цепочка может стоить дороже самого ответа.
- Не доказательство. Записанные шаги могут выглядеть убедительно и всё равно быть неверными, поэтому от галлюцинаций они не защищают.
В BroadNet Inference
Документация BroadNet говорит, что DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения учитываются в max_tokens. Оставляйте 1000 токенов или больше либо задайте reasoning_effort равным low; при малом лимите ответ может прийти пустым. Если поле передаётся, usage.completion_tokens_details.reasoning_tokens показывает, сколько токенов ушло. BroadNet Gemma 4 VL 26B в документации не указана как модель рассуждений, поэтому попросить у неё шаги можно классическим промптингом chain-of-thought. Как распределять бюджет, описано в руководстве о пустых ответах и в статье о стоимости токенов рассуждений.