Модели с рассуждениями думают, прежде чем ответить. Эти размышления — тоже текст, поэтому они стоят токенов, времени и места в контекстном окне.
Как это работает
Модель с рассуждениями генерирует внутреннюю цепочку рассуждений, а затем видимый ответ. И то и другое берётся из одного бюджета на выход. В руководстве OpenAI сказано, что токены рассуждений “are billed as output tokens” (перевод: «оплачиваются как выходные токены») и занимают место в контекстном окне; Anthropic говорит то же о токенах размышлений и называет их “a subset of your max_tokens” (перевод: «часть вашего max_tokens»).
В формате Chat Completions их число видно в usage:
"usage": {
"completion_tokens": 1186,
"completion_tokens_details": { "reasoning_tokens": 1024 }
}
Здесь из 1186 выходных токенов 1024 ушли на размышления и только 162 — на ответ. OpenAI предупреждает, что ответ может упереться в лимит “before any visible output tokens are produced” (перевод: «до того, как будут сгенерированы какие-либо видимые выходные токены»): вы платите за вход и рассуждения и не получаете ответа. OpenAI советует на этапе первых экспериментов с её моделями резервировать на рассуждения и ответ не меньше 25 000 токенов.
Многие API дают параметр вроде reasoning_effort (low, medium, high), чтобы обменять качество на меньшее число токенов размышлений.
Почему это важно
- Стоимость. На ключе с оплатой за токены рассуждения оплачиваются по цене выхода — обычно самой высокой. См. входные и выходные токены.
- Задержка. Размышления занимают время до первого видимого токена. При фиксированной скорости в токенах в секунду 2000 токенов рассуждений добавляют время 2000 выходных токенов.
- Надёжность. Маленький
max_tokens, который работал на модели без рассуждений, на модели с рассуждениями может давать пустые ответы.
В BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом. По документации BroadNet, рассуждения расходуют max_tokens. Для BroadNet Gemma 4 VL 26B документация BroadNet рассуждений не указывает.
Если модель сообщает это значение, usage.completion_tokens_details.reasoning_tokens показывает долю размышлений. Задавайте max_tokens от 1000 или не задавайте вовсе, а для простых шагов используйте reasoning_effort="low":
client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)
При оплате по факту рассуждения тарифицируются по цене выхода, например $0.52 за 1 млн токенов у DeepSeek V4.1 Flash. На безлимитном тарифе для этой модели счётчика токенов нет, поэтому рассуждения ничего не стоят сверх тарифа — они только занимают время. Полный список решений — в руководстве почему модель с рассуждениями возвращает пустой ответ.