BroadRouter

Токены рассуждений (reasoning tokens)

Обновлено

Токены рассуждений — это токены, которые модель с рассуждениями генерирует, чтобы проработать задачу, прежде чем написать видимый ответ. Обычно они оплачиваются как выходные токены, учитываются в лимите на ответ и в контекстном окне, а API может их скрывать или выдавать в сжатом виде.

Также называют: токены размышлений, токены цепочки рассуждений, рассуждения модели, уровень рассуждений, reasoning tokens, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Модели с рассуждениями думают, прежде чем ответить. Эти размышления — тоже текст, поэтому они стоят токенов, времени и места в контекстном окне.

Как это работает

Модель с рассуждениями генерирует внутреннюю цепочку рассуждений, а затем видимый ответ. И то и другое берётся из одного бюджета на выход. В руководстве OpenAI сказано, что токены рассуждений “are billed as output tokens” (перевод: «оплачиваются как выходные токены») и занимают место в контекстном окне; Anthropic говорит то же о токенах размышлений и называет их “a subset of your max_tokens” (перевод: «часть вашего max_tokens»).

В формате Chat Completions их число видно в usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Здесь из 1186 выходных токенов 1024 ушли на размышления и только 162 — на ответ. OpenAI предупреждает, что ответ может упереться в лимит “before any visible output tokens are produced” (перевод: «до того, как будут сгенерированы какие-либо видимые выходные токены»): вы платите за вход и рассуждения и не получаете ответа. OpenAI советует на этапе первых экспериментов с её моделями резервировать на рассуждения и ответ не меньше 25 000 токенов.

Многие API дают параметр вроде reasoning_effort (low, medium, high), чтобы обменять качество на меньшее число токенов размышлений.

Почему это важно

  • Стоимость. На ключе с оплатой за токены рассуждения оплачиваются по цене выхода — обычно самой высокой. См. входные и выходные токены.
  • Задержка. Размышления занимают время до первого видимого токена. При фиксированной скорости в токенах в секунду 2000 токенов рассуждений добавляют время 2000 выходных токенов.
  • Надёжность. Маленький max_tokens, который работал на модели без рассуждений, на модели с рассуждениями может давать пустые ответы.

В BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом. По документации BroadNet, рассуждения расходуют max_tokens. Для BroadNet Gemma 4 VL 26B документация BroadNet рассуждений не указывает.

Если модель сообщает это значение, usage.completion_tokens_details.reasoning_tokens показывает долю размышлений. Задавайте max_tokens от 1000 или не задавайте вовсе, а для простых шагов используйте reasoning_effort="low":

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

При оплате по факту рассуждения тарифицируются по цене выхода, например $0.52 за 1 млн токенов у DeepSeek V4.1 Flash. На безлимитном тарифе для этой модели счётчика токенов нет, поэтому рассуждения ничего не стоят сверх тарифа — они только занимают время. Полный список решений — в руководстве почему модель с рассуждениями возвращает пустой ответ.

Вопросы и ответы

Можно ли увидеть токены рассуждений?

Зависит от API. OpenAI пишет, что токены рассуждений не видны через её API, но могут выдаваться в сжатом виде. Другие провайдеры возвращают рассуждения частично или полностью в отдельном поле. Платите вы за них в любом случае.

Как сократить число токенов рассуждений?

Для простых задач выбирайте более низкий уровень рассуждений, например reasoning_effort со значением low, если модель это поддерживает. Помогают и ясные, конкретные промпты.

Почему модель с рассуждениями вернула пустой ответ?

Скорее всего, модель потратила весь бюджет на ответ на рассуждения. Тогда finish_reason равен length. Увеличьте max_tokens или понизьте уровень рассуждений.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity