BroadRouter

Входные и выходные токены (input and output tokens)

Обновлено

Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.

Также называют: входные токены, выходные токены, токены промпта, токены ответа, вход и выход, input tokens, output tokens, prompt tokens, completion tokens

У каждого запроса к LLM две стороны: то, что вы отправляете, и то, что приходит обратно. API считают обе в токенах, и большинство тарифицирует их по разным ценам.

Как это работает

Вход — всё, что есть в запросе: системный промпт, все предыдущие сообщения, описания инструментов, результаты их вызовов, документы и изображения. Многоходовый чат на каждом шаге заново отправляет всю историю, поэтому вход растёт вместе с диалогом.

Выход — всё, что генерирует модель: видимый ответ, вызовы инструментов и, у моделей с рассуждениями, скрытые токены рассуждений.

Блок usage показывает и то и другое:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

Стоимость одного запроса:

(new input × input price) + (cached input × cached price) + (output × output price), где каждая цена указана за 1 млн токенов: новый вход × цена входа + вход из кэша × цена входа из кэша + выход × цена выхода.

Почему это важно

Соотношение между ними определяет, какая цена важнее. Чат-ассистент на короткий вопрос может выдать несколько сотен токенов. Агент для программирования на каждом шаге заново отправляет большой контекст репозитория и пишет короткий патч, так что вход может превышать выход в 20 раз и больше. Для агентов основную часть счёта составляют цена входа и цена входа из кэша.

За выходом всё равно стоит следить. Модели с рассуждениями могут тратить на размышления больше токенов, чем на ответ, и они оплачиваются как выход. Типичное соотношение цены выхода к цене входа у отслеживаемых нами моделей — в индексе цен на LLM API.

В BroadNet Inference

За 1 млн токенов, по опубликованному файлу цен:

Модель Вход Вход из кэша Выход
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

В расчётном примере BroadNet агент для программирования, работающий полный день, отправляет 1000 млн входных токенов в месяц при 80% попаданий в кэш и получает 50 млн выходных токенов. На DeepSeek V4.1 Flash с оплатой за токены это стоит $65.40. Тариф с фиксированной ценой убирает счётчик: Full Moon стоит $60 в месяц за сессию. Сравните свои цифры в калькуляторе цен или прочитайте статью фиксированная цена или оплата за токены.

Частые ошибки

  • Считать стоимость только видимого ответа и забывать о токенах рассуждений.
  • Недооценивать, как быстро растёт история. На 30-м шаге чата вход может содержать все 30 реплик.

Вопросы и ответы

Чем prompt tokens отличаются от input tokens?

Ничем. Формат Chat Completions называет их prompt_tokens и completion_tokens. Более новые API, например Responses API от OpenAI и Messages API от Anthropic, называют их input_tokens и output_tokens.

Почему выход дороже входа?

Модель читает весь промпт за один параллельный проход, а ответ генерирует по одному токену, поэтому каждый выходной токен занимает больше времени GPU.

Оплачиваются ли описания инструментов?

Да. Схемы инструментов и результаты их вызовов входят в промпт, поэтому считаются входными токенами в каждом запросе, где они есть.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity