BroadRouter

Токены в секунду (tokens per second, TPS)

Обновлено

Токены в секунду (TPS) — это скорость, с которой языковая модель генерирует выходные токены; обычно её измеряют для одного запроса после прихода первого токена. Она определяет, как быстро стримится начавшийся ответ. В сумме по всем параллельным запросам это пропускная способность системы; ожидание первого токена измеряют отдельно.

Также называют: TPS, ток/с, скорость генерации, скорость вывода, скорость LLM, токенов в секунду, tok/s, tokens per second, output speed, generation speed

У скорости две составляющие: сколько ждать, пока хоть что-то появится, и как быстро затем идёт текст. Токены в секунду измеряют вторую.

Как это работает

Документация NVIDIA по бенчмаркингу определяет связанные метрики:

  • Время до первого токена (TTFT): от отправки запроса до получения первого токена. Растёт с длиной промпта.
  • Межтокенная задержка (ITL): средний промежуток между выходными токенами.
  • TPS на пользователя: выходные токены одного запроса, делённые на его полное время, так что в определении NVIDIA сюда входит TTFT. Многие дашборды вместо этого приводят скорость декодирования после первого токена, как и эта страница.
  • TPS системы: все выходные токены по всем одновременным запросам; это также называют пропускной способностью.

Эти метрики тянут в разные стороны. NVIDIA отмечает, что с ростом параллельности TPS системы растёт, а TPS на пользователя падает. Маркетинговая цифра провайдера и скорость вашего отдельного запроса могут быть обе честными и всё же различаться.

Быстрая оценка для одного ответа:

общее время ≈ TTFT + выходные токены ÷ токены в секунду

Возьмём для примера поток в 50 токенов в секунду: ответ в 1000 токенов займёт около 20 секунд после первого токена. Если модель вдобавок пишет 2000 токенов рассуждений, прибавьте около 40 секунд до начала ответа. Время до первого токена идёт сверху.

Почему это важно

  • Пользовательский опыт. Стриминг показывает текст по мере поступления, поэтому TTFT и TPS определяют, насколько быстрым кажется ответ.
  • Производительность агентов. Агент для кода ждёт каждый ответ перед следующим шагом. Более быстрый вывод — больше шагов в час.
  • Лимиты тарифа. На тарифе без счётчика токенов именно скорость становится реальным потолком того, сколько токенов вы можете использовать.

В BroadNet Inference

На странице тарифов BroadNet указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash. Сессия на безлимитных тарифах обрабатывает один запрос за раз, поэтому при такой скорости сессия, генерирующая без остановки 30 дней, выдала бы около 259 млн выходных токенов. Реальные агенты тратят время на чтение, запуск инструментов и ожидание, так что практическая цифра ниже.

Чтобы получить больше суммарной пропускной способности на тарифе, добавляйте сессии — по одной на каждого параллельно работающего агента. Смотрите, как работают безлимитные сессии и как запускать параллельных агентов для кода.

Частые ошибки

  • Сравнивать провайдеров по одному запросу. Измеряйте TTFT и TPS на многих запросах, с промптами вашего размера.
  • Забывать о времени рассуждений, задавая тайм-ауты клиента.

Вопросы и ответы

Сколько токенов в секунду — это хорошо?

Зависит от задачи. Ответ в чате ощущается отзывчивым, когда текст появляется быстрее, чем человек читает. Для агентов и пакетных задач важнее общее время на задачу и то, сколько запросов идёт параллельно.

Учитывают ли токены в секунду промпт?

Обычно нет. Скорость генерации считает выходные токены. Чтение промпта проявляется во времени до первого токена, которое растёт с длиной промпта.

Замедляют ли токены рассуждений ответ?

Да. Они генерируются с той же скоростью, что и видимый вывод, поэтому модель, которая думает 2000 токенов, задерживает ответ на время, нужное для этих токенов.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity