---
title: "Что такое токены в секунду (TPS) в инференсе LLM? | BroadRouter"
description: "Токены в секунду показывают, как быстро LLM генерирует вывод. Скорость запроса и пропускная способность системы, время до первого токена и оценка времени ответа."
url: https://broadrouter.com/ru/glossary/tokens-per-second/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/tokens-per-second/) (обновлён 2026-11-14).

# Токены в секунду (tokens per second, TPS)

Обновлено 2026-11-14

Токены в секунду (TPS) — это скорость, с которой языковая модель генерирует выходные токены; обычно её измеряют для одного запроса после прихода первого токена. Она определяет, как быстро стримится начавшийся ответ. В сумме по всем параллельным запросам это пропускная способность системы; ожидание первого токена измеряют отдельно.

Также называют: TPS, ток/с, скорость генерации, скорость вывода, скорость LLM, токенов в секунду, tok/s, tokens per second, output speed, generation speed

У скорости две составляющие: сколько ждать, пока хоть что-то появится, и как быстро затем идёт текст. Токены в секунду измеряют вторую.

## Как это работает

Документация NVIDIA по бенчмаркингу определяет связанные метрики:

-   **Время до первого токена (TTFT):** от отправки запроса до получения первого токена. Растёт с длиной промпта.
-   **Межтокенная задержка (ITL):** средний промежуток между выходными токенами.
-   **TPS на пользователя:** выходные токены одного запроса, делённые на его полное время, так что в определении NVIDIA сюда входит TTFT. Многие дашборды вместо этого приводят скорость декодирования после первого токена, как и эта страница.
-   **TPS системы:** все выходные токены по всем одновременным запросам; это также называют [пропускной способностью](https://broadrouter.com/ru/glossary/throughput/).

Эти метрики тянут в разные стороны. NVIDIA отмечает, что с ростом [параллельности](https://broadrouter.com/ru/glossary/concurrency/) TPS системы растёт, а TPS на пользователя падает. Маркетинговая цифра провайдера и скорость вашего отдельного запроса могут быть обе честными и всё же различаться.

Быстрая оценка для одного ответа:

`общее время ≈ TTFT + выходные токены ÷ токены в секунду`

Возьмём для примера поток в 50 токенов в секунду: ответ в 1000 токенов займёт около 20 секунд после первого токена. Если модель вдобавок пишет 2000 [токенов рассуждений](https://broadrouter.com/ru/glossary/reasoning-tokens/), прибавьте около 40 секунд до начала ответа. [Время до первого токена](https://broadrouter.com/ru/glossary/time-to-first-token/) идёт сверху.

## Почему это важно

-   **Пользовательский опыт.** [Стриминг](https://broadrouter.com/ru/glossary/streaming/) показывает текст по мере поступления, поэтому TTFT и TPS определяют, насколько быстрым кажется ответ.
-   **Производительность агентов.** Агент для кода ждёт каждый ответ перед следующим шагом. Более быстрый вывод — больше шагов в час.
-   **Лимиты тарифа.** На тарифе без счётчика токенов именно скорость становится реальным потолком того, сколько токенов вы можете использовать.

## В BroadNet Inference

На странице тарифов BroadNet указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash. Сессия на безлимитных тарифах обрабатывает один запрос за раз, поэтому при такой скорости сессия, генерирующая без остановки 30 дней, выдала бы около 259 млн выходных токенов. Реальные агенты тратят время на чтение, запуск инструментов и ожидание, так что практическая цифра ниже.

Чтобы получить больше суммарной пропускной способности на тарифе, добавляйте сессии — по одной на каждого параллельно работающего агента. Смотрите, [как работают безлимитные сессии](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) и [как запускать параллельных агентов для кода](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/).

## Частые ошибки

-   Сравнивать провайдеров по одному запросу. Измеряйте TTFT и TPS на многих запросах, с промптами вашего размера.
-   Забывать о времени рассуждений, задавая тайм-ауты клиента.

## Вопросы и ответы

### Сколько токенов в секунду — это хорошо?

Зависит от задачи. Ответ в чате ощущается отзывчивым, когда текст появляется быстрее, чем человек читает. Для агентов и пакетных задач важнее общее время на задачу и то, сколько запросов идёт параллельно.

### Учитывают ли токены в секунду промпт?

Обычно нет. Скорость генерации считает выходные токены. Чтение промпта проявляется во времени до первого токена, которое растёт с длиной промпта.

### Замедляют ли токены рассуждений ответ?

Да. Они генерируются с той же скоростью, что и видимый вывод, поэтому модель, которая думает 2000 токенов, задерживает ответ на время, нужное для этих токенов.

## См. также

-   [Токен (token)](https://broadrouter.com/ru/glossary/token/) (термин)
-   [Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/) (термин)
-   [Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/) (термин)
-   [Токены рассуждений (reasoning tokens)](https://broadrouter.com/ru/glossary/reasoning-tokens/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [Задержка (latency)](https://broadrouter.com/ru/glossary/latency/) (термин)
-   [Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/) (термин)
-   [Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) (руководство)
-   [Фиксированный тариф или оплата за токены в LLM API: когда выгоднее](https://broadrouter.com/ru/blog/flat-rate-vs-pay-per-token-llm-api/) (статья)
-   [Параллельные агенты для программирования на безлимитном LLM API](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-tokens-per-second&utm_content=page-cta) ·

**Источники**

-   [NVIDIA NIM, метрики бенчмаркинга инференса LLM (TTFT, ITL, TPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Тарифы BroadNet Inference (типичная скорость) (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-tokens-per-second&utm_content=sources)
