---
title: "Что такое пропускная способность LLM? Токены в секунду"
description: "Пропускная способность LLM — объём работы системы в секунду по всем параллельным запросам, в токенах или запросах в секунду. Чем она отличается от скорости потока."
url: https://broadrouter.com/ru/glossary/throughput/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/throughput/) (обновлён 2026-11-14).

# Пропускная способность (throughput)

Обновлено 2026-11-14

Пропускная способность (throughput) в обслуживании LLM — это общий объём работы, который система выполняет за единицу времени по всем параллельным запросам; обычно её измеряют в выходных токенах или запросах в секунду. Она отличается от скорости потока — того, как быстро токены получает отдельный запрос.

Также называют: пропускная способность LLM, суммарная пропускная способность, суммарные токены в секунду, запросов в секунду, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

[Токены в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/) говорят, как быстро стримится один ответ. Пропускная способность говорит, сколько успевает сделать вся система.

## Как это работает

Руководство NVIDIA по бенчмаркингу разделяет эти величины. **Total TPS per system** — это “total output token throughput across all simultaneous requests” (перевод: «суммарная пропускная способность по выходным токенам для всех одновременных запросов»): все выходные токены, делённые на время от первого запроса до последнего ответа. **TPS per user** — длина вывода одного запроса, делённая на его полное время. **Запросы в секунду (RPS)** считают завершённые запросы вместо токенов.

Ключевая фраза: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (перевод: «с ростом числа параллельных запросов суммарный TPS системы растёт, а TPS на пользователя падает»). Суммарный TPS растёт, пока GPU не насыщен, а после этого может и упасть.

На сервере ограничением обычно служит память. В статье о PagedAttention объясняется, что обслуживание с высокой пропускной способностью “requires batching sufficiently many requests at a time” (перевод: «требует объединять в батч достаточно много запросов одновременно»), а сколько их поместится, решает [KV-кэш](https://broadrouter.com/ru/glossary/kv-cache/) каждого запроса. Более удачное управление памятью позволило vLLM достичь в 2–4 раза большей пропускной способности, чем у прежних систем, при той же задержке.

## Почему это важно

Для того, кто вызывает API, пропускная способность — это ваша сторона трубы: сколько документов вы обработаете за час или сколько агентов смогут работать одновременно. Здесь действует простое правило:

```text
your throughput ≈ concurrent requests × per-stream tokens per second
```

Оно верно, только пока провайдер держит скорость потока стабильной при росте нагрузки. Измеряйте её, а не предполагайте.

Пропускную способность ограничивают ваш лимит [параллельности](https://broadrouter.com/ru/glossary/concurrency/) и rate limit, а не только модель. Если задача идёт медленно, проверьте, не выполняются ли запросы один за другим там, где могли бы идти параллельно.

## В BroadNet Inference

BroadNet публикует лимиты на ключ, а не цифру пропускной способности системы. На странице тарифов указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash — модели тарифа; для других моделей скорость не публикуется. Для иллюстрации — если бы каждый поток шёл с этой скоростью:

| Вариант | Параллельные запросы | Верхняя граница при сохранении скорости |
| --- | --- | --- |
| Ключ с оплатой по факту | 4 (и 30 запросов в минуту) | 4 потоков × около 100 токенов в секунду каждый |
| Почасовой ключ (Gemma 4 VL 26B) | 1 поток, 300,000 токенов в минуту | не опубликована; измерьте |
| Сессия фиксированного тарифа | 1 запрос за раз | около 100 токенов в секунду |

Чтобы масштабировать фиксированный тариф, добавляйте сессии — по одной на каждого параллельно работающего агента; см. [безлимитные сессии LLM API](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) и [запуск параллельных агентов для кода](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/). Эта скорость — заявленная BroadNet типичная цифра для DeepSeek V4.1 Flash, а не гарантия для других моделей или под нагрузкой.

## Вопросы и ответы

### Пропускная способность — это то же самое, что токены в секунду?

Только на уровне системы. Токены в секунду на поток — это скорость, которую видит один запрос. Пропускная способность складывает все потоки. NVIDIA называет их TPS per user и total TPS per system.

### Как получить больше пропускной способности от LLM API?

Запускайте больше запросов параллельно в пределах лимитов параллельности и rate limit и делайте каждый запрос коротким. Если каждый запрос уже полностью использует свой слот, единственный путь вверх — больше слотов, ключей или сессий.

### Означает ли более высокая пропускная способность меньшую задержку?

Нет. Пропускная способность — это вся работа в секунду по всем запросам, а задержка — сколько длится один запрос. Обслуживание большего числа запросов одновременно повышает общую пропускную способность, но может замедлить каждый запрос, поэтому NVIDIA приводит TPS per user и total TPS отдельно.

## См. также

-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/) (термин)
-   [Задержка (latency)](https://broadrouter.com/ru/glossary/latency/) (термин)
-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [Batch API (пакетная обработка запросов)](https://broadrouter.com/ru/glossary/batch-api/) (термин)
-   [Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/) (термин)
-   [Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) (руководство)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/) (руководство)
-   [Параллельные агенты для программирования на безлимитном LLM API](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/) (статья)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-throughput&utm_content=page-cta) ·

**Источники**

-   [NVIDIA NIM, метрики бенчмаркинга LLM (total TPS per system, TPS per user, RPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Kwon и др., PagedAttention и vLLM, arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Справочник API BroadNet Inference, лимиты (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-throughput&utm_content=sources#limits)
-   [Тарифы BroadNet Inference (типичная скорость, один запрос на сессию) (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-throughput&utm_content=sources)
