BroadRouter
Начать

Пропускная способность (throughput)

Обновлено

Пропускная способность (throughput) в обслуживании LLM — это общий объём работы, который система выполняет за единицу времени по всем параллельным запросам; обычно её измеряют в выходных токенах или запросах в секунду. Она отличается от скорости потока — того, как быстро токены получает отдельный запрос.

Также называют: пропускная способность LLM, суммарная пропускная способность, суммарные токены в секунду, запросов в секунду, throughput, system throughput, aggregate throughput, total tokens per second, requests per second, RPS

Токены в секунду говорят, как быстро стримится один ответ. Пропускная способность говорит, сколько успевает сделать вся система.

Как это работает

Руководство NVIDIA по бенчмаркингу разделяет эти величины. Total TPS per system — это “total output token throughput across all simultaneous requests” (перевод: «суммарная пропускная способность по выходным токенам для всех одновременных запросов»): все выходные токены, делённые на время от первого запроса до последнего ответа. TPS per user — длина вывода одного запроса, делённая на его полное время. Запросы в секунду (RPS) считают завершённые запросы вместо токенов.

Ключевая фраза: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (перевод: «с ростом числа параллельных запросов суммарный TPS системы растёт, а TPS на пользователя падает»). Суммарный TPS растёт, пока GPU не насыщен, а после этого может и упасть.

На сервере ограничением обычно служит память. В статье о PagedAttention объясняется, что обслуживание с высокой пропускной способностью “requires batching sufficiently many requests at a time” (перевод: «требует объединять в батч достаточно много запросов одновременно»), а сколько их поместится, решает KV-кэш каждого запроса. Более удачное управление памятью позволило vLLM достичь в 2–4 раза большей пропускной способности, чем у прежних систем, при той же задержке.

Почему это важно

Для того, кто вызывает API, пропускная способность — это ваша сторона трубы: сколько документов вы обработаете за час или сколько агентов смогут работать одновременно. Здесь действует простое правило:

your throughput ≈ concurrent requests × per-stream tokens per second

Оно верно, только пока провайдер держит скорость потока стабильной при росте нагрузки. Измеряйте её, а не предполагайте.

Пропускную способность ограничивают ваш лимит параллельности и rate limit, а не только модель. Если задача идёт медленно, проверьте, не выполняются ли запросы один за другим там, где могли бы идти параллельно.

В BroadNet Inference

BroadNet публикует лимиты на ключ, а не цифру пропускной способности системы. На странице тарифов указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash — модели тарифа; для других моделей скорость не публикуется. Для иллюстрации — если бы каждый поток шёл с этой скоростью:

Вариант Параллельные запросы Верхняя граница при сохранении скорости
Ключ с оплатой по факту 4 (и 30 запросов в минуту) 4 потоков × около 100 токенов в секунду каждый
Почасовой ключ (Gemma 4 VL 26B) 1 поток, 300,000 токенов в минуту не опубликована; измерьте
Сессия фиксированного тарифа 1 запрос за раз около 100 токенов в секунду

Чтобы масштабировать фиксированный тариф, добавляйте сессии — по одной на каждого параллельно работающего агента; см. безлимитные сессии LLM API и запуск параллельных агентов для кода. Эта скорость — заявленная BroadNet типичная цифра для DeepSeek V4.1 Flash, а не гарантия для других моделей или под нагрузкой.

Вопросы и ответы

Пропускная способность — это то же самое, что токены в секунду?

Только на уровне системы. Токены в секунду на поток — это скорость, которую видит один запрос. Пропускная способность складывает все потоки. NVIDIA называет их TPS per user и total TPS per system.

Как получить больше пропускной способности от LLM API?

Запускайте больше запросов параллельно в пределах лимитов параллельности и rate limit и делайте каждый запрос коротким. Если каждый запрос уже полностью использует свой слот, единственный путь вверх — больше слотов, ключей или сессий.

Означает ли более высокая пропускная способность меньшую задержку?

Нет. Пропускная способность — это вся работа в секунду по всем запросам, а задержка — сколько длится один запрос. Обслуживание большего числа запросов одновременно повышает общую пропускную способность, но может замедлить каждый запрос, поэтому NVIDIA приводит TPS per user и total TPS отдельно.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity