Токены в секунду говорят, как быстро стримится один ответ. Пропускная способность говорит, сколько успевает сделать вся система.
Как это работает
Руководство NVIDIA по бенчмаркингу разделяет эти величины. Total TPS per system — это “total output token throughput across all simultaneous requests” (перевод: «суммарная пропускная способность по выходным токенам для всех одновременных запросов»): все выходные токены, делённые на время от первого запроса до последнего ответа. TPS per user — длина вывода одного запроса, делённая на его полное время. Запросы в секунду (RPS) считают завершённые запросы вместо токенов.
Ключевая фраза: “As the number of concurrent requests increases, total system TPS increases while TPS per user decreases” (перевод: «с ростом числа параллельных запросов суммарный TPS системы растёт, а TPS на пользователя падает»). Суммарный TPS растёт, пока GPU не насыщен, а после этого может и упасть.
На сервере ограничением обычно служит память. В статье о PagedAttention объясняется, что обслуживание с высокой пропускной способностью “requires batching sufficiently many requests at a time” (перевод: «требует объединять в батч достаточно много запросов одновременно»), а сколько их поместится, решает KV-кэш каждого запроса. Более удачное управление памятью позволило vLLM достичь в 2–4 раза большей пропускной способности, чем у прежних систем, при той же задержке.
Почему это важно
Для того, кто вызывает API, пропускная способность — это ваша сторона трубы: сколько документов вы обработаете за час или сколько агентов смогут работать одновременно. Здесь действует простое правило:
your throughput ≈ concurrent requests × per-stream tokens per second
Оно верно, только пока провайдер держит скорость потока стабильной при росте нагрузки. Измеряйте её, а не предполагайте.
Пропускную способность ограничивают ваш лимит параллельности и rate limit, а не только модель. Если задача идёт медленно, проверьте, не выполняются ли запросы один за другим там, где могли бы идти параллельно.
В BroadNet Inference
BroadNet публикует лимиты на ключ, а не цифру пропускной способности системы. На странице тарифов указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash — модели тарифа; для других моделей скорость не публикуется. Для иллюстрации — если бы каждый поток шёл с этой скоростью:
| Вариант | Параллельные запросы | Верхняя граница при сохранении скорости |
|---|---|---|
| Ключ с оплатой по факту | 4 (и 30 запросов в минуту) | 4 потоков × около 100 токенов в секунду каждый |
| Почасовой ключ (Gemma 4 VL 26B) | 1 поток, 300,000 токенов в минуту | не опубликована; измерьте |
| Сессия фиксированного тарифа | 1 запрос за раз | около 100 токенов в секунду |
Чтобы масштабировать фиксированный тариф, добавляйте сессии — по одной на каждого параллельно работающего агента; см. безлимитные сессии LLM API и запуск параллельных агентов для кода. Эта скорость — заявленная BroadNet типичная цифра для DeepSeek V4.1 Flash, а не гарантия для других моделей или под нагрузкой.