---
title: "Что такое параллельность запросов в LLM API? | BroadRouter"
description: "Параллельность — сколько запросов выполняется в один момент. Почему LLM API её ограничивают, как она связана с rate limit и задержкой и как считать воркеров."
url: https://broadrouter.com/ru/glossary/concurrency/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/concurrency/) (обновлён 2026-11-14).

# Параллельность (concurrency)

Обновлено 2026-11-14

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

Также называют: параллельные запросы, одновременные запросы, лимит параллельности, конкурентность, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limit считает запросы за период времени. Параллельность считает запросы в один момент. Запросы к LLM могут длиться много секунд, поэтому второй лимит часто срабатывает первым.

## Как это работает

Закон Литтла связывает три величины:

`запросов в работе = частота запросов × среднее время запроса`

Возьмём гипотетический ключ, который допускает 5 запросов в работе и 60 запросов в минуту, при этом каждый запрос длится 20 секунд. Лимит параллельности позволяет не больше 5 ÷ 20 = 0,25 запроса в секунду, то есть 15 в минуту. До 60 в минуту вы не дойдёте: ограничивает именно параллельность. При запросах по 2 секунды тот же лимит позволяет 150 в минуту, и тогда ограничивает уже rate limit. [Калькулятор rate limit](https://broadrouter.com/tools/llm-rate-limit-calculator/) посчитает это для ваших чисел.

Длинные ответы, [токены рассуждений](https://broadrouter.com/ru/glossary/reasoning-tokens/) и длинные промпты удлиняют запросы, а значит, быстрее расходуют параллельность. [Потоковый](https://broadrouter.com/ru/glossary/streaming/) ответ держит слот до своего конца.

## Почему это важно

Провайдеры ограничивают параллельность, потому что память и вычисления GPU общие. Бенчмарки NVIDIA показывают: с ростом параллельности на сервере суммарный вывод растёт, а [токены в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/) каждого запроса падают. Лимит на ключ не даёт одному клиенту замедлить всех.

Для вашего приложения параллельность задаёт размер пула воркеров и число агентов, которые могут работать бок о бок. Делайте пул равным лимиту, а не больше, иначе лишние воркеры будут только собирать ошибки 429.

## В BroadNet Inference

| Доступ | Параллельность |
| --- | --- |
| Ключ с оплатой по факту | 4 запросов в работе, плюс 30 запросов в минуту |
| Почасовой ключ | Один поток |
| Безлимитный тариф | Один запрос за раз на сессию |

Тарифы продают именно параллельность. У сессии нет счётчика токенов, и она обрабатывает один запрос за раз — так, как работает один агент. Запросы в одной сессии выстраиваются в очередь друг за другом. Чтобы запускать агентов параллельно, покупайте по сессии на агента: оркестратору с тремя субагентами нужно четыре сессии. На одном ключе может быть несколько сессий.

Прочитайте, [как работают безлимитные сессии](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) и [как запускать параллельных агентов для кода на фиксированном тарифе](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/). Агенты тратят много времени на запуск инструментов, поэтому измерьте реальное перекрытие, прежде чем покупать дополнительные сессии.

## Частые ошибки

-   Запускать по воркеру на задачу без пула. Пакет из 100 задач превращается в 100 одновременных запросов.
-   Ставить тайм-аут клиента короче длинного ответа с рассуждениями. Клиент сдаётся, а слот всё ещё занят.

## Вопросы и ответы

### Что будет, если превысить лимит параллельности?

Зависит от провайдера: лишний запрос либо отклоняется, часто с кодом 429, либо ждёт в очереди, пока не освободится слот.

### Занимает ли стриминг слот параллельности?

Да. Потоковый ответ держит свой слот, пока не придёт последний чанк, поэтому длинные ответы занимают слот дольше.

### Сколько параллельных запросов нужно ИИ-агенту для кода?

Одному агенту обычно хватает одного: он ждёт каждый ответ перед следующим шагом. Оркестратору с тремя одновременно работающими субагентами нужно до четырёх: четыре, если оркестратор шлёт запросы, пока они работают, и три, если он их ждёт.

## См. также

-   [Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/) (термин)
-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/) (термин)
-   [Безлимитный тариф LLM (flat-rate LLM plan)](https://broadrouter.com/ru/glossary/flat-rate-llm-plan/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [Задержка (latency)](https://broadrouter.com/ru/glossary/latency/) (термин)
-   [ИИ-агент (AI agent)](https://broadrouter.com/ru/glossary/agent/) (термин)
-   [Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) (руководство)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/) (руководство)
-   [Параллельные агенты для программирования на безлимитном LLM API](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/) (статья)
-   [Что на самом деле значит «безлимит» в тарифе LLM API](https://broadrouter.com/ru/blog/what-unlimited-llm-api-really-means/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-concurrency&utm_content=page-cta) ·

**Источники**

-   [Закон Литтла (Википедия)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, метрики бенчмаркинга LLM (параллельность и пропускная способность)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Справочник API BroadNet Inference, лимиты (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-concurrency&utm_content=sources#limits)
-   [Тарифы BroadNet Inference (сессии) (на английском)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-concurrency&utm_content=sources)
