Rate limit считает запросы за период времени. Параллельность считает запросы в один момент. Запросы к LLM могут длиться много секунд, поэтому второй лимит часто срабатывает первым.
Как это работает
Закон Литтла связывает три величины:
запросов в работе = частота запросов × среднее время запроса
Возьмём гипотетический ключ, который допускает 5 запросов в работе и 60 запросов в минуту, при этом каждый запрос длится 20 секунд. Лимит параллельности позволяет не больше 5 ÷ 20 = 0,25 запроса в секунду, то есть 15 в минуту. До 60 в минуту вы не дойдёте: ограничивает именно параллельность. При запросах по 2 секунды тот же лимит позволяет 150 в минуту, и тогда ограничивает уже rate limit. Калькулятор rate limit посчитает это для ваших чисел.
Длинные ответы, токены рассуждений и длинные промпты удлиняют запросы, а значит, быстрее расходуют параллельность. Потоковый ответ держит слот до своего конца.
Почему это важно
Провайдеры ограничивают параллельность, потому что память и вычисления GPU общие. Бенчмарки NVIDIA показывают: с ростом параллельности на сервере суммарный вывод растёт, а токены в секунду каждого запроса падают. Лимит на ключ не даёт одному клиенту замедлить всех.
Для вашего приложения параллельность задаёт размер пула воркеров и число агентов, которые могут работать бок о бок. Делайте пул равным лимиту, а не больше, иначе лишние воркеры будут только собирать ошибки 429.
В BroadNet Inference
| Доступ | Параллельность |
|---|---|
| Ключ с оплатой по факту | 4 запросов в работе, плюс 30 запросов в минуту |
| Почасовой ключ | Один поток |
| Безлимитный тариф | Один запрос за раз на сессию |
Тарифы продают именно параллельность. У сессии нет счётчика токенов, и она обрабатывает один запрос за раз — так, как работает один агент. Запросы в одной сессии выстраиваются в очередь друг за другом. Чтобы запускать агентов параллельно, покупайте по сессии на агента: оркестратору с тремя субагентами нужно четыре сессии. На одном ключе может быть несколько сессий.
Прочитайте, как работают безлимитные сессии и как запускать параллельных агентов для кода на фиксированном тарифе. Агенты тратят много времени на запуск инструментов, поэтому измерьте реальное перекрытие, прежде чем покупать дополнительные сессии.
Частые ошибки
- Запускать по воркеру на задачу без пула. Пакет из 100 задач превращается в 100 одновременных запросов.
- Ставить тайм-аут клиента короче длинного ответа с рассуждениями. Клиент сдаётся, а слот всё ещё занят.