Любой общий API защищает себя лимитами. Зная, какие из них действуют, вы понимаете, с какой скоростью можно работать и что делать, когда упёрлись в ограничение.
Как это работает
LLM API измеряют несколько величин одновременно. OpenAI, например, перечисляет:
- RPM: запросы в минуту
- RPD: запросы в день
- TPM: токены в минуту
- TPD: токены в день
Действует тот лимит, в который вы упрётесь первым. Многие провайдеры также ограничивают параллельность — число одновременно выполняющихся запросов.
При превышении лимита сервер возвращает 429 Too Many Requests. MDN описывает это так: клиент “sent too many requests in a given amount of time” (перевод: «отправил слишком много запросов за заданное время»). Заголовок Retry-After может указывать, сколько секунд подождать.
Безопасный цикл повторов:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Официальные SDK OpenAI уже повторяют ошибки 429 и 5xx с экспоненциальной задержкой; вместо собственного цикла задайте max_retries.
Почему это важно
- Пропускная способность. Реальный потолок — наименьший из всех лимитов. Если ключ ограничен 30 запросами в минуту, как ключи BroadNet с оплатой по факту, 1000 запросов займут не меньше 1000 ÷ 30 минут, как бы быстро ни работала модель. Калькулятор лимитов посчитает это для ваших лимитов.
- Надёжность. Необработанные 429 выглядят как сбои. Экспоненциальная задержка превращает их в короткие паузы.
- Расходы. Некоторые провайдеры возвращают 429 и при достижении лимита расходов — это частая ситуация на ключах с оплатой по факту. Прежде чем повторять, прочитайте тело ошибки.
В BroadNet Inference
| Тип ключа | Лимиты |
|---|---|
| Оплата по факту | 30 запросов в минуту, одновременно не больше 4 |
| Почасовой ключ | 120 запросов в минуту, один поток, 300,000 токенов в минуту |
| Безлимитный тариф | Один запрос за раз на сессию, без счётчика токенов |
BroadNet возвращает 429, когда достигнут лимит частоты, параллельности, токенов в минуту или расходов. Сделайте паузу и повторите. Все коды статусов разобраны в руководстве по ошибкам и повторам, а какие лимиты остаются у тарифа с фиксированной ценой, объясняет статья что на самом деле значит «безлимитный».
Частые ошибки
- Повторять ошибки 401 или 403. Это проблемы ключа или политики, а не лимиты.
- Запускать много воркеров на одном ключе без общего ограничителя. Каждый воркер делает паузу сам по себе, а остальные продолжают перегружать ключ.