Ошибка 429 означает, что ваш трафик превысил лимит запросов: число запросов в минуту, одновременных запросов, токенов в минуту или расходов. Исправляется это в две части. Правильно повторяйте: экспоненциальная задержка с потолком и случайным разбросом (jitter), с учётом Retry-After. Отправляйте меньше за раз: семафор на уровне лимита одновременных запросов ключа плюс очередь. Обе части разобраны ниже, с кодом.
Полный справочник по кодам состояния — в руководстве по ошибкам и повторам; о многочасовых запусках агентов с контрольными точками и тайм-аутами — в статье долгоживущие агенты: тайм-ауты и повторы.
Чем 429 отличается от 5xx?
| Код | Чья проблема | Повторять? | Как |
|---|---|---|---|
| 429 | Ваш трафик превысил лимит | Да | Задержка с jitter; соблюдать Retry-After; снизить параллельность |
| 500 / 502 / 503 / 504 | На стороне сервера | Да | Ограниченная экспоненциальная задержка |
| Сброс соединения, тайм-аут | Сеть или сервер | Обычно | Задержка; для стримов — только если вы готовы к новому счёту |
| 400 / 422 | Неверный запрос | Нет | Исправить тело запроса |
| 401 / 402 / 403 | Ключ, баланс или политика | Нет | Исправить ключ, пополнить баланс, исправить список разрешённых адресов |
| 413 | Слишком большой запрос | Нет | Уменьшить его |
В BroadNet Inference ошибка 429 может означать любой из четырёх лимитов: на запросы, на параллельность, на скорость расхода токенов или на расходы. Лимит расходов за 30 секунд не сбросится. В документации BroadNet не сказано, какое поле тела ошибки называет лимит, поэтому логируйте тело ответа и сравнивайте его с лимитами в сведениях о вашем ключе.
Наш открытый датасет бесплатных тарифов и лимитов запросов LLM API сравнивает, что 14 провайдеров публикуют о бесплатном доступе, начальных лимитах запросов, требовании карты и обучении на данных бесплатного тарифа, с источником и датой для каждого значения.
Какие лимиты вызывают ошибку 429?
Знайте цифры, в рамках которых вы работаете. В BroadNet Inference:
| Тип ключа | Запросов в минуту | Одновременно | Прочее |
|---|---|---|---|
| Оплата по факту | 30 | 4 | Общий бюджет расходов |
| Почасовой ключ | 120 | 1 стрим | 300,000 токенов в минуту |
| Сессия безлимитного тарифа | — | 1 запрос на сессию | Без счётчика токенов |
Для LLM важнее всего число одновременных запросов. Стриминговый ответ занимает слот, пока не придёт последний токен, поэтому длинный ответ держит его ровно столько, сколько модель его пишет (BroadNet указывает типичную скорость около 100 токенов в секунду). Отправьте больше параллельных вызовов, чем у ключа слотов (4), и лишние получат 429, хотя за эту минуту вы отправили лишь несколько запросов. Это проблема параллельности, и одна лишь задержка справляется с ней плохо. Чтобы рассчитать число воркеров под лимит до запуска, воспользуйтесь бесплатным калькулятором лимитов запросов LLM. Для фиксированного задания из множества элементов планировщик пакетных заданий LLM переводит те же лимиты во время выполнения. Другие провайдеры считают иначе (токены в минуту, запросы в день или одновременные запросы); в статье лимиты запросов LLM API у разных провайдеров 13 из них сравниваются по их собственной документации.
Как написать задержку с jitter?
Обычная экспоненциальная задержка ждёт 1, 2, 4, 8 секунд. Если сотню воркеров ограничили в один момент, они все вернутся тоже в один момент. В симуляции AWS со 100 конкурирующими клиентами full jitter сократил число вызовов более чем вдвое и завершился быстрее, чем задержка без разброса. Самый простой вариант, full jitter, ждёт случайное время от нуля до экспоненциального потолка:
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
for attempt in range(max_attempts):
try:
return client.chat.completions.create(**kwargs)
except (RateLimitError, APIStatusError, APIConnectionError) as e:
status = getattr(e, "status_code", None)
if status is not None and status not in RETRYABLE:
raise # 400, 401, 403...: retrying will not help
if attempt == max_attempts - 1:
raise
retry_after = None
if getattr(e, "response", None) is not None:
retry_after = e.response.headers.get("retry-after")
wait = random.uniform(0, min(cap, base * 2 ** attempt))
if retry_after and retry_after.isdigit():
wait = max(wait, float(retry_after))
time.sleep(wait)
max_retries=0 отключает собственные повторы SDK, чтобы запрос не повторялся дважды. Если вас устраивает встроенное поведение SDK, можно и наоборот: обойтись без своего цикла и задать max_retries=4 в клиенте, как показано в руководстве по Python SDK. Официальные SDK для Python и Node по умолчанию дважды повторяют ошибки соединения, 408, 409, 429 и 5xx.
Retry-After — стандартный заголовок (RFC 9110), в котором может быть число секунд или дата. Документация BroadNet его не обещает, поэтому код считает его необязательным.
Как предотвратить ошибки 429 заранее?
Ограничьте число одновременных запросов лимитом ключа. В Python это делает asyncio.Semaphore: один объект и один блок async with. В коде для примера стоит 4; задайте лимит одновременных запросов своего ключа (4 для ключа BroadNet с оплатой по факту):
import asyncio, os
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4) # match the key's in-flight limit
async def ask(prompt):
async with slots:
r = await client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main(prompts):
return await asyncio.gather(*(ask(p) for p in prompts))
results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
gather запускает все задачи, но одновременно выполняется столько, сколько разрешает семафор. Остальные ждут в очереди семафора. В Node то же самое делает пакет p-limit, снова с 4 в качестве примера:
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit
async function ask(prompt) {
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: prompt }],
});
return r.choices[0].message.content;
}
const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
Если нужен ещё и лимит в минуту, добавьте token bucket, который выдаёт одно разрешение каждые 60 / rpm секунд, где rpm — лимит запросов в минуту для вашего ключа (30 для ключа BroadNet с оплатой по факту).
Когда нужна настоящая очередь?
Семафор живёт в одном процессе. Как только один ключ делят несколько воркеров или серверов, лимит становится общим, а каждый процесс видит только свой трафик. Тогда:
- Складывайте задания в общую очередь (Redis, SQS, таблица в базе данных).
- Запускайте фиксированное число потребителей, равное лимиту одновременных запросов ключа.
- Давайте каждому заданию ID и храните результаты по ID, чтобы повторённое задание не выполнялось дважды.
- Пропускайте интерактивный и пакетный трафик через разные ключи или разные очереди, чтобы накопившиеся пакетные задания никогда не блокировали пользователя, который ждёт ответа.
Для большого задания из тысяч элементов без Batch API см. статью возобновляемый пакетный раннер.
Какие ошибки при повторах превращают 429 в простой?
- Повторы без ограничения. Цикл повторов без потолка во время долгого сбоя многократно увеличивает нагрузку, а при оплате за токены — и счёт.
- Слепой повтор недоигранного стрима. Если стрим уже вернул токены, повтор — это новый инференс, и пользователь может увидеть текст дважды. Как распознать незавершённые стримы, описано в статье о стриминге.
- Повтор ошибок аккаунта. Ошибка 401 из-за исчерпанного лимита оплаты по факту или 402 из-за недостаточного баланса сама не исправится.
Логируйте каждый повтор с кодом состояния, временем ожидания и заголовком ответа X-Request-ID, который документация BroadNet просит сохранять для поддержки. Растущая доля повторов — самый ранний сигнал, что вам нужно больше мощности; как её записывать, показано в статье о логировании использования.
Какое место здесь занимает BroadNet Inference
Лимиты BroadNet опубликованы и достаточно малы, чтобы под них проектировать: 4 одновременных запросов на ключе с оплатой по факту. Этого хватает приложениям и агентам, но слишком тесно для большого пакетного задания, которому нужны сотни параллельных вызовов на одном ключе. Для агентов у безлимитного тарифа нет счётчика токенов, и он выполняет один запрос за раз в каждой сессии; для параллельной работы вы добавляете сессии, как описано в статье запуск параллельных агентов для программирования. Актуальные лимиты — в справочнике API.
