BroadRouter

Ошибка 429 в LLM API: экспоненциальная задержка, jitter и лимитеры

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Ошибка 429 означает, что вы упёрлись в лимит запросов, параллельности или расходов. Повторяйте запрос с экспоненциальной задержкой с потолком и случайным разбросом (jitter), а если сервер прислал Retry-After, соблюдайте его. Затем предотвращайте большинство 429: ограничьте число одновременных запросов семафором на уровне лимита ключа, а остальные ставьте в очередь. 5xx повторяйте так же; другие ошибки 4xx нужно исправлять.

Ошибка 429 означает, что ваш трафик превысил лимит запросов: число запросов в минуту, одновременных запросов, токенов в минуту или расходов. Исправляется это в две части. Правильно повторяйте: экспоненциальная задержка с потолком и случайным разбросом (jitter), с учётом Retry-After. Отправляйте меньше за раз: семафор на уровне лимита одновременных запросов ключа плюс очередь. Обе части разобраны ниже, с кодом.

Полный справочник по кодам состояния — в руководстве по ошибкам и повторам; о многочасовых запусках агентов с контрольными точками и тайм-аутами — в статье долгоживущие агенты: тайм-ауты и повторы.

Чем 429 отличается от 5xx?

Код Чья проблема Повторять? Как
429 Ваш трафик превысил лимит Да Задержка с jitter; соблюдать Retry-After; снизить параллельность
500 / 502 / 503 / 504 На стороне сервера Да Ограниченная экспоненциальная задержка
Сброс соединения, тайм-аут Сеть или сервер Обычно Задержка; для стримов — только если вы готовы к новому счёту
400 / 422 Неверный запрос Нет Исправить тело запроса
401 / 402 / 403 Ключ, баланс или политика Нет Исправить ключ, пополнить баланс, исправить список разрешённых адресов
413 Слишком большой запрос Нет Уменьшить его

В BroadNet Inference ошибка 429 может означать любой из четырёх лимитов: на запросы, на параллельность, на скорость расхода токенов или на расходы. Лимит расходов за 30 секунд не сбросится. В документации BroadNet не сказано, какое поле тела ошибки называет лимит, поэтому логируйте тело ответа и сравнивайте его с лимитами в сведениях о вашем ключе.

Наш открытый датасет бесплатных тарифов и лимитов запросов LLM API сравнивает, что 14 провайдеров публикуют о бесплатном доступе, начальных лимитах запросов, требовании карты и обучении на данных бесплатного тарифа, с источником и датой для каждого значения.

Какие лимиты вызывают ошибку 429?

Знайте цифры, в рамках которых вы работаете. В BroadNet Inference:

Тип ключа Запросов в минуту Одновременно Прочее
Оплата по факту 30 4 Общий бюджет расходов
Почасовой ключ 120 1 стрим 300,000 токенов в минуту
Сессия безлимитного тарифа — 1 запрос на сессию Без счётчика токенов

Для LLM важнее всего число одновременных запросов. Стриминговый ответ занимает слот, пока не придёт последний токен, поэтому длинный ответ держит его ровно столько, сколько модель его пишет (BroadNet указывает типичную скорость около 100 токенов в секунду). Отправьте больше параллельных вызовов, чем у ключа слотов (4), и лишние получат 429, хотя за эту минуту вы отправили лишь несколько запросов. Это проблема параллельности, и одна лишь задержка справляется с ней плохо. Чтобы рассчитать число воркеров под лимит до запуска, воспользуйтесь бесплатным калькулятором лимитов запросов LLM. Для фиксированного задания из множества элементов планировщик пакетных заданий LLM переводит те же лимиты во время выполнения. Другие провайдеры считают иначе (токены в минуту, запросы в день или одновременные запросы); в статье лимиты запросов LLM API у разных провайдеров 13 из них сравниваются по их собственной документации.

Как написать задержку с jitter?

Обычная экспоненциальная задержка ждёт 1, 2, 4, 8 секунд. Если сотню воркеров ограничили в один момент, они все вернутся тоже в один момент. В симуляции AWS со 100 конкурирующими клиентами full jitter сократил число вызовов более чем вдвое и завершился быстрее, чем задержка без разброса. Самый простой вариант, full jitter, ждёт случайное время от нуля до экспоненциального потолка:

import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)

max_retries=0 отключает собственные повторы SDK, чтобы запрос не повторялся дважды. Если вас устраивает встроенное поведение SDK, можно и наоборот: обойтись без своего цикла и задать max_retries=4 в клиенте, как показано в руководстве по Python SDK. Официальные SDK для Python и Node по умолчанию дважды повторяют ошибки соединения, 408, 409, 429 и 5xx.

Retry-After — стандартный заголовок (RFC 9110), в котором может быть число секунд или дата. Документация BroadNet его не обещает, поэтому код считает его необязательным.

Как предотвратить ошибки 429 заранее?

Ограничьте число одновременных запросов лимитом ключа. В Python это делает asyncio.Semaphore: один объект и один блок async with. В коде для примера стоит 4; задайте лимит одновременных запросов своего ключа (4 для ключа BroadNet с оплатой по факту):

import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))

gather запускает все задачи, но одновременно выполняется столько, сколько разрешает семафор. Остальные ждут в очереди семафора. В Node то же самое делает пакет p-limit, снова с 4 в качестве примера:

// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));

Если нужен ещё и лимит в минуту, добавьте token bucket, который выдаёт одно разрешение каждые 60 / rpm секунд, где rpm — лимит запросов в минуту для вашего ключа (30 для ключа BroadNet с оплатой по факту).

Когда нужна настоящая очередь?

Семафор живёт в одном процессе. Как только один ключ делят несколько воркеров или серверов, лимит становится общим, а каждый процесс видит только свой трафик. Тогда:

  1. Складывайте задания в общую очередь (Redis, SQS, таблица в базе данных).
  2. Запускайте фиксированное число потребителей, равное лимиту одновременных запросов ключа.
  3. Давайте каждому заданию ID и храните результаты по ID, чтобы повторённое задание не выполнялось дважды.
  4. Пропускайте интерактивный и пакетный трафик через разные ключи или разные очереди, чтобы накопившиеся пакетные задания никогда не блокировали пользователя, который ждёт ответа.

Для большого задания из тысяч элементов без Batch API см. статью возобновляемый пакетный раннер.

Какие ошибки при повторах превращают 429 в простой?

  • Повторы без ограничения. Цикл повторов без потолка во время долгого сбоя многократно увеличивает нагрузку, а при оплате за токены — и счёт.
  • Слепой повтор недоигранного стрима. Если стрим уже вернул токены, повтор — это новый инференс, и пользователь может увидеть текст дважды. Как распознать незавершённые стримы, описано в статье о стриминге.
  • Повтор ошибок аккаунта. Ошибка 401 из-за исчерпанного лимита оплаты по факту или 402 из-за недостаточного баланса сама не исправится.

Логируйте каждый повтор с кодом состояния, временем ожидания и заголовком ответа X-Request-ID, который документация BroadNet просит сохранять для поддержки. Растущая доля повторов — самый ранний сигнал, что вам нужно больше мощности; как её записывать, показано в статье о логировании использования.

Какое место здесь занимает BroadNet Inference

Лимиты BroadNet опубликованы и достаточно малы, чтобы под них проектировать: 4 одновременных запросов на ключе с оплатой по факту. Этого хватает приложениям и агентам, но слишком тесно для большого пакетного задания, которому нужны сотни параллельных вызовов на одном ключе. Для агентов у безлимитного тарифа нет счётчика токенов, и он выполняет один запрос за раз в каждой сессии; для параллельной работы вы добавляете сессии, как описано в статье запуск параллельных агентов для программирования. Актуальные лимиты — в справочнике API.

Вопросы и ответы

Что означает ошибка HTTP 429 в LLM API?

Too Many Requests («слишком много запросов»). Вы превысили лимит запросов в минуту, одновременных запросов, токенов в минуту или расходов. Запрос не был обработан, поэтому его можно безопасно отправить снова после паузы.

Сколько ждать перед повтором после ошибки 429?

Если сервер прислал Retry-After, используйте его. Иначе начните примерно с одной секунды, удваивайте задержку с каждой попыткой, ограничьте её 30–60 секундами и выбирайте случайное ожидание от нуля до этого потолка. Остановитесь после четырёх–шести попыток.

Нужно ли повторять ошибки 500 и 503 от LLM API?

Да, с той же ограниченной задержкой. Это ошибки на стороне сервера. Запрос с ошибкой 400, 401, 403 или 422 будет падать одинаково каждый раз, поэтому его нужно исправить.

OpenAI SDK сам повторяет запросы при 429?

Да. Официальные SDK для Python и Node по умолчанию дважды повторяют ошибки соединения, 408, 409, 429 и 5xx с короткой экспоненциальной задержкой. Для пакетных заданий увеличьте max_retries и добавьте собственный лимит параллельности.

Почему я получаю 429, хотя не превышаю лимит запросов в минуту?

Обычно дело в лимите параллельности. Длинные стриминговые ответы остаются «в полёте» по многу секунд, поэтому несколько параллельных вызовов могут упереться в потолок одновременных запросов, хотя счётчик за минуту выглядит низким.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity