BroadRouter
Начать

Пакетная обработка LLM без Batch API: возобновляемый раннер

Команда BroadNet Inference · 8 мин чтения · Опубликовано · Обновлено

Без Batch API запускайте задание сами: читайте элементы из JSONL-файла, держите число одновременных запросов на лимите ключа, распределяйте старты запросов в пределах лимита в минуту, повторяйте 429 и 5xx с ограниченной задержкой и дописывайте каждый результат с его ID. При перезапуске пропускайте готовые ID. Время завершения обычно задаёт лимит запросов, а не модель.

Не каждое задание для LLM — это чат. У вас 50 000 обращений в поддержку, которые нужно разметить, 200 000 описаний товаров для перевода или миллион отзывов для оценки. Провайдеры вроде OpenAI и Anthropic продают для этого Batch API. Многие OpenAI-совместимые API, в том числе BroadNet Inference, — нет. В этой статье показано, как запустить такое задание самому: рассчитать, сколько оно займёт, написать раннер, который соблюдает лимиты, и сделать так, чтобы его можно было безопасно остановить и перезапустить.

BroadRouter — собственный сайт BroadNet, поэтому в расчётах используются опубликованные лимиты BroadNet. Метод работает с любым API chat completions; подставьте цифры своего провайдера.

Есть ли у BroadNet Inference Batch API?

Нет. Справочник API, проверенный 15 ноября 2026 года, документирует POST /v1/chat/completions, POST /v1/audio/transcriptions и GET /v1/models (список моделей), а также эндпоинты аккаунта в /portal/. Эндпоинта для пакетов или загрузки файлов нет, пакетной скидки тоже. Массовое задание — это цикл обычных запросов.

Вот что даёт размещённый Batch API — чтобы вы понимали, что именно воссоздаёте:

OpenAI Batch API Anthropic Message Batches Ваш собственный раннер
Цена На 50% ниже синхронной Скидка 50% Обычная цена
Срок выполнения В течение 24 часов Большинство за 1 час; истекает через 24 Задаётся вашими лимитами
Размер пакета 50 000 запросов или 200 МБ 100 000 запросов или 256 МБ Любой
Лимиты запросов Отдельно от лимитов на модель Действуют на запросы в очереди Лимиты вашего ключа
Порядок результатов Может отличаться; сопоставление по custom_id Сопоставление по custom_id Вы сами храните результаты по ID

Два урока переносятся напрямую. Оба провайдера требуют помечать каждый запрос ID, потому что результаты приходят не по порядку. Ни один не обещает ответ за секунды. Ваш раннер должен работать так же: ID у всего и план, рассчитанный в часах.

Если скидка 50% важнее скорости и нужные модели там есть, размещённый Batch API может оказаться дешевле. Посчитайте оба варианта в калькуляторе стоимости LLM API, прежде чем что-то строить.

Сколько времени займёт задание?

Посчитайте это до написания кода. Пропускную способность ограничивают два лимита, и побеждает более медленный:

  • Лимит одновременных запросов ÷ задержка. При 4 одновременных запросах и 2 секундах на запрос можно завершать 2 в секунду.
  • Запросы в минуту. При 30 в минуту можно начинать 0,5 запроса в секунду, как бы быстро ни работала модель.

Ключ BroadNet с оплатой по факту допускает 4 одновременных запросов и 30 в минуту. При значениях из справочника API на момент проверки (30 в минуту и 4 одновременно, 2026-11-15) ограничивает лимит запросов, если только каждый запрос не длится больше 8 секунд; таблица ниже исходит из 30 в минуту:

Элементов Один элемент на запрос 20 элементов на запрос
10 000 5,6 часа 17 минут
100 000 2,3 дня 2,8 часа
1 000 000 23 дня 28 часов

При 30 запросах в минуту один ключ выполняет 1800 запросов в час, или 43 200 в день. Повторы тоже считаются: каждый вызванный вами 429 тратит слот.

Второй столбец — самый сильный рычаг. Короткие элементы, например отзывы или темы обращений, можно отправлять по 10–50 в запросе нумерованным списком и получать обратно JSON-массив. Проверяйте, что в массиве по одной записи на каждый вход и у каждой есть её номер. Этот приём показан в статье о классификации арабского текста. Длинные элементы так не упакуешь: каждый запрос всё равно должен помещаться в контекстное окно модели, а с ростом списка качество может падать. Проверьте упаковку на 200 элементах, прежде чем ей доверять.

Не распределяйте одно задание по нескольким ключам ради обхода лимита на ключ, не спросив. Политика допустимого использования BroadNet запрещает обходить лимиты запросов, параллельности и бюджета. Если нужно больше, спросите BroadNet или используйте сессии по тарифу (см. ниже). Планировщик пакетных заданий делает этот расчёт для вашего числа элементов, задержки и лимитов.

Как выглядит возобновляемый раннер?

Этот раннер читает items.jsonl (по одному объекту {"id", "text"} на строку) и дописывает по одной строке результата на элемент в results.jsonl. Ему нужен только OpenAI Python SDK.

import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
                     api_key=os.environ["BROADNET_API_KEY"],
                     max_retries=0,        # we retry ourselves, with a cap we can see
                     timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4"))     # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30"))                # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6

class Pacer:
    """Spaces request starts at least 60/RPM seconds apart, across all workers."""
    def __init__(self, rpm):
        self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
    async def wait(self):
        async with self.lock:
            now = time.monotonic()
            delay = max(0.0, self.next - now)
            self.next = max(now, self.next) + self.gap
        await asyncio.sleep(delay)

def retryable(e):
    if isinstance(e, (APIConnectionError, APITimeoutError)):
        return True
    return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)

async def call(item, pacer):
    for attempt in range(MAX_ATTEMPTS):
        await pacer.wait()                          # every attempt counts against the rate limit
        try:
            r = await client.chat.completions.create(
                model=MODEL, max_tokens=1500, reasoning_effort="low",
                messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
                          {"role": "user", "content": item["text"]}])
            c = r.choices[0]
            return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
                    "output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
        except Exception as e:
            if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
                return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
            await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt)))   # full jitter, capped

async def run(in_path, out_path):
    done = set()
    if os.path.exists(out_path):                    # resume: skip ids that already succeeded
        with open(out_path) as f:
            done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
    todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
    print(f"{len(done)} done, {len(todo)} to go")
    pacer, queue = Pacer(RPM), asyncio.Queue()
    for it in todo:
        queue.put_nowait(it)
    with open(out_path, "a") as out:
        async def worker():
            while True:
                try:
                    it = queue.get_nowait()
                except asyncio.QueueEmpty:
                    return
                res = await call(it, pacer)
                out.write(json.dumps(res, ensure_ascii=False) + "\n")
                out.flush()                         # one line per finished item = the checkpoint
        await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))

if __name__ == "__main__":
    import sys
    asyncio.run(run(sys.argv[1], sys.argv[2]))

Запуск: python batch_run.py items.jsonl results.jsonl. Мы проверили именно этот файл на локальном mock-сервере, который случайно возвращал 429 (8%) и 500 (5%) и отклонял всё сверх 4 одновременных запросов или 30 стартов в минуту. 25 элементов завершились за 55 секунд за 28 запросов (3 повтора), и ни в одном 60-секундном окне не было больше 30 стартов. Когда для экономии времени лимит mock-сервера подняли до 300 в минуту, прогон на 120 элементов, прерванный через 10 секунд, возобновился с 39 сохранённых результатов и завершился со 120 уникальными ID без дубликатов.

Почему пул воркеров, а не asyncio.gather?

В руководстве по ошибке 429 используется семафор вокруг asyncio.gather. Для нескольких сотен вызовов это нормально. Для большого задания лучше фиксированный пул воркеров, которые берут задачи из очереди:

  • Память. gather сразу создаёт по задаче на каждый элемент. Пул держит только элементы, которые сейчас в работе.
  • Параллельность равна размеру пула. У четырёх воркеров никогда не будет пяти открытых запросов.
  • Результаты пишутся на диск по мере завершения, в любом порядке, с ключом по ID.

Pacer отвечает за второй лимит. Один семафор не даст превысить 4 одновременных запроса, но если запросы длятся секунду, четыре воркера начнут 240 в минуту и получат 429 на большинстве из них. Pacer разносит старты на 2 секунды по всем воркерам, включая повторы.

Как сделать повторы безопасными?

Повторяйте только то, что может пройти со второй попытки:

Ответ Действие
429 Подождать и повторить; документация BroadNet говорит “use response details and bounded backoff” (перевод: «используйте данные ответа и ограниченную задержку»)
500, 502, 503, 504, таймауты, оборванные соединения Повторить с ограниченной экспоненциальной задержкой
400, 422 Исправить запрос; повтор вернёт ту же ошибку
401, 402, 403 Остановить задание; нужно разобраться с ключом, балансом или политикой
413 Сократить элемент

Раннер отключает собственные повторы SDK (max_retries=0), чтобы политика повторов была ровно одна и с видимым ограничением. Задержка экспоненциальная с полным случайным разбросом и потолком 60 секунд, так что воркеры, упавшие вместе, не повторяют вместе. После шести попыток элемент записывается как "ok": false, и задание идёт дальше. Один плохой элемент никогда не остановит миллион.

У вызова модели нет побочных эффектов, поэтому доставка здесь «хотя бы один раз»: если процесс упадёт посреди запроса, этот элемент при перезапуске отправится снова, и вы заплатите за него дважды. Это единственные потери. Если задание ещё и пишет в другую систему, например создаёт тикеты или отправляет письма, сделайте эту запись идемпотентной по ID элемента и выполняйте её отдельным проходом по results.jsonl. Идемпотентные побочные эффекты подробно разобраны в статье о долгоживущих агентах.

Как работают чекпойнты?

Выходной файл и есть чекпойнт. Каждый завершённый элемент — одна сброшенная на диск строка, поэтому после сбоя, деплоя или Ctrl-C следующий запуск читает файл, собирает ID с "ok": true и ставит в очередь только остальные. Элементы, которые раньше завершились ошибкой, повторяются при следующем запуске, и их новая строка дописывается в конец. При чтении результатов берите последнюю строку для каждого ID.

Три привычки помогают этому держаться днями:

  1. Стабильные ID. Используйте ключ из базы данных или хеш входа, но не номер строки, который сдвигается при изменении входного файла.
  2. Проверяйте finish_reason. Ответ, обрезанный по max_tokens, помечен "ok": true, но бесполезен. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения засчитываются в max_tokens. Раннер задаёт reasoning_effort="low", который документирует BroadNet, и оставляет 1500 токенов.
  3. Логируйте использование в каждой строке. Сумма usage из results.jsonl даёт реальный счёт за токены, который можно сравнить с вашей оценкой.

Сколько это стоит: оплата по факту или сессия по тарифу?

При оплате по факту стоимость — это токены. Возьмём 100 000 отзывов, системный промпт на 150 токенов, отзыв на 150 токенов и 100 выходных токенов при низком уровне рассуждений. Это 30 млн входных и 10 млн выходных токенов. На DeepSeek V4.1 Flash это стоит 30 × $0.175 + 10 × $0.52. Держите системный промпт первым и побайтно неизменным, и его 15 млн токенов могут тарифицироваться по ставке входа из кэша — $0.0055 за 1 млн там, где кэш срабатывает. Ваши строки usage покажут, как часто это происходило.

На тарифе токены бесплатны, а платите вы временем. Сессия по тарифу DeepSeek V4.1 Flash “runs one request at a time” (перевод: «выполняет один запрос за раз»), поэтому задайте IN_FLIGHT=1 на сессию. Пропускная способность сессии — 86 400 ÷ секунды на элемент, в день. BroadNet указывает типичную скорость около 100 токенов в секунду, но ваша задержка зависит от длины промпта и рассуждений, так что измерьте её на 50 элементах. Если вы намерили 3 секунды на элемент, одна сессия обрабатывает 28 800 в день:

Задание Сессий Время при 3 с/элемент Тариф
100 000 элементов 1 Около 3,5 дня Одна неделя Orbit, $15 за сессию
100 000 элементов 4 Около 21 часа Четыре недели Orbit, по одной на сессию, или около 21 часа Meteor на сессию по $1 за час
1 000 000 элементов 6 Около 6 дней Шесть недель Orbit

Тарифы предоставляются “best effort under fair use” (перевод: «по принципу best effort в рамках добросовестного использования»), и BroadNet не публикует лимит запросов в минуту для ключей тарифа; действующие лимиты видны в вашем аккаунте. Задавайте RPM по ним, а не наугад. Как распределять сессии по ключам, объясняет руководство по сессиям.

Где здесь BroadNet Inference

У BroadNet Inference нет Batch API, поэтому для массовых заданий он подходит, когда вы предпочитаете сами управлять раннером и платить обычные цены за токены или зафиксировать стоимость сессиями по тарифу DeepSeek V4.1 Flash. Для небольших заданий с ограниченным бюджетом Gemma 4 VL 26B за $0.10 за вход и $0.22 за выход за 1 млн работает на стартовом гранте $5. Промпты и ответы не хранятся после каждого запроса. Если задание может подождать сутки, а нужные модели есть у провайдера со скидкой 50% на пакеты, это может обойтись дешевле; сравните, прежде чем принимать решение. Тарифы и лимиты — на inference.broadnet.ai/plans.

Вопросы и ответы

Есть ли у BroadNet Inference Batch API?

Нет. Справочник API, проверенный 15 ноября 2026 года, документирует POST /v1/chat/completions, POST /v1/audio/transcriptions и GET /v1/models, без эндпоинта для пакетов или загрузки файлов и без пакетной скидки. Запускайте массовые задания обычными запросами в пределах лимитов вашего ключа.

Как обработать 100 000 промптов через LLM API?

Сложите элементы в JSONL-файл, у каждого свой ID. Запустите фиксированное число воркеров, равное лимиту одновременных запросов ключа, распределяйте старты запросов в пределах лимита в минуту, повторяйте 429 и 5xx с ограниченной задержкой и дописывайте каждый результат в выходной файл с ключом по ID, чтобы задание можно было возобновить.

Сколько времени займёт пакет из миллиона запросов?

Разделите число элементов на свою реальную скорость. При 30 запросах в минуту и одном элементе на запрос один ключ обрабатывает 43 200 в день, так что миллион займёт около 23 дней. Упаковка 20 коротких элементов в запрос сокращает это примерно до 28 часов, если модель хорошо справляется с более длинным промптом.

Что использовать для пакетных вызовов LLM — asyncio.gather или пул воркеров?

Для десятков тысяч элементов используйте фиксированный пул воркеров, которые берут задачи из очереди. gather с семафором подходит для небольших заданий, но создаёт все задачи сразу и усложняет возобновление и отслеживание прогресса.

Можно ли ускориться с помощью нескольких API-ключей?

Сначала уточните. Политика допустимого использования BroadNet запрещает обходить лимиты запросов и параллельности, поэтому спросите BroadNet, прежде чем делить одно задание между ключами ради обхода лимита на ключ. Задокументированные способы увеличить пропускную способность — упаковка нескольких элементов в запрос и сессии по тарифу.

Подходит ли безлимитный тариф для пакетных заданий?

Может подойти — для DeepSeek V4.1 Flash. Сессия выполняет один запрос за раз без счётчика токенов, так что стоимость фиксирована, а вопрос только во времени. Измерьте секунды на элемент и купите столько сессий, чтобы уложиться в срок.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity