Не каждое задание для LLM — это чат. У вас 50 000 обращений в поддержку, которые нужно разметить, 200 000 описаний товаров для перевода или миллион отзывов для оценки. Провайдеры вроде OpenAI и Anthropic продают для этого Batch API. Многие OpenAI-совместимые API, в том числе BroadNet Inference, — нет. В этой статье показано, как запустить такое задание самому: рассчитать, сколько оно займёт, написать раннер, который соблюдает лимиты, и сделать так, чтобы его можно было безопасно остановить и перезапустить.
BroadRouter — собственный сайт BroadNet, поэтому в расчётах используются опубликованные лимиты BroadNet. Метод работает с любым API chat completions; подставьте цифры своего провайдера.
Есть ли у BroadNet Inference Batch API?
Нет. Справочник API, проверенный 15 ноября 2026 года, документирует POST /v1/chat/completions, POST /v1/audio/transcriptions и GET /v1/models (список моделей), а также эндпоинты аккаунта в /portal/. Эндпоинта для пакетов или загрузки файлов нет, пакетной скидки тоже. Массовое задание — это цикл обычных запросов.
Вот что даёт размещённый Batch API — чтобы вы понимали, что именно воссоздаёте:
| OpenAI Batch API | Anthropic Message Batches | Ваш собственный раннер | |
|---|---|---|---|
| Цена | На 50% ниже синхронной | Скидка 50% | Обычная цена |
| Срок выполнения | В течение 24 часов | Большинство за 1 час; истекает через 24 | Задаётся вашими лимитами |
| Размер пакета | 50 000 запросов или 200 МБ | 100 000 запросов или 256 МБ | Любой |
| Лимиты запросов | Отдельно от лимитов на модель | Действуют на запросы в очереди | Лимиты вашего ключа |
| Порядок результатов | Может отличаться; сопоставление по custom_id |
Сопоставление по custom_id |
Вы сами храните результаты по ID |
Два урока переносятся напрямую. Оба провайдера требуют помечать каждый запрос ID, потому что результаты приходят не по порядку. Ни один не обещает ответ за секунды. Ваш раннер должен работать так же: ID у всего и план, рассчитанный в часах.
Если скидка 50% важнее скорости и нужные модели там есть, размещённый Batch API может оказаться дешевле. Посчитайте оба варианта в калькуляторе стоимости LLM API, прежде чем что-то строить.
Сколько времени займёт задание?
Посчитайте это до написания кода. Пропускную способность ограничивают два лимита, и побеждает более медленный:
- Лимит одновременных запросов ÷ задержка. При 4 одновременных запросах и 2 секундах на запрос можно завершать 2 в секунду.
- Запросы в минуту. При 30 в минуту можно начинать 0,5 запроса в секунду, как бы быстро ни работала модель.
Ключ BroadNet с оплатой по факту допускает 4 одновременных запросов и 30 в минуту. При значениях из справочника API на момент проверки (30 в минуту и 4 одновременно, 2026-11-15) ограничивает лимит запросов, если только каждый запрос не длится больше 8 секунд; таблица ниже исходит из 30 в минуту:
| Элементов | Один элемент на запрос | 20 элементов на запрос |
|---|---|---|
| 10 000 | 5,6 часа | 17 минут |
| 100 000 | 2,3 дня | 2,8 часа |
| 1 000 000 | 23 дня | 28 часов |
При 30 запросах в минуту один ключ выполняет 1800 запросов в час, или 43 200 в день. Повторы тоже считаются: каждый вызванный вами 429 тратит слот.
Второй столбец — самый сильный рычаг. Короткие элементы, например отзывы или темы обращений, можно отправлять по 10–50 в запросе нумерованным списком и получать обратно JSON-массив. Проверяйте, что в массиве по одной записи на каждый вход и у каждой есть её номер. Этот приём показан в статье о классификации арабского текста. Длинные элементы так не упакуешь: каждый запрос всё равно должен помещаться в контекстное окно модели, а с ростом списка качество может падать. Проверьте упаковку на 200 элементах, прежде чем ей доверять.
Не распределяйте одно задание по нескольким ключам ради обхода лимита на ключ, не спросив. Политика допустимого использования BroadNet запрещает обходить лимиты запросов, параллельности и бюджета. Если нужно больше, спросите BroadNet или используйте сессии по тарифу (см. ниже). Планировщик пакетных заданий делает этот расчёт для вашего числа элементов, задержки и лимитов.
Как выглядит возобновляемый раннер?
Этот раннер читает items.jsonl (по одному объекту {"id", "text"} на строку) и дописывает по одной строке результата на элемент в results.jsonl. Ему нужен только OpenAI Python SDK.
import asyncio, json, os, random, time
from openai import AsyncOpenAI, APIStatusError, APIConnectionError, APITimeoutError
client = AsyncOpenAI(base_url=os.environ.get("BASE_URL", "https://inference.broadnet.ai/v1"),
api_key=os.environ["BROADNET_API_KEY"],
max_retries=0, # we retry ourselves, with a cap we can see
timeout=120)
MODEL = os.environ.get("MODEL", "broadnet/deepseek-v4.1-flash")
IN_FLIGHT = int(os.environ.get("IN_FLIGHT", "4")) # PAYG key: 4 in flight. Plan: 1 per session.
RPM = int(os.environ.get("RPM", "30")) # PAYG key: 30 requests a minute
MAX_ATTEMPTS = 6
class Pacer:
"""Spaces request starts at least 60/RPM seconds apart, across all workers."""
def __init__(self, rpm):
self.gap, self.next, self.lock = 60 / rpm, 0.0, asyncio.Lock()
async def wait(self):
async with self.lock:
now = time.monotonic()
delay = max(0.0, self.next - now)
self.next = max(now, self.next) + self.gap
await asyncio.sleep(delay)
def retryable(e):
if isinstance(e, (APIConnectionError, APITimeoutError)):
return True
return isinstance(e, APIStatusError) and e.status_code in (429, 500, 502, 503, 504)
async def call(item, pacer):
for attempt in range(MAX_ATTEMPTS):
await pacer.wait() # every attempt counts against the rate limit
try:
r = await client.chat.completions.create(
model=MODEL, max_tokens=1500, reasoning_effort="low",
messages=[{"role": "system", "content": "Classify the review as positive, negative or mixed. Reply with one word."},
{"role": "user", "content": item["text"]}])
c = r.choices[0]
return {"id": item["id"], "ok": True, "finish_reason": c.finish_reason,
"output": c.message.content, "usage": r.usage.model_dump() if r.usage else None}
except Exception as e:
if not retryable(e) or attempt == MAX_ATTEMPTS - 1:
return {"id": item["id"], "ok": False, "error": repr(e)[:300]}
await asyncio.sleep(random.uniform(0, min(60, 2 ** attempt))) # full jitter, capped
async def run(in_path, out_path):
done = set()
if os.path.exists(out_path): # resume: skip ids that already succeeded
with open(out_path) as f:
done = {json.loads(l)["id"] for l in f if l.strip() and json.loads(l).get("ok")}
todo = [it for it in map(json.loads, open(in_path)) if it["id"] not in done]
print(f"{len(done)} done, {len(todo)} to go")
pacer, queue = Pacer(RPM), asyncio.Queue()
for it in todo:
queue.put_nowait(it)
with open(out_path, "a") as out:
async def worker():
while True:
try:
it = queue.get_nowait()
except asyncio.QueueEmpty:
return
res = await call(it, pacer)
out.write(json.dumps(res, ensure_ascii=False) + "\n")
out.flush() # one line per finished item = the checkpoint
await asyncio.gather(*(worker() for _ in range(IN_FLIGHT)))
if __name__ == "__main__":
import sys
asyncio.run(run(sys.argv[1], sys.argv[2]))
Запуск: python batch_run.py items.jsonl results.jsonl. Мы проверили именно этот файл на локальном mock-сервере, который случайно возвращал 429 (8%) и 500 (5%) и отклонял всё сверх 4 одновременных запросов или 30 стартов в минуту. 25 элементов завершились за 55 секунд за 28 запросов (3 повтора), и ни в одном 60-секундном окне не было больше 30 стартов. Когда для экономии времени лимит mock-сервера подняли до 300 в минуту, прогон на 120 элементов, прерванный через 10 секунд, возобновился с 39 сохранённых результатов и завершился со 120 уникальными ID без дубликатов.
Почему пул воркеров, а не asyncio.gather?
В руководстве по ошибке 429 используется семафор вокруг asyncio.gather. Для нескольких сотен вызовов это нормально. Для большого задания лучше фиксированный пул воркеров, которые берут задачи из очереди:
- Память.
gatherсразу создаёт по задаче на каждый элемент. Пул держит только элементы, которые сейчас в работе. - Параллельность равна размеру пула. У четырёх воркеров никогда не будет пяти открытых запросов.
- Результаты пишутся на диск по мере завершения, в любом порядке, с ключом по ID.
Pacer отвечает за второй лимит. Один семафор не даст превысить 4 одновременных запроса, но если запросы длятся секунду, четыре воркера начнут 240 в минуту и получат 429 на большинстве из них. Pacer разносит старты на 2 секунды по всем воркерам, включая повторы.
Как сделать повторы безопасными?
Повторяйте только то, что может пройти со второй попытки:
| Ответ | Действие |
|---|---|
| 429 | Подождать и повторить; документация BroadNet говорит “use response details and bounded backoff” (перевод: «используйте данные ответа и ограниченную задержку») |
| 500, 502, 503, 504, таймауты, оборванные соединения | Повторить с ограниченной экспоненциальной задержкой |
| 400, 422 | Исправить запрос; повтор вернёт ту же ошибку |
| 401, 402, 403 | Остановить задание; нужно разобраться с ключом, балансом или политикой |
| 413 | Сократить элемент |
Раннер отключает собственные повторы SDK (max_retries=0), чтобы политика повторов была ровно одна и с видимым ограничением. Задержка экспоненциальная с полным случайным разбросом и потолком 60 секунд, так что воркеры, упавшие вместе, не повторяют вместе. После шести попыток элемент записывается как "ok": false, и задание идёт дальше. Один плохой элемент никогда не остановит миллион.
У вызова модели нет побочных эффектов, поэтому доставка здесь «хотя бы один раз»: если процесс упадёт посреди запроса, этот элемент при перезапуске отправится снова, и вы заплатите за него дважды. Это единственные потери. Если задание ещё и пишет в другую систему, например создаёт тикеты или отправляет письма, сделайте эту запись идемпотентной по ID элемента и выполняйте её отдельным проходом по results.jsonl. Идемпотентные побочные эффекты подробно разобраны в статье о долгоживущих агентах.
Как работают чекпойнты?
Выходной файл и есть чекпойнт. Каждый завершённый элемент — одна сброшенная на диск строка, поэтому после сбоя, деплоя или Ctrl-C следующий запуск читает файл, собирает ID с "ok": true и ставит в очередь только остальные. Элементы, которые раньше завершились ошибкой, повторяются при следующем запуске, и их новая строка дописывается в конец. При чтении результатов берите последнюю строку для каждого ID.
Три привычки помогают этому держаться днями:
- Стабильные ID. Используйте ключ из базы данных или хеш входа, но не номер строки, который сдвигается при изменении входного файла.
- Проверяйте
finish_reason. Ответ, обрезанный поmax_tokens, помечен"ok": true, но бесполезен. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения засчитываются в max_tokens. Раннер задаётreasoning_effort="low", который документирует BroadNet, и оставляет 1500 токенов. - Логируйте использование в каждой строке. Сумма
usageизresults.jsonlдаёт реальный счёт за токены, который можно сравнить с вашей оценкой.
Сколько это стоит: оплата по факту или сессия по тарифу?
При оплате по факту стоимость — это токены. Возьмём 100 000 отзывов, системный промпт на 150 токенов, отзыв на 150 токенов и 100 выходных токенов при низком уровне рассуждений. Это 30 млн входных и 10 млн выходных токенов. На DeepSeek V4.1 Flash это стоит 30 × $0.175 + 10 × $0.52. Держите системный промпт первым и побайтно неизменным, и его 15 млн токенов могут тарифицироваться по ставке входа из кэша — $0.0055 за 1 млн там, где кэш срабатывает. Ваши строки usage покажут, как часто это происходило.
На тарифе токены бесплатны, а платите вы временем. Сессия по тарифу DeepSeek V4.1 Flash “runs one request at a time” (перевод: «выполняет один запрос за раз»), поэтому задайте IN_FLIGHT=1 на сессию. Пропускная способность сессии — 86 400 ÷ секунды на элемент, в день. BroadNet указывает типичную скорость около 100 токенов в секунду, но ваша задержка зависит от длины промпта и рассуждений, так что измерьте её на 50 элементах. Если вы намерили 3 секунды на элемент, одна сессия обрабатывает 28 800 в день:
| Задание | Сессий | Время при 3 с/элемент | Тариф |
|---|---|---|---|
| 100 000 элементов | 1 | Около 3,5 дня | Одна неделя Orbit, $15 за сессию |
| 100 000 элементов | 4 | Около 21 часа | Четыре недели Orbit, по одной на сессию, или около 21 часа Meteor на сессию по $1 за час |
| 1 000 000 элементов | 6 | Около 6 дней | Шесть недель Orbit |
Тарифы предоставляются “best effort under fair use” (перевод: «по принципу best effort в рамках добросовестного использования»), и BroadNet не публикует лимит запросов в минуту для ключей тарифа; действующие лимиты видны в вашем аккаунте. Задавайте RPM по ним, а не наугад. Как распределять сессии по ключам, объясняет руководство по сессиям.
Где здесь BroadNet Inference
У BroadNet Inference нет Batch API, поэтому для массовых заданий он подходит, когда вы предпочитаете сами управлять раннером и платить обычные цены за токены или зафиксировать стоимость сессиями по тарифу DeepSeek V4.1 Flash. Для небольших заданий с ограниченным бюджетом Gemma 4 VL 26B за $0.10 за вход и $0.22 за выход за 1 млн работает на стартовом гранте $5. Промпты и ответы не хранятся после каждого запроса. Если задание может подождать сутки, а нужные модели есть у провайдера со скидкой 50% на пакеты, это может обойтись дешевле; сравните, прежде чем принимать решение. Тарифы и лимиты — на inference.broadnet.ai/plans.
