BroadRouter
Начать

Batch API (пакетная обработка запросов)

Обновлено

Batch API — это асинхронный эндпоинт LLM, который принимает сразу много запросов, обычно в виде файла, обрабатывает их не немедленно, а в пределах заданного окна, и возвращает результаты вместе. Такие провайдеры, как OpenAI и Anthropic, берут за пакетные запросы меньше, чем в своих стандартных API.

Также называют: пакетный API, пакетная обработка, пакетные запросы, батч-запросы, батчи, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Многим задачам с LLM ответ не нужен прямо сейчас. Batch API жертвует скоростью ответа ради более низкой цены и большего объёма.

Как это работает

Вы готовите множество запросов, отправляете их вместе и забираете результаты позже. Две лучше всего задокументированные версии:

OpenAI Batch API Anthropic Message Batches API
Ввод Файл .jsonl, по одному запросу на строку Список запросов Messages
Цена “50% cost discount compared to synchronous APIs” (перевод: «скидка 50% по сравнению с синхронными API») “50 percent discount on all usage” (перевод: «скидка 50 процентов на всё использование»)
Срок выполнения “Each batch completes within 24 hours (and often more quickly)” (перевод: «Каждый пакет завершается в течение 24 часов, а часто и быстрее») Большинство — в течение 1 часа; истекает, если не завершён за 24 часа
Ограничение размера 50 000 запросов, входной файл до 200 МБ 100 000 запросов или 256 МБ на пакет
Лимиты запросов Отдельно от лимитов на модель Распространяются и на пакетные запросы в очереди

У OpenAI вы загружаете файл, создаёте пакет с completion_window: "24h", опрашиваете его статус и скачиваете выходной файл. Оба API требуют уникальный custom_id для каждого запроса, потому что результаты могут вернуться не в том порядке, в каком были во входных данных. Anthropic хранит результаты 29 дней, а скидки на пакеты и на кэширование промптов могут суммироваться.

Почему это важно

Хорошо подходят оценки, классификация большого датасета, массовое суммирование и заполнение исторических данных. Руководство OpenAI называет запуск оценок и классификацию больших датасетов типичными сценариями. Не подходит всё, чего ждёт пользователь.

Экономия реальна, но ограничена. У этих провайдеров пакет вдвое снижает цену токенов, но не уменьшает число отправляемых входных и выходных токенов. Сокращать промпты по-прежнему имеет смысл.

Пакетная обработка заодно снимает проблему лимитов запросов. Вместо того чтобы самому разбираться с 429 и повторами с задержкой, вы отдаёте планирование работы провайдеру.

В BroadNet Inference

В документации BroadNet нет ни Batch API, ни эндпоинта для файлов, ни скидки на пакеты. Массовая работа в BroadNet — это синхронные запросы, выполняемые параллельно в пределах лимитов ключа: 30 запросов в минуту и 4 одновременно для ключа с оплатой по факту. Обрабатывайте ответы 429 и 5xx с ограниченной экспоненциальной задержкой, как показано в руководстве по ошибкам и повторам.

Для долгих заданий на DeepSeek V4.1 Flash сессия тарифа с фиксированной ценой выполняет по одному запросу за раз без учёта токенов, поэтому стоимость определяется временем, а не объёмом. Сравнить оба варианта для объёма вашего задания поможет калькулятор «фиксированная цена или оплата за токены», а планировщик пакетных заданий LLM покажет время выполнения при ваших лимитах и число сессий, нужное к сроку.

Вопросы и ответы

Насколько Batch API дешевле?

И OpenAI, и Anthropic указывают в документации скидку 50% по сравнению со стандартными API. У Anthropic скидка действует на входные, выходные и специальные токены.

Сколько времени выполняется пакет?

OpenAI пишет, что каждый пакет завершается в течение 24 часов, часто быстрее. Anthropic говорит, что большинство пакетов завершаются в течение 1 часа, а если обработка не закончена за 24 часа, пакет истекает.

Есть ли у BroadNet Batch API?

В документации BroadNet его нет. Массовые задания можно выполнять, отправляя запросы параллельно в пределах лимитов ключа, или на тарифе с фиксированной ценой для DeepSeek V4.1 Flash.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity