Многим задачам с LLM ответ не нужен прямо сейчас. Batch API жертвует скоростью ответа ради более низкой цены и большего объёма.
Как это работает
Вы готовите множество запросов, отправляете их вместе и забираете результаты позже. Две лучше всего задокументированные версии:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Ввод | Файл .jsonl, по одному запросу на строку |
Список запросов Messages |
| Цена | “50% cost discount compared to synchronous APIs” (перевод: «скидка 50% по сравнению с синхронными API») | “50 percent discount on all usage” (перевод: «скидка 50 процентов на всё использование») |
| Срок выполнения | “Each batch completes within 24 hours (and often more quickly)” (перевод: «Каждый пакет завершается в течение 24 часов, а часто и быстрее») | Большинство — в течение 1 часа; истекает, если не завершён за 24 часа |
| Ограничение размера | 50 000 запросов, входной файл до 200 МБ | 100 000 запросов или 256 МБ на пакет |
| Лимиты запросов | Отдельно от лимитов на модель | Распространяются и на пакетные запросы в очереди |
У OpenAI вы загружаете файл, создаёте пакет с completion_window: "24h", опрашиваете его статус и скачиваете выходной файл. Оба API требуют уникальный custom_id для каждого запроса, потому что результаты могут вернуться не в том порядке, в каком были во входных данных. Anthropic хранит результаты 29 дней, а скидки на пакеты и на кэширование промптов могут суммироваться.
Почему это важно
Хорошо подходят оценки, классификация большого датасета, массовое суммирование и заполнение исторических данных. Руководство OpenAI называет запуск оценок и классификацию больших датасетов типичными сценариями. Не подходит всё, чего ждёт пользователь.
Экономия реальна, но ограничена. У этих провайдеров пакет вдвое снижает цену токенов, но не уменьшает число отправляемых входных и выходных токенов. Сокращать промпты по-прежнему имеет смысл.
Пакетная обработка заодно снимает проблему лимитов запросов. Вместо того чтобы самому разбираться с 429 и повторами с задержкой, вы отдаёте планирование работы провайдеру.
В BroadNet Inference
В документации BroadNet нет ни Batch API, ни эндпоинта для файлов, ни скидки на пакеты. Массовая работа в BroadNet — это синхронные запросы, выполняемые параллельно в пределах лимитов ключа: 30 запросов в минуту и 4 одновременно для ключа с оплатой по факту. Обрабатывайте ответы 429 и 5xx с ограниченной экспоненциальной задержкой, как показано в руководстве по ошибкам и повторам.
Для долгих заданий на DeepSeek V4.1 Flash сессия тарифа с фиксированной ценой выполняет по одному запросу за раз без учёта токенов, поэтому стоимость определяется временем, а не объёмом. Сравнить оба варианта для объёма вашего задания поможет калькулятор «фиксированная цена или оплата за токены», а планировщик пакетных заданий LLM покажет время выполнения при ваших лимитах и число сессий, нужное к сроку.