Muitos jobs de LLM não precisam de resposta agora. Uma batch API troca a velocidade da resposta por um preço menor e um volume maior.
Como funciona
Você prepara muitas requisições, envia todas juntas e recolhe os resultados depois. As duas versões mais bem documentadas:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Entrada | Um arquivo .jsonl, uma requisição por linha |
Uma lista de requisições Messages |
| Preço | “50% cost discount compared to synchronous APIs” (tradução: 50% de desconto em relação às APIs síncronas) | “50 percent discount on all usage” (tradução: 50% de desconto em todo o uso) |
| Prazo | “Each batch completes within 24 hours (and often more quickly)” (tradução: cada lote termina em até 24 horas, e muitas vezes antes) | A maioria em até 1 hora; expira se não terminar em 24 horas |
| Limite de tamanho | 50.000 requisições, arquivo de entrada de 200 MB | 100.000 requisições ou 256 MB por lote |
| Rate limits | Separados dos limites por modelo | Valem também para requisições de lote na fila |
Na OpenAI, você faz upload do arquivo, cria um lote com completion_window: "24h", acompanha o status e baixa o arquivo de saída. As duas APIs exigem um custom_id único por requisição, porque os resultados podem voltar em ordem diferente da entrada. A Anthropic guarda os resultados por 29 dias, e os descontos de lote e de prompt caching dela podem ser somados.
Por que isso importa
Bons casos de uso são avaliações, classificação de grandes datasets, resumos em massa e preenchimento retroativo de dados. O guia da OpenAI cita rodar avaliações e classificar grandes datasets como usos típicos. Casos ruins são qualquer coisa que um usuário esteja esperando.
A economia é real, mas tem limite. Um lote corta pela metade o preço por token nesses provedores; não reduz quantos tokens de entrada e saída você envia. Enxugar os prompts continua importando.
Um lote também contorna o problema de rate limit. Em vez de você mesmo lidar com 429 e backoff, o provedor agenda o trabalho.
Na BroadNet Inference
A documentação da BroadNet não lista batch API, endpoint de arquivos nem desconto de lote. Trabalho em massa na BroadNet significa requisições síncronas rodando em paralelo dentro dos limites da sua chave: 30 requisições por minuto e 4 em andamento em uma chave de pagamento por uso. Trate respostas 429 e 5xx com backoff exponencial limitado, como mostra o guia de erros e retries.
Para jobs longos no DeepSeek V4.1 Flash, uma sessão de plano de preço fixo roda uma requisição por vez sem medidor de tokens, então o custo é definido pelo tempo e não pelo volume. Use a calculadora de preço fixo vs. por token para comparar as duas opções no tamanho do seu job, e o planejador de jobs em lote de LLM para o tempo de execução dentro dos seus limites e as sessões necessárias para cumprir um prazo.