BroadRouter
Começar

Batch API (API de lote)

Atualizado em

Batch API é um endpoint assíncrono de LLM que aceita muitas requisições de uma vez, normalmente em um arquivo, processa tudo dentro de uma janela definida em vez de na hora e devolve os resultados juntos. Provedores como OpenAI e Anthropic cobram as requisições em lote com desconto em relação às APIs padrão.

Também chamado de: API de lote, API de processamento em lote, processamento em lote de LLM, inferência em lote, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Muitos jobs de LLM não precisam de resposta agora. Uma batch API troca a velocidade da resposta por um preço menor e um volume maior.

Como funciona

Você prepara muitas requisições, envia todas juntas e recolhe os resultados depois. As duas versões mais bem documentadas:

OpenAI Batch API Anthropic Message Batches API
Entrada Um arquivo .jsonl, uma requisição por linha Uma lista de requisições Messages
Preço “50% cost discount compared to synchronous APIs” (tradução: 50% de desconto em relação às APIs síncronas) “50 percent discount on all usage” (tradução: 50% de desconto em todo o uso)
Prazo “Each batch completes within 24 hours (and often more quickly)” (tradução: cada lote termina em até 24 horas, e muitas vezes antes) A maioria em até 1 hora; expira se não terminar em 24 horas
Limite de tamanho 50.000 requisições, arquivo de entrada de 200 MB 100.000 requisições ou 256 MB por lote
Rate limits Separados dos limites por modelo Valem também para requisições de lote na fila

Na OpenAI, você faz upload do arquivo, cria um lote com completion_window: "24h", acompanha o status e baixa o arquivo de saída. As duas APIs exigem um custom_id único por requisição, porque os resultados podem voltar em ordem diferente da entrada. A Anthropic guarda os resultados por 29 dias, e os descontos de lote e de prompt caching dela podem ser somados.

Por que isso importa

Bons casos de uso são avaliações, classificação de grandes datasets, resumos em massa e preenchimento retroativo de dados. O guia da OpenAI cita rodar avaliações e classificar grandes datasets como usos típicos. Casos ruins são qualquer coisa que um usuário esteja esperando.

A economia é real, mas tem limite. Um lote corta pela metade o preço por token nesses provedores; não reduz quantos tokens de entrada e saída você envia. Enxugar os prompts continua importando.

Um lote também contorna o problema de rate limit. Em vez de você mesmo lidar com 429 e backoff, o provedor agenda o trabalho.

Na BroadNet Inference

A documentação da BroadNet não lista batch API, endpoint de arquivos nem desconto de lote. Trabalho em massa na BroadNet significa requisições síncronas rodando em paralelo dentro dos limites da sua chave: 30 requisições por minuto e 4 em andamento em uma chave de pagamento por uso. Trate respostas 429 e 5xx com backoff exponencial limitado, como mostra o guia de erros e retries.

Para jobs longos no DeepSeek V4.1 Flash, uma sessão de plano de preço fixo roda uma requisição por vez sem medidor de tokens, então o custo é definido pelo tempo e não pelo volume. Use a calculadora de preço fixo vs. por token para comparar as duas opções no tamanho do seu job, e o planejador de jobs em lote de LLM para o tempo de execução dentro dos seus limites e as sessões necessárias para cumprir um prazo.

Perguntas frequentes

Quanto mais barata é uma batch API?

A OpenAI e a Anthropic documentam um desconto de 50% em relação às APIs padrão. O desconto da Anthropic vale para tokens de entrada, de saída e especiais.

Quanto tempo um lote demora?

A OpenAI afirma que cada lote termina em até 24 horas, muitas vezes antes. A Anthropic diz que a maioria dos lotes termina em até 1 hora e que eles expiram se o processamento não acabar em 24 horas.

A BroadNet tem batch API?

A documentação da BroadNet não lista uma. Você pode rodar jobs em massa enviando requisições em paralelo dentro dos limites da sua chave, ou em um plano de preço fixo para o DeepSeek V4.1 Flash.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity