BroadRouter
Comenzar

Batch API (API de procesamiento por lotes)

Actualizado

Una Batch API es un endpoint asíncrono de LLM que acepta muchas solicitudes a la vez, normalmente en un archivo, las procesa dentro de un plazo fijado en lugar de inmediatamente y devuelve los resultados juntos. Proveedores como OpenAI y Anthropic cobran las solicitudes por lotes con descuento respecto de sus APIs estándar.

También llamado: API por lotes, procesamiento por lotes, inferencia por lotes, solicitudes por lotes, Batch API, batch processing API, Message Batches API, OpenAI Batch API, batch inference, async batch requests

Muchos trabajos con LLMs no necesitan una respuesta inmediata. Una Batch API cambia velocidad de respuesta por un precio menor y más volumen.

Cómo funciona

Usted prepara muchas solicitudes, las envía juntas y recoge los resultados más tarde. Las dos versiones mejor documentadas:

OpenAI Batch API Anthropic Message Batches API
Entrada Un archivo .jsonl, una solicitud por línea Una lista de solicitudes de Messages
Precio “50% cost discount compared to synchronous APIs” (traducción: 50 % de descuento frente a las APIs síncronas) “50 percent discount on all usage” (traducción: 50 % de descuento en todo el uso)
Plazo “Each batch completes within 24 hours (and often more quickly)” (traducción: cada lote se completa en 24 horas, y a menudo antes) La mayoría en 1 hora; caduca si no termina en 24 horas
Límite de tamaño 50,000 solicitudes, archivo de entrada de 200 MB 100,000 solicitudes o 256 MB por lote
Límites de tasa Separados de los límites por modelo También se aplican a las solicitudes en cola

Con OpenAI, usted sube el archivo, crea un lote con completion_window: "24h", consulta su estado y descarga el archivo de salida. Ambas APIs exigen un custom_id único por solicitud, porque los resultados pueden volver en un orden distinto al de la entrada. Anthropic conserva los resultados 29 días, y sus descuentos por lote y por prompt caching pueden acumularse.

Por qué importa

Encajan bien las evaluaciones, la clasificación de un conjunto de datos grande, los resúmenes masivos y el relleno de datos históricos. La guía de OpenAI menciona ejecutar evaluaciones y clasificar grandes conjuntos de datos como usos típicos. No encaja nada que un usuario esté esperando.

El ahorro es real, pero tiene un límite. Un lote reduce a la mitad el precio por token en esos proveedores; no reduce cuántos tokens de entrada y de salida envía. Recortar los prompts sigue importando.

Un lote también esquiva el problema del límite de tasa. En lugar de gestionar usted los 429 y el backoff, el proveedor programa el trabajo.

En BroadNet Inference

La documentación de BroadNet no incluye una Batch API, un endpoint de archivos ni un descuento por lotes. En BroadNet, el trabajo masivo consiste en solicitudes síncronas ejecutadas en paralelo dentro de los límites de su clave: 30 solicitudes por minuto y 4 en curso con una clave de pago por uso. Gestione las respuestas 429 y 5xx con backoff exponencial acotado, como muestra la guía de errores y reintentos.

Para trabajos largos con DeepSeek V4.1 Flash, una sesión de un plan de tarifa plana ejecuta una solicitud a la vez sin medidor de tokens, así que el costo lo fija el tiempo y no el volumen. Use la calculadora de tarifa plana vs. por token para comparar ambas opciones según el tamaño de su trabajo, y el planificador de trabajos por lotes para LLM para estimar la duración con sus límites y las sesiones que necesita para cumplir un plazo.

Preguntas frecuentes

¿Cuánto más barata es una Batch API?

OpenAI y Anthropic documentan un descuento del 50 % frente a sus APIs estándar. El descuento de Anthropic se aplica a los tokens de entrada, de salida y especiales.

¿Cuánto tarda un lote?

OpenAI indica que cada lote se completa en 24 horas, a menudo antes. Anthropic dice que la mayoría de los lotes termina en 1 hora y que caducan si el procesamiento no concluye en 24 horas.

¿BroadNet tiene una Batch API?

La documentación de BroadNet no incluye ninguna. Puede ejecutar trabajos masivos enviando solicitudes en paralelo dentro de los límites de su clave, o con un plan de tarifa plana para DeepSeek V4.1 Flash.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity