Muchos trabajos con LLMs no necesitan una respuesta inmediata. Una Batch API cambia velocidad de respuesta por un precio menor y más volumen.
Cómo funciona
Usted prepara muchas solicitudes, las envía juntas y recoge los resultados más tarde. Las dos versiones mejor documentadas:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Entrada | Un archivo .jsonl, una solicitud por línea |
Una lista de solicitudes de Messages |
| Precio | “50% cost discount compared to synchronous APIs” (traducción: 50 % de descuento frente a las APIs síncronas) | “50 percent discount on all usage” (traducción: 50 % de descuento en todo el uso) |
| Plazo | “Each batch completes within 24 hours (and often more quickly)” (traducción: cada lote se completa en 24 horas, y a menudo antes) | La mayoría en 1 hora; caduca si no termina en 24 horas |
| Límite de tamaño | 50,000 solicitudes, archivo de entrada de 200 MB | 100,000 solicitudes o 256 MB por lote |
| Límites de tasa | Separados de los límites por modelo | También se aplican a las solicitudes en cola |
Con OpenAI, usted sube el archivo, crea un lote con completion_window: "24h", consulta su estado y descarga el archivo de salida. Ambas APIs exigen un custom_id único por solicitud, porque los resultados pueden volver en un orden distinto al de la entrada. Anthropic conserva los resultados 29 días, y sus descuentos por lote y por prompt caching pueden acumularse.
Por qué importa
Encajan bien las evaluaciones, la clasificación de un conjunto de datos grande, los resúmenes masivos y el relleno de datos históricos. La guía de OpenAI menciona ejecutar evaluaciones y clasificar grandes conjuntos de datos como usos típicos. No encaja nada que un usuario esté esperando.
El ahorro es real, pero tiene un límite. Un lote reduce a la mitad el precio por token en esos proveedores; no reduce cuántos tokens de entrada y de salida envía. Recortar los prompts sigue importando.
Un lote también esquiva el problema del límite de tasa. En lugar de gestionar usted los 429 y el backoff, el proveedor programa el trabajo.
En BroadNet Inference
La documentación de BroadNet no incluye una Batch API, un endpoint de archivos ni un descuento por lotes. En BroadNet, el trabajo masivo consiste en solicitudes síncronas ejecutadas en paralelo dentro de los límites de su clave: 30 solicitudes por minuto y 4 en curso con una clave de pago por uso. Gestione las respuestas 429 y 5xx con backoff exponencial acotado, como muestra la guía de errores y reintentos.
Para trabajos largos con DeepSeek V4.1 Flash, una sesión de un plan de tarifa plana ejecuta una solicitud a la vez sin medidor de tokens, así que el costo lo fija el tiempo y no el volumen. Use la calculadora de tarifa plana vs. por token para comparar ambas opciones según el tamaño de su trabajo, y el planificador de trabajos por lotes para LLM para estimar la duración con sus límites y las sesiones que necesita para cumplir un plazo.