Nhiều việc dùng LLM không cần câu trả lời ngay. Batch API đổi tốc độ phản hồi lấy giá thấp hơn và khối lượng lớn hơn.
Cách hoạt động
Bạn chuẩn bị nhiều request, gửi chúng cùng lúc và lấy kết quả sau. Hai phiên bản có tài liệu đầy đủ nhất:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| Đầu vào | Một file .jsonl, mỗi dòng một request |
Một danh sách request Messages |
| Giá | “50% cost discount compared to synchronous APIs” (Bản dịch: giảm 50% chi phí so với API đồng bộ) | “50 percent discount on all usage” (Bản dịch: giảm 50% cho mọi mức sử dụng) |
| Thời gian xử lý | “Each batch completes within 24 hours (and often more quickly)” (Bản dịch: Mỗi batch hoàn tất trong 24 giờ, thường nhanh hơn) | Phần lớn trong 1 giờ; hết hạn nếu chưa xong trong 24 giờ |
| Giới hạn kích thước | 50.000 request, file đầu vào 200 MB | 100.000 request hoặc 256 MB mỗi batch |
| Rate limit | Tách riêng khỏi giới hạn theo model | Áp dụng cả cho request batch đang xếp hàng |
Với OpenAI, bạn upload file, tạo batch với completion_window: "24h", poll trạng thái rồi tải file kết quả. Cả hai API đều yêu cầu mỗi request có một custom_id riêng, vì kết quả có thể trả về theo thứ tự khác với đầu vào. Anthropic giữ kết quả trong 29 ngày, và mức giảm của batch có thể cộng dồn với mức giảm của prompt caching.
Vì sao quan trọng
Phù hợp với chạy đánh giá, phân loại một tập dữ liệu lớn, tóm tắt hàng loạt và bổ sung dữ liệu cũ (back-filling). Hướng dẫn của OpenAI nêu chạy đánh giá và phân loại tập dữ liệu lớn là các trường hợp dùng điển hình. Không phù hợp với bất cứ thứ gì người dùng đang chờ.
Khoản tiết kiệm là thật nhưng có giới hạn. Ở các nhà cung cấp đó, batch giảm một nửa giá token; nó không giảm lượng token đầu vào và đầu ra bạn gửi. Cắt gọn prompt vẫn quan trọng.
Batch cũng né được bài toán rate limit. Thay vì bạn tự xử lý lỗi 429 và backoff, nhà cung cấp sẽ tự lên lịch công việc.
Trên BroadNet Inference
Tài liệu của BroadNet không có batch API, endpoint file hay giá chiết khấu cho batch. Việc khối lượng lớn trên BroadNet nghĩa là chạy song song các request đồng bộ trong giới hạn của key: 30 request mỗi phút và 4 request đang xử lý cùng lúc với key trả theo mức dùng. Hãy xử lý phản hồi 429 và 5xx bằng exponential backoff có giới hạn, như hướng dẫn xử lý lỗi và thử lại trình bày.
Với việc dài trên DeepSeek V4.1 Flash, một phiên của gói giá cố định chạy từng request một và không đếm token, nên chi phí được quyết định bởi thời gian thay vì khối lượng. Hãy dùng công cụ so sánh giá cố định và giá theo token để so hai cách cho quy mô việc của bạn, và công cụ lập kế hoạch batch LLM để biết thời gian chạy trong giới hạn của bạn và số phiên cần cho một deadline.