BroadRouter
Bắt đầu

Batch API

Cập nhật

Batch API là endpoint LLM bất đồng bộ nhận nhiều request cùng lúc, thường dưới dạng file, xử lý chúng trong một khung thời gian định sẵn thay vì ngay lập tức, rồi trả kết quả cùng nhau. Các nhà cung cấp như OpenAI và Anthropic tính giá batch thấp hơn API tiêu chuẩn.

Còn gọi là: xử lý hàng loạt, API xử lý theo lô, batch inference, batch processing API, Message Batches API, OpenAI Batch API, async batch requests

Nhiều việc dùng LLM không cần câu trả lời ngay. Batch API đổi tốc độ phản hồi lấy giá thấp hơn và khối lượng lớn hơn.

Cách hoạt động

Bạn chuẩn bị nhiều request, gửi chúng cùng lúc và lấy kết quả sau. Hai phiên bản có tài liệu đầy đủ nhất:

OpenAI Batch API Anthropic Message Batches API
Đầu vào Một file .jsonl, mỗi dòng một request Một danh sách request Messages
Giá “50% cost discount compared to synchronous APIs” (Bản dịch: giảm 50% chi phí so với API đồng bộ) “50 percent discount on all usage” (Bản dịch: giảm 50% cho mọi mức sử dụng)
Thời gian xử lý “Each batch completes within 24 hours (and often more quickly)” (Bản dịch: Mỗi batch hoàn tất trong 24 giờ, thường nhanh hơn) Phần lớn trong 1 giờ; hết hạn nếu chưa xong trong 24 giờ
Giới hạn kích thước 50.000 request, file đầu vào 200 MB 100.000 request hoặc 256 MB mỗi batch
Rate limit Tách riêng khỏi giới hạn theo model Áp dụng cả cho request batch đang xếp hàng

Với OpenAI, bạn upload file, tạo batch với completion_window: "24h", poll trạng thái rồi tải file kết quả. Cả hai API đều yêu cầu mỗi request có một custom_id riêng, vì kết quả có thể trả về theo thứ tự khác với đầu vào. Anthropic giữ kết quả trong 29 ngày, và mức giảm của batch có thể cộng dồn với mức giảm của prompt caching.

Vì sao quan trọng

Phù hợp với chạy đánh giá, phân loại một tập dữ liệu lớn, tóm tắt hàng loạt và bổ sung dữ liệu cũ (back-filling). Hướng dẫn của OpenAI nêu chạy đánh giá và phân loại tập dữ liệu lớn là các trường hợp dùng điển hình. Không phù hợp với bất cứ thứ gì người dùng đang chờ.

Khoản tiết kiệm là thật nhưng có giới hạn. Ở các nhà cung cấp đó, batch giảm một nửa giá token; nó không giảm lượng token đầu vào và đầu ra bạn gửi. Cắt gọn prompt vẫn quan trọng.

Batch cũng né được bài toán rate limit. Thay vì bạn tự xử lý lỗi 429 và backoff, nhà cung cấp sẽ tự lên lịch công việc.

Trên BroadNet Inference

Tài liệu của BroadNet không có batch API, endpoint file hay giá chiết khấu cho batch. Việc khối lượng lớn trên BroadNet nghĩa là chạy song song các request đồng bộ trong giới hạn của key: 30 request mỗi phút và 4 request đang xử lý cùng lúc với key trả theo mức dùng. Hãy xử lý phản hồi 429 và 5xx bằng exponential backoff có giới hạn, như hướng dẫn xử lý lỗi và thử lại trình bày.

Với việc dài trên DeepSeek V4.1 Flash, một phiên của gói giá cố định chạy từng request một và không đếm token, nên chi phí được quyết định bởi thời gian thay vì khối lượng. Hãy dùng công cụ so sánh giá cố định và giá theo token để so hai cách cho quy mô việc của bạn, và công cụ lập kế hoạch batch LLM để biết thời gian chạy trong giới hạn của bạn và số phiên cần cho một deadline.

Câu hỏi thường gặp

Batch API rẻ hơn bao nhiêu?

OpenAI và Anthropic đều ghi mức giảm 50% so với API tiêu chuẩn của họ. Mức giảm của Anthropic áp dụng cho token đầu vào, đầu ra và token đặc biệt.

Một batch mất bao lâu?

OpenAI cho biết mỗi batch hoàn tất trong vòng 24 giờ, thường sớm hơn. Anthropic cho biết phần lớn batch xong trong 1 giờ và sẽ hết hạn nếu chưa xử lý xong trong 24 giờ.

BroadNet có batch API không?

Tài liệu của BroadNet không có. Bạn có thể chạy việc khối lượng lớn bằng cách gửi request song song trong giới hạn của key, hoặc dùng gói giá cố định cho DeepSeek V4.1 Flash.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity