कई LLM जॉब को जवाब अभी नहीं चाहिए। Batch API जवाब की रफ़्तार के बदले कम कीमत और ज़्यादा वॉल्यूम देता है।
यह कैसे काम करता है
आप कई अनुरोध तैयार करते हैं, उन्हें एक साथ जमा करते हैं, और नतीजे बाद में लेते हैं। सबसे अच्छी तरह दस्तावेज़ किए गए दो रूप:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| इनपुट | एक .jsonl फ़ाइल, हर लाइन में एक अनुरोध |
Messages अनुरोधों की एक सूची |
| कीमत | “50% cost discount compared to synchronous APIs” (अनुवाद: synchronous API की तुलना में 50% छूट) | “50 percent discount on all usage” (अनुवाद: सारे उपयोग पर 50 प्रतिशत छूट) |
| पूरा होने का समय | “Each batch completes within 24 hours (and often more quickly)” (अनुवाद: हर batch 24 घंटे में, और अक्सर जल्दी, पूरा होता है) | ज़्यादातर 1 घंटे में; 24 घंटे में पूरा न हो तो expire |
| आकार सीमा | 50,000 अनुरोध, 200 MB इनपुट फ़ाइल | प्रति batch 100,000 अनुरोध या 256 MB |
| रेट लिमिट | प्रति-मॉडल लिमिट से अलग | क़तार में लगे batch अनुरोधों पर भी लागू |
OpenAI में आप फ़ाइल अपलोड करते हैं, completion_window: "24h" के साथ batch बनाते हैं, उसकी स्थिति पोल करते हैं और आउटपुट फ़ाइल डाउनलोड करते हैं। दोनों API में हर अनुरोध का अलग custom_id ज़रूरी है, क्योंकि नतीजे इनपुट से अलग क्रम में आ सकते हैं। Anthropic नतीजे 29 दिन रखता है, और उसकी batch और prompt caching छूट एक साथ मिल सकती हैं।
यह क्यों मायने रखता है
अच्छे इस्तेमाल हैं मूल्यांकन, बड़े डेटासेट का वर्गीकरण, बड़ी मात्रा में सारांश और पुराना डेटा भरना (back-filling)। OpenAI की गाइड मूल्यांकन चलाने और बड़े डेटासेट वर्गीकृत करने को आम इस्तेमाल बताती है। ख़राब इस्तेमाल है हर वह चीज़ जिसका यूज़र इंतज़ार कर रहा हो।
बचत असली है, लेकिन सीमित। इन प्रोवाइडर पर batch टोकन की कीमत आधी करता है; यह आपके भेजे इनपुट और आउटपुट टोकन की संख्या कम नहीं करता। प्रॉम्प्ट छोटे करना अब भी मायने रखता है।
Batch रेट लिमिट की समस्या से भी बचाता है। 429 और backoff ख़ुद सँभालने के बजाय प्रोवाइडर काम शेड्यूल करता है।
BroadNet Inference पर
BroadNet के डॉक्स में कोई Batch API, files एंडपॉइंट या batch छूट दर्ज नहीं है। BroadNet पर बड़ा काम मतलब अपनी key की सीमाओं के भीतर पैरेलल चलने वाले synchronous अनुरोध: उपयोग के अनुसार भुगतान वाली key पर प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध। 429 और 5xx जवाबों को सीमित exponential backoff से सँभालें, जैसा errors और retries गाइड दिखाती है।
DeepSeek V4.1 Flash पर लंबे जॉब के लिए फ़्लैट प्लान का एक सेशन एक समय में एक अनुरोध चलाता है, बिना टोकन मीटर के, इसलिए लागत वॉल्यूम से नहीं, समय से तय होती है। अपने जॉब के आकार पर दोनों की तुलना के लिए फ़्लैट रेट बनाम प्रति टोकन कैलकुलेटर इस्तेमाल करें, और अपनी सीमाओं में रन टाइम और डेडलाइन के लिए ज़रूरी सेशन जानने के लिए LLM batch जॉब प्लानर।