بہت سے LLM کاموں کو جواب ابھی نہیں چاہیے۔ Batch API جواب کی رفتار کے بدلے کم قیمت اور زیادہ حجم دیتا ہے۔
یہ کیسے کام کرتا ہے
آپ کئی درخواستیں تیار کرتے ہیں، انہیں ایک ساتھ جمع کراتے ہیں، اور نتائج بعد میں لیتے ہیں۔ سب سے اچھی طرح دستاویزی دو صورتیں:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| ان پٹ | ایک .jsonl فائل، ہر سطر میں ایک درخواست |
Messages درخواستوں کی ایک فہرست |
| قیمت | “50% cost discount compared to synchronous APIs” (ترجمہ: synchronous API کے مقابلے میں 50% رعایت) | “50 percent discount on all usage” (ترجمہ: تمام استعمال پر 50 فیصد رعایت) |
| مکمل ہونے کا وقت | “Each batch completes within 24 hours (and often more quickly)” (ترجمہ: ہر batch 24 گھنٹے میں، اور اکثر جلدی، مکمل ہوتا ہے) | زیادہ تر 1 گھنٹے میں؛ 24 گھنٹے میں مکمل نہ ہو تو expire |
| سائز کی حد | 50,000 درخواستیں، 200 MB ان پٹ فائل | فی batch 100,000 درخواستیں یا 256 MB |
| ریٹ لمٹس | فی ماڈل حدود سے الگ | قطار میں لگی batch درخواستوں پر بھی لاگو |
OpenAI میں آپ فائل اپ لوڈ کرتے ہیں، completion_window: "24h" کے ساتھ batch بناتے ہیں، اس کی حالت poll کرتے ہیں اور آؤٹ پٹ فائل ڈاؤن لوڈ کرتے ہیں۔ دونوں API میں ہر درخواست کا الگ custom_id ضروری ہے، کیونکہ نتائج ان پٹ سے مختلف ترتیب میں آ سکتے ہیں۔ Anthropic نتائج 29 دن رکھتا ہے، اور اس کی batch اور prompt caching رعایتیں ایک ساتھ مل سکتی ہیں۔
یہ کیوں اہم ہے
اچھے استعمال ہیں جانچ (evaluations)، بڑے ڈیٹاسیٹ کی درجہ بندی، بڑی مقدار میں خلاصے اور پرانا ڈیٹا بھرنا (back-filling)۔ OpenAI کی گائیڈ جانچ چلانے اور بڑے ڈیٹاسیٹس کی درجہ بندی کو عام استعمال بتاتی ہے۔ برے استعمال ہر وہ چیز ہے جس کا صارف انتظار کر رہا ہو۔
بچت حقیقی ہے، مگر محدود۔ ان فراہم کنندگان پر batch ٹوکن کی قیمت آدھی کرتا ہے؛ یہ آپ کے بھیجے گئے ان پٹ اور آؤٹ پٹ ٹوکنز کی تعداد کم نہیں کرتا۔ پرامپٹ مختصر کرنا اب بھی اہم ہے۔
Batch ریٹ لمٹ کے مسئلے سے بھی بچاتا ہے۔ 429 اور backoff خود سنبھالنے کے بجائے فراہم کنندہ کام شیڈول کرتا ہے۔
BroadNet Inference پر
BroadNet کی دستاویزات میں کوئی Batch API، files اینڈپوائنٹ یا batch رعایت درج نہیں۔ BroadNet پر بڑا کام یعنی اپنی کلید کی حدود میں متوازی چلنے والی synchronous درخواستیں: استعمال کے مطابق ادائیگی والی کلید پر فی منٹ 30 درخواستیں اور ایک وقت میں 4 جاری درخواستیں۔ 429 اور 5xx جوابات کو محدود exponential backoff سے سنبھالیں، جیسا کہ errors اور retries گائیڈ دکھاتی ہے۔
DeepSeek V4.1 Flash پر لمبے کاموں کے لیے فلیٹ پلان کا ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، بغیر ٹوکن میٹر کے، اس لیے لاگت حجم سے نہیں، وقت سے طے ہوتی ہے۔ اپنے کام کے سائز پر دونوں کا موازنہ کرنے کے لیے فلیٹ ریٹ بمقابلہ فی ٹوکن کیلکولیٹر استعمال کریں، اور اپنی حدود میں چلنے کا وقت اور ڈیڈ لائن کے لیے درکار سیشنز جاننے کے لیے LLM batch جاب پلانر۔