BroadRouter
شروع کریں

Batch API (بیچ API)

اپ ڈیٹ

Batch API ایک asynchronous LLM اینڈپوائنٹ ہے جو ایک ساتھ کئی درخواستیں لیتا ہے، عموماً ایک فائل کی صورت میں، انہیں فوراً نہیں بلکہ ایک طے شدہ مدت میں پروسیس کرتا ہے، اور نتائج اکٹھے لوٹاتا ہے۔ OpenAI اور Anthropic جیسے فراہم کنندگان batch درخواستوں پر اپنے عام API سے کم قیمت لیتے ہیں۔

دوسرے نام: بیچ API، بیچ پروسیسنگ، batch api kya hai، batch processing kya hai، batch processing API، Message Batches API، OpenAI Batch API، batch inference، async batch requests

بہت سے LLM کاموں کو جواب ابھی نہیں چاہیے۔ Batch API جواب کی رفتار کے بدلے کم قیمت اور زیادہ حجم دیتا ہے۔

یہ کیسے کام کرتا ہے

آپ کئی درخواستیں تیار کرتے ہیں، انہیں ایک ساتھ جمع کراتے ہیں، اور نتائج بعد میں لیتے ہیں۔ سب سے اچھی طرح دستاویزی دو صورتیں:

OpenAI Batch API Anthropic Message Batches API
ان پٹ ایک .jsonl فائل، ہر سطر میں ایک درخواست Messages درخواستوں کی ایک فہرست
قیمت “50% cost discount compared to synchronous APIs” (ترجمہ: synchronous API کے مقابلے میں 50% رعایت) “50 percent discount on all usage” (ترجمہ: تمام استعمال پر 50 فیصد رعایت)
مکمل ہونے کا وقت “Each batch completes within 24 hours (and often more quickly)” (ترجمہ: ہر batch 24 گھنٹے میں، اور اکثر جلدی، مکمل ہوتا ہے) زیادہ تر 1 گھنٹے میں؛ 24 گھنٹے میں مکمل نہ ہو تو expire
سائز کی حد 50,000 درخواستیں، 200 MB ان پٹ فائل فی batch 100,000 درخواستیں یا 256 MB
ریٹ لمٹس فی ماڈل حدود سے الگ قطار میں لگی batch درخواستوں پر بھی لاگو

OpenAI میں آپ فائل اپ لوڈ کرتے ہیں، completion_window: "24h" کے ساتھ batch بناتے ہیں، اس کی حالت poll کرتے ہیں اور آؤٹ پٹ فائل ڈاؤن لوڈ کرتے ہیں۔ دونوں API میں ہر درخواست کا الگ custom_id ضروری ہے، کیونکہ نتائج ان پٹ سے مختلف ترتیب میں آ سکتے ہیں۔ Anthropic نتائج 29 دن رکھتا ہے، اور اس کی batch اور prompt caching رعایتیں ایک ساتھ مل سکتی ہیں۔

یہ کیوں اہم ہے

اچھے استعمال ہیں جانچ (evaluations)، بڑے ڈیٹاسیٹ کی درجہ بندی، بڑی مقدار میں خلاصے اور پرانا ڈیٹا بھرنا (back-filling)۔ OpenAI کی گائیڈ جانچ چلانے اور بڑے ڈیٹاسیٹس کی درجہ بندی کو عام استعمال بتاتی ہے۔ برے استعمال ہر وہ چیز ہے جس کا صارف انتظار کر رہا ہو۔

بچت حقیقی ہے، مگر محدود۔ ان فراہم کنندگان پر batch ٹوکن کی قیمت آدھی کرتا ہے؛ یہ آپ کے بھیجے گئے ان پٹ اور آؤٹ پٹ ٹوکنز کی تعداد کم نہیں کرتا۔ پرامپٹ مختصر کرنا اب بھی اہم ہے۔

Batch ریٹ لمٹ کے مسئلے سے بھی بچاتا ہے۔ 429 اور backoff خود سنبھالنے کے بجائے فراہم کنندہ کام شیڈول کرتا ہے۔

BroadNet Inference پر

BroadNet کی دستاویزات میں کوئی Batch API، files اینڈپوائنٹ یا batch رعایت درج نہیں۔ BroadNet پر بڑا کام یعنی اپنی کلید کی حدود میں متوازی چلنے والی synchronous درخواستیں: استعمال کے مطابق ادائیگی والی کلید پر فی منٹ 30 درخواستیں اور ایک وقت میں 4 جاری درخواستیں۔ 429 اور 5xx جوابات کو محدود exponential backoff سے سنبھالیں، جیسا کہ errors اور retries گائیڈ دکھاتی ہے۔

DeepSeek V4.1 Flash پر لمبے کاموں کے لیے فلیٹ پلان کا ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، بغیر ٹوکن میٹر کے، اس لیے لاگت حجم سے نہیں، وقت سے طے ہوتی ہے۔ اپنے کام کے سائز پر دونوں کا موازنہ کرنے کے لیے فلیٹ ریٹ بمقابلہ فی ٹوکن کیلکولیٹر استعمال کریں، اور اپنی حدود میں چلنے کا وقت اور ڈیڈ لائن کے لیے درکار سیشنز جاننے کے لیے LLM batch جاب پلانر۔

عام سوالات

Batch API کتنا سستا ہے؟

OpenAI اور Anthropic دونوں اپنے عام API کے مقابلے میں 50% رعایت درج کرتے ہیں۔ Anthropic کی رعایت ان پٹ، آؤٹ پٹ اور special ٹوکنز پر لاگو ہوتی ہے۔

ایک batch میں کتنا وقت لگتا ہے؟

OpenAI کہتا ہے کہ ہر batch 24 گھنٹے کے اندر مکمل ہوتا ہے، اکثر اس سے پہلے۔ Anthropic کہتا ہے کہ زیادہ تر batches 1 گھنٹے میں مکمل ہو جاتے ہیں، اور اگر 24 گھنٹے میں پروسیسنگ پوری نہ ہو تو expire ہو جاتے ہیں۔

کیا BroadNet کے پاس Batch API ہے؟

BroadNet کی دستاویزات میں کوئی Batch API درج نہیں۔ بڑے کام آپ اپنی کلید کی حدود میں متوازی درخواستیں بھیج کر چلا سکتے ہیں، یا DeepSeek V4.1 Flash کے لیے فلیٹ پلان پر۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں