كثير من مهام نماذج اللغة لا تحتاج إلى إجابة الآن. وواجهة الدفعات تقايض سرعة الرد بسعر أقل وحجم أكبر.
كيف تعمل
تُعدّ طلبات كثيرة، وترسلها معًا، وتجمع النتائج لاحقًا. وهذان أفضل نسختين موثّقتين:
| OpenAI Batch API | Anthropic Message Batches API | |
|---|---|---|
| المدخلات | ملف .jsonl، طلب واحد في كل سطر |
قائمة بطلبات Messages |
| السعر | “50% cost discount compared to synchronous APIs” (ترجمة: خصم 50% على التكلفة مقارنةً بالواجهات المتزامنة) | “50 percent discount on all usage” (ترجمة: خصم 50 بالمئة على كل الاستخدام) |
| مدة التنفيذ | “Each batch completes within 24 hours (and often more quickly)” (ترجمة: تكتمل كل دفعة خلال 24 ساعة، وغالبًا أسرع) | معظمها خلال ساعة واحدة؛ وتنتهي صلاحيتها إن لم تكتمل خلال 24 ساعة |
| حد الحجم | 50,000 طلب، وملف إدخال بحجم 200 MB | 100,000 طلب أو 256 MB لكل دفعة |
| حدود المعدل | منفصلة عن حدود كل نموذج | تنطبق على طلبات الدفعات المنتظرة أيضًا |
مع OpenAI ترفع الملف، وتنشئ دفعة بالإعداد completion_window: "24h"، وتتابع حالتها، ثم تنزّل ملف المخرجات. وتشترط الواجهتان معرّف custom_id فريدًا لكل طلب، لأن النتائج قد تعود بترتيب مختلف عن المدخلات. وتحتفظ Anthropic بالنتائج 29 يومًا، ويمكن الجمع بين خصم الدفعات وخصم التخزين المؤقت للأوامر لديها.
لماذا تهم
المهام المناسبة هي التقييمات، وتصنيف مجموعة بيانات كبيرة، والملخصات بالجملة، وملء البيانات القديمة. ويذكر دليل OpenAI تشغيل التقييمات وتصنيف مجموعات البيانات الكبيرة استخدامين نموذجيين. أما غير المناسب فهو أي شيء ينتظره مستخدم.
التوفير حقيقي لكنه محدود. فالدفعة تخفض سعر الرمز إلى النصف لدى هذين المزوّدين، لكنها لا تقلّل عدد رموز الإدخال والإخراج التي ترسلها. ويظل تقليص الأوامر مهمًا.
وتتجاوز الدفعة أيضًا مشكلة حد المعدل. فبدل أن تتعامل بنفسك مع أخطاء 429 والانتظار قبل إعادة المحاولة، يجدول المزوّد العمل.
في BroadNet Inference
لا تذكر وثائق BroadNet واجهة دفعات، ولا نقطة نهاية للملفات، ولا خصمًا على الدفعات. والعمل بالجملة على BroadNet يعني طلبات متزامنة تُشغَّل بالتوازي ضمن حدود مفتاحك: 30 طلبًا في الدقيقة و4 قيد التنفيذ على مفتاح الدفع حسب الاستخدام. تعامل مع استجابات 429 و5xx بانتظار أُسّي محدود، كما يبيّن دليل الأخطاء وإعادة المحاولة.
وللمهام الطويلة على DeepSeek V4.1 Flash، تشغّل جلسة الخطة ثابتة السعر طلبًا واحدًا في كل مرة دون عدّاد للرموز، فتتحدد التكلفة بالوقت لا بالحجم. استخدم حاسبة السعر الثابت مقابل الدفع لكل رمز للمقارنة بينهما بحسب حجم مهمتك، ومخطِّط مهام الدفعات لنماذج اللغة لمعرفة مدة التشغيل ضمن حدودك وعدد الجلسات التي يحتاجها موعدك النهائي.