كل استدعاء عبر الشبكة يحتاج إلى نقطة تتوقف عندها عن الانتظار. وفي استدعاءات LLM يصعب اختيار هذه النقطة، لأن الإجابة البطيئة والاتصال الميت يبدوان متشابهين لبعض الوقت.
كيف تعمل
تقسم عملاء HTTP الانتظار إلى مراحل. ولدى HTTPX، وهو عميل HTTP شائع في Python، أربع منها:
| المهلة | معناها في HTTPX | الخطأ |
|---|---|---|
| الاتصال (Connect) | أطول مدة لإنشاء اتصال المقبس | ConnectTimeout |
| القراءة (Read) | أطول انتظار لجزء من البيانات الواردة | ReadTimeout |
| الكتابة (Write) | أطول انتظار لإرسال جزء من جسم الطلب | WriteTimeout |
| المجمّع (Pool) | أطول انتظار للحصول على اتصال من المجمّع | PoolTimeout |
تنتهي مهلة HTTPX العادي افتراضيًا بعد خمس ثوانٍ من خمول الشبكة. أما OpenAI Python SDK فيضبط قيمته الافتراضية الخاصة: “By default requests time out after 10 minutes” (ترجمة: تنتهي مهلة الطلبات افتراضيًا بعد 10 دقائق)، ويرمي APITimeoutError، ويعيد محاولة الطلب الذي انتهت مهلته مرتين. ويعيد أيضًا افتراضيًا محاولة أخطاء الاتصال واستجابات 408 و409 و429 و5xx.
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
وللخوادم مهلات أيضًا. إذ تعرّف MDN الحالة 504 Gateway Timeout بأنها بوابة أو وسيط “did not get a response in time from the upstream server” (ترجمة: لم يتلقَّ استجابة في الوقت المناسب من الخادم الأصلي)، والحالة 408 Request Timeout بأنها رغبة الخادم “to shut down this unused connection” (ترجمة: في إغلاق هذا الاتصال غير المستخدم).
لماذا تهم
- نماذج الاستدلال بطيئة في البدء. يحدث التفكير قبل أول رمز ظاهر. ومهلة قراءة قصيرة في استدعاء غير متدفق قد تقطع طلبًا سليمًا.
- البث يكشف التوقفات. مع البث المتدفق، يعيد كل جزء ضبط مؤقّت القراءة، فيظهر التوقف سريعًا حتى في إجابة طويلة.
- إعادة المحاولة قد تضاعف التكلفة. انتهاء المهلة لا يعني أن الخادم توقف. وإعادة محاولة طلب لا يزال يعمل قد تُحاسَب مرتين. استخدم الانتظار الأُسّي مع حد أقصى، ومفتاح عدم التكرار (idempotency key) حيث تدعمه الواجهة.
في BroadNet Inference
يقول المرجع التقني لـ BroadNet أن تقرأ البث حتى data: [DONE]. فإن انتهى الاتصال قبلها، “treat the response as incomplete, record the X-Request-ID” (ترجمة: اعتبر الاستجابة ناقصة وسجّل X-Request-ID)، وقرّر هل يستطيع تطبيقك إرسال طلب جديد بأمان. وبالنسبة إلى 500 و502 و503 و504، يوصي بإعادة المحاولة مع انتظار أُسّي محدود؛ أما 429 فتعني بلوغ حد المعدل أو التزامن أو معدل الرموز أو الإنفاق. واحتفظ بـ X-Request-ID للدعم الفني. ويعرض دليل الأخطاء وإعادة المحاولة ومقال الوكلاء طويلي التشغيل إعدادات عملية.
أخطاء شائعة
- ترك القيمة الافتراضية، ثم التساؤل لماذا يحجز استدعاء معلّق عاملًا لعشر دقائق.
- إعادة المحاولة دون حد أقصى، فتتحول دقيقة سيئة واحدة إلى سيل من الطلبات.