BroadRouter
ابدأ الآن

مهلة الطلب (Request timeout)

آخر تحديث

مهلة الطلب (request timeout) هي أطول مدة ينتظرها عميل HTTP ردَّ الخادم قبل أن يتخلى عن الطلب. وعادةً يقسمها العملاء إلى مهلة اتصال لفتح الاتصال ومهلة قراءة لانتظار البيانات. وتحتاج استدعاءات LLM إلى مهلات قراءة سخية لأن الإجابات الطويلة تستغرق وقتًا.

يُسمّى أيضًا: مهلة الطلب، مهلة القراءة، مهلة الاتصال، انتهاء المهلة، تايم أوت، request timeout، read timeout، connect timeout، client timeout، HTTP timeout

كل استدعاء عبر الشبكة يحتاج إلى نقطة تتوقف عندها عن الانتظار. وفي استدعاءات LLM يصعب اختيار هذه النقطة، لأن الإجابة البطيئة والاتصال الميت يبدوان متشابهين لبعض الوقت.

كيف تعمل

تقسم عملاء HTTP الانتظار إلى مراحل. ولدى HTTPX، وهو عميل HTTP شائع في Python، أربع منها:

المهلة معناها في HTTPX الخطأ
الاتصال (Connect) أطول مدة لإنشاء اتصال المقبس ConnectTimeout
القراءة (Read) أطول انتظار لجزء من البيانات الواردة ReadTimeout
الكتابة (Write) أطول انتظار لإرسال جزء من جسم الطلب WriteTimeout
المجمّع (Pool) أطول انتظار للحصول على اتصال من المجمّع PoolTimeout

تنتهي مهلة HTTPX العادي افتراضيًا بعد خمس ثوانٍ من خمول الشبكة. أما OpenAI Python SDK فيضبط قيمته الافتراضية الخاصة: “By default requests time out after 10 minutes” (ترجمة: تنتهي مهلة الطلبات افتراضيًا بعد 10 دقائق)، ويرمي APITimeoutError، ويعيد محاولة الطلب الذي انتهت مهلته مرتين. ويعيد أيضًا افتراضيًا محاولة أخطاء الاتصال واستجابات 408 و409 و429 و5xx.

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

وللخوادم مهلات أيضًا. إذ تعرّف MDN الحالة 504 Gateway Timeout بأنها بوابة أو وسيط “did not get a response in time from the upstream server” (ترجمة: لم يتلقَّ استجابة في الوقت المناسب من الخادم الأصلي)، والحالة 408 Request Timeout بأنها رغبة الخادم “to shut down this unused connection” (ترجمة: في إغلاق هذا الاتصال غير المستخدم).

لماذا تهم

  • نماذج الاستدلال بطيئة في البدء. يحدث التفكير قبل أول رمز ظاهر. ومهلة قراءة قصيرة في استدعاء غير متدفق قد تقطع طلبًا سليمًا.
  • البث يكشف التوقفات. مع البث المتدفق، يعيد كل جزء ضبط مؤقّت القراءة، فيظهر التوقف سريعًا حتى في إجابة طويلة.
  • إعادة المحاولة قد تضاعف التكلفة. انتهاء المهلة لا يعني أن الخادم توقف. وإعادة محاولة طلب لا يزال يعمل قد تُحاسَب مرتين. استخدم الانتظار الأُسّي مع حد أقصى، ومفتاح عدم التكرار (idempotency key) حيث تدعمه الواجهة.

في BroadNet Inference

يقول المرجع التقني لـ BroadNet أن تقرأ البث حتى data: [DONE]. فإن انتهى الاتصال قبلها، “treat the response as incomplete, record the X-Request-ID” (ترجمة: اعتبر الاستجابة ناقصة وسجّل X-Request-ID)، وقرّر هل يستطيع تطبيقك إرسال طلب جديد بأمان. وبالنسبة إلى 500 و502 و503 و504، يوصي بإعادة المحاولة مع انتظار أُسّي محدود؛ أما 429 فتعني بلوغ حد المعدل أو التزامن أو معدل الرموز أو الإنفاق. واحتفظ بـ X-Request-ID للدعم الفني. ويعرض دليل الأخطاء وإعادة المحاولة ومقال الوكلاء طويلي التشغيل إعدادات عملية.

أخطاء شائعة

  • ترك القيمة الافتراضية، ثم التساؤل لماذا يحجز استدعاء معلّق عاملًا لعشر دقائق.
  • إعادة المحاولة دون حد أقصى، فتتحول دقيقة سيئة واحدة إلى سيل من الطلبات.

أسئلة شائعة

ما المهلة الافتراضية في OpenAI Python SDK؟

يقول ملف README إن "By default requests time out after 10 minutes" (ترجمة: تنتهي مهلة الطلبات افتراضيًا بعد 10 دقائق)، وتُعاد محاولة الطلبات التي انتهت مهلتها مرتين افتراضيًا مع انتظار أُسّي قصير.

هل أستخدم مهلة واحدة لكل استدعاءات LLM؟

لا. استدعاء تصنيف قصير وإجابة استدلال طويلة يحتاجان إلى حدّين مختلفين. ومع البث المتدفق، تكشف مهلة القراءة على الفاصل بين الأجزاء التوقفاتِ أفضل من حد إجمالي طويل واحد.

ماذا أفعل حين يتوقف بث BroadNet مبكرًا؟

تقول BroadNet أن تعتبر البث الذي ينتهي قبل data: [DONE] ناقصًا، وأن تسجّل X-Request-ID، وأن تقرّر هل يستطيع تطبيقك إرسال طلب جديد بأمان.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity