BroadRouter
شروع کریں

ریکوئسٹ ٹائم آؤٹ (request timeout)

اپ ڈیٹ

ریکوئسٹ ٹائم آؤٹ وہ زیادہ سے زیادہ وقت ہے جتنا کوئی HTTP کلائنٹ سرور کا انتظار کرتا ہے، پھر درخواست چھوڑ دیتا ہے۔ کلائنٹ عموماً اسے کنکشن کھولنے کے connect ٹائم آؤٹ اور ڈیٹا کے انتظار والے read ٹائم آؤٹ میں بانٹتے ہیں۔ LLM کالز کو کھلے read ٹائم آؤٹ چاہییں، کیونکہ لمبے جوابات میں وقت لگتا ہے۔

دوسرے نام: ریکوئسٹ ٹائم آؤٹ، ٹائم آؤٹ، read ٹائم آؤٹ، request timeout kya hai، API timeout kya hota hai، request timeout، read timeout، connect timeout، client timeout، HTTP timeout

ہر نیٹ ورک کال کو ایک نقطہ چاہیے جہاں آپ انتظار بند کر دیں۔ LLM کالز کے لیے یہ نقطہ چننا مشکل ہے، کیونکہ کچھ دیر تک سست جواب اور مردہ کنکشن ایک جیسے لگتے ہیں۔

یہ کیسے کام کرتا ہے

HTTP کلائنٹ انتظار کو مراحل میں بانٹتے ہیں۔ Python کا عام HTTP کلائنٹ HTTPX چار مراحل رکھتا ہے:

ٹائم آؤٹ HTTPX میں مطلب ایرر
Connect ساکٹ کنکشن بنانے کا زیادہ سے زیادہ وقت ConnectTimeout
Read آنے والے ڈیٹا کے ایک chunk کا زیادہ سے زیادہ انتظار ReadTimeout
Write درخواست کی باڈی کا ایک chunk بھیجنے کا زیادہ سے زیادہ انتظار WriteTimeout
Pool پول سے کنکشن ملنے کا زیادہ سے زیادہ انتظار PoolTimeout

سادہ HTTPX ڈیفالٹ طور پر پانچ سیکنڈ کی نیٹ ورک غیر فعالیت کے بعد ٹائم آؤٹ ہو جاتا ہے۔ OpenAI Python SDK اپنا ڈیفالٹ رکھتا ہے: “By default requests time out after 10 minutes” (ترجمہ: ڈیفالٹ طور پر درخواستیں 10 منٹ بعد ٹائم آؤٹ ہوتی ہیں)، یہ APITimeoutError دیتا ہے، اور ٹائم آؤٹ ہونے والی درخواست کو دو بار دوبارہ بھیجتا ہے۔ یہ ڈیفالٹ طور پر کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر بھی دوبارہ کوشش کرتا ہے۔

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

سرورز کے بھی ٹائم آؤٹ ہوتے ہیں۔ MDN، 504 Gateway Timeout کو ایسے گیٹ وے یا پراکسی کے طور پر بیان کرتا ہے جسے “did not get a response in time from the upstream server” (ترجمہ: upstream سرور سے وقت پر جواب نہیں ملا)، اور 408 Request Timeout کو ایسی صورت جس میں سرور “to shut down this unused connection” (ترجمہ: اس غیر استعمال شدہ کنکشن کو بند کرنا) چاہتا ہے۔

یہ کیوں اہم ہے

  • ریزننگ ماڈلز شروع ہونے میں سست ہیں۔ سوچنا پہلے نظر آنے والے ٹوکن سے پہلے ہوتا ہے۔ بغیر اسٹریمنگ والی کال پر مختصر read ٹائم آؤٹ ایک ٹھیک ٹھاک درخواست کو بھی کاٹ سکتا ہے۔
  • اسٹریمز رکاوٹ پکڑتی ہیں۔ اسٹریمنگ میں ہر chunk، read ٹائمر کو ری سیٹ کرتا ہے، اس لیے لمبے جواب پر بھی رکاوٹ جلد پکڑی جاتی ہے۔
  • دوبارہ کوشش لاگت دگنی کر سکتی ہے۔ ٹائم آؤٹ کا مطلب یہ نہیں کہ سرور رک گیا۔ جو درخواست ابھی چل رہی ہے اسے دوبارہ بھیجنے پر دو بار بل بن سکتا ہے۔ حد (cap) کے ساتھ exponential backoff استعمال کریں، اور جہاں API سپورٹ کرے وہاں idempotency key۔

BroadNet Inference پر

BroadNet کا API ریفرنس کہتا ہے کہ اسٹریم کو data: [DONE] تک پڑھیں۔ اگر کنکشن اس سے پہلے ختم ہو جائے تو “treat the response as incomplete, record the X-Request-ID” (ترجمہ: جواب کو نامکمل سمجھیں، X-Request-ID ریکارڈ کریں)، اور طے کریں کہ آپ کی ایپلیکیشن محفوظ طریقے سے نئی درخواست بھیج سکتی ہے یا نہیں۔ 500، 502، 503 اور 504 کے لیے وہ محدود exponential backoff کے ساتھ دوبارہ کوشش کو کہتا ہے؛ 429 کا مطلب ہے کہ شرح، کنکرنسی، ٹوکن کی شرح یا خرچ کی کوئی حد پوری ہو گئی۔ سپورٹ کے لیے X-Request-ID سنبھال کر رکھیں۔ ایررز اور دوبارہ کوشش کی گائیڈ اور دیر تک چلنے والے ایجنٹس والی پوسٹ کام کرنے والی سیٹنگز دکھاتی ہیں۔

عام غلطیاں

  • ڈیفالٹ چھوڑ دینا اور پھر حیران ہونا کہ اٹکی ہوئی کال ایک ورکر کو دس منٹ تک کیوں روکے رکھتی ہے۔
  • بغیر حد کے دوبارہ کوشش کرنا، جس سے ایک برا منٹ درخواستوں کا سیلاب بن جاتا ہے۔

عام سوالات

OpenAI Python SDK میں ڈیفالٹ ٹائم آؤٹ کتنا ہے؟

اس کا README کہتا ہے "By default requests time out after 10 minutes" (ترجمہ: ڈیفالٹ طور پر درخواستیں 10 منٹ بعد ٹائم آؤٹ ہوتی ہیں)، اور ٹائم آؤٹ ہونے والی درخواستیں ڈیفالٹ طور پر مختصر exponential backoff کے ساتھ دو بار دوبارہ بھیجی جاتی ہیں۔

کیا ہر LLM کال کے لیے ایک ہی ٹائم آؤٹ رکھوں؟

نہیں۔ مختصر درجہ بندی کال اور لمبے ریزننگ جواب کو مختلف حدیں چاہییں۔ اسٹریمنگ میں chunks کے درمیان وقفے پر read ٹائم آؤٹ، ایک لمبی مجموعی حد سے بہتر طور پر رکاوٹ پکڑتا ہے۔

BroadNet کی اسٹریم جلد رک جائے تو کیا کروں؟

BroadNet کہتا ہے کہ data: [DONE] سے پہلے ختم ہونے والی اسٹریم کو نامکمل سمجھیں، X-Request-ID ریکارڈ کریں، اور طے کریں کہ آپ کی ایپلیکیشن محفوظ طریقے سے نئی درخواست بھیج سکتی ہے یا نہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں