ہر نیٹ ورک کال کو ایک نقطہ چاہیے جہاں آپ انتظار بند کر دیں۔ LLM کالز کے لیے یہ نقطہ چننا مشکل ہے، کیونکہ کچھ دیر تک سست جواب اور مردہ کنکشن ایک جیسے لگتے ہیں۔
یہ کیسے کام کرتا ہے
HTTP کلائنٹ انتظار کو مراحل میں بانٹتے ہیں۔ Python کا عام HTTP کلائنٹ HTTPX چار مراحل رکھتا ہے:
| ٹائم آؤٹ | HTTPX میں مطلب | ایرر |
|---|---|---|
| Connect | ساکٹ کنکشن بنانے کا زیادہ سے زیادہ وقت | ConnectTimeout |
| Read | آنے والے ڈیٹا کے ایک chunk کا زیادہ سے زیادہ انتظار | ReadTimeout |
| Write | درخواست کی باڈی کا ایک chunk بھیجنے کا زیادہ سے زیادہ انتظار | WriteTimeout |
| Pool | پول سے کنکشن ملنے کا زیادہ سے زیادہ انتظار | PoolTimeout |
سادہ HTTPX ڈیفالٹ طور پر پانچ سیکنڈ کی نیٹ ورک غیر فعالیت کے بعد ٹائم آؤٹ ہو جاتا ہے۔ OpenAI Python SDK اپنا ڈیفالٹ رکھتا ہے: “By default requests time out after 10 minutes” (ترجمہ: ڈیفالٹ طور پر درخواستیں 10 منٹ بعد ٹائم آؤٹ ہوتی ہیں)، یہ APITimeoutError دیتا ہے، اور ٹائم آؤٹ ہونے والی درخواست کو دو بار دوبارہ بھیجتا ہے۔ یہ ڈیفالٹ طور پر کنکشن ایررز، 408، 409، 429 اور 5xx جوابات پر بھی دوبارہ کوشش کرتا ہے۔
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
سرورز کے بھی ٹائم آؤٹ ہوتے ہیں۔ MDN، 504 Gateway Timeout کو ایسے گیٹ وے یا پراکسی کے طور پر بیان کرتا ہے جسے “did not get a response in time from the upstream server” (ترجمہ: upstream سرور سے وقت پر جواب نہیں ملا)، اور 408 Request Timeout کو ایسی صورت جس میں سرور “to shut down this unused connection” (ترجمہ: اس غیر استعمال شدہ کنکشن کو بند کرنا) چاہتا ہے۔
یہ کیوں اہم ہے
- ریزننگ ماڈلز شروع ہونے میں سست ہیں۔ سوچنا پہلے نظر آنے والے ٹوکن سے پہلے ہوتا ہے۔ بغیر اسٹریمنگ والی کال پر مختصر read ٹائم آؤٹ ایک ٹھیک ٹھاک درخواست کو بھی کاٹ سکتا ہے۔
- اسٹریمز رکاوٹ پکڑتی ہیں۔ اسٹریمنگ میں ہر chunk، read ٹائمر کو ری سیٹ کرتا ہے، اس لیے لمبے جواب پر بھی رکاوٹ جلد پکڑی جاتی ہے۔
- دوبارہ کوشش لاگت دگنی کر سکتی ہے۔ ٹائم آؤٹ کا مطلب یہ نہیں کہ سرور رک گیا۔ جو درخواست ابھی چل رہی ہے اسے دوبارہ بھیجنے پر دو بار بل بن سکتا ہے۔ حد (cap) کے ساتھ exponential backoff استعمال کریں، اور جہاں API سپورٹ کرے وہاں idempotency key۔
BroadNet Inference پر
BroadNet کا API ریفرنس کہتا ہے کہ اسٹریم کو data: [DONE] تک پڑھیں۔ اگر کنکشن اس سے پہلے ختم ہو جائے تو “treat the response as incomplete, record the X-Request-ID” (ترجمہ: جواب کو نامکمل سمجھیں، X-Request-ID ریکارڈ کریں)، اور طے کریں کہ آپ کی ایپلیکیشن محفوظ طریقے سے نئی درخواست بھیج سکتی ہے یا نہیں۔ 500، 502، 503 اور 504 کے لیے وہ محدود exponential backoff کے ساتھ دوبارہ کوشش کو کہتا ہے؛ 429 کا مطلب ہے کہ شرح، کنکرنسی، ٹوکن کی شرح یا خرچ کی کوئی حد پوری ہو گئی۔ سپورٹ کے لیے X-Request-ID سنبھال کر رکھیں۔ ایررز اور دوبارہ کوشش کی گائیڈ اور دیر تک چلنے والے ایجنٹس والی پوسٹ کام کرنے والی سیٹنگز دکھاتی ہیں۔
عام غلطیاں
- ڈیفالٹ چھوڑ دینا اور پھر حیران ہونا کہ اٹکی ہوئی کال ایک ورکر کو دس منٹ تک کیوں روکے رکھتی ہے۔
- بغیر حد کے دوبارہ کوشش کرنا، جس سے ایک برا منٹ درخواستوں کا سیلاب بن جاتا ہے۔