BroadRouter
शुरू करें

रिक्वेस्ट टाइमआउट (request timeout)

अपडेट किया गया

रिक्वेस्ट टाइमआउट वह अधिकतम समय है जितना कोई HTTP क्लाइंट सर्वर का इंतज़ार करता है, उसके बाद अनुरोध छोड़ देता है। क्लाइंट आम तौर पर इसे कनेक्शन खोलने के connect टाइमआउट और डेटा के इंतज़ार वाले read टाइमआउट में बाँटते हैं। LLM कॉल को खुले read टाइमआउट चाहिए, क्योंकि लंबे जवाबों में समय लगता है।

अन्य नाम: रिक्वेस्ट टाइमआउट, टाइमआउट, read टाइमआउट, request timeout kya hai, API timeout kya hota hai, request timeout, read timeout, connect timeout, client timeout, HTTP timeout

हर नेटवर्क कॉल को एक बिंदु चाहिए जहाँ आप इंतज़ार बंद कर दें। LLM कॉल के लिए यह बिंदु चुनना मुश्किल है, क्योंकि कुछ देर तक धीमा जवाब और मरा हुआ कनेक्शन एक जैसे दिखते हैं।

यह कैसे काम करता है

HTTP क्लाइंट इंतज़ार को चरणों में बाँटते हैं। Python का आम HTTP क्लाइंट HTTPX चार चरण रखता है:

टाइमआउट HTTPX में मतलब एरर
Connect सॉकेट कनेक्शन बनाने का अधिकतम समय ConnectTimeout
Read आने वाले डेटा के एक chunk का अधिकतम इंतज़ार ReadTimeout
Write अनुरोध बॉडी का एक chunk भेजने का अधिकतम इंतज़ार WriteTimeout
Pool पूल से कनेक्शन मिलने का अधिकतम इंतज़ार PoolTimeout

सादा HTTPX डिफ़ॉल्ट रूप से पाँच सेकंड की नेटवर्क निष्क्रियता के बाद टाइम आउट हो जाता है। OpenAI Python SDK अपना डिफ़ॉल्ट रखता है: “By default requests time out after 10 minutes” (अनुवाद: डिफ़ॉल्ट रूप से अनुरोध 10 मिनट बाद टाइम आउट होते हैं), यह APITimeoutError देता है, और टाइम आउट हुए अनुरोध को दो बार दोबारा भेजता है। यह डिफ़ॉल्ट रूप से कनेक्शन एरर, 408, 409, 429 और 5xx जवाबों पर भी री-ट्राई करता है।

from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)

सर्वर के भी टाइमआउट होते हैं। MDN, 504 Gateway Timeout को ऐसे गेटवे या प्रॉक्सी के रूप में परिभाषित करता है जिसे “did not get a response in time from the upstream server” (अनुवाद: upstream सर्वर से समय पर जवाब नहीं मिला), और 408 Request Timeout को ऐसी स्थिति जिसमें सर्वर “to shut down this unused connection” (अनुवाद: इस इस्तेमाल न हो रहे कनेक्शन को बंद करना) चाहता है।

यह क्यों मायने रखता है

  • रीज़निंग मॉडल शुरू होने में धीमे हैं. सोचना पहले दिखने वाले टोकन से पहले होता है। बिना स्ट्रीमिंग वाली कॉल पर छोटा read टाइमआउट एक ठीक-ठाक अनुरोध को भी काट सकता है।
  • स्ट्रीम अटकाव पकड़ती है. स्ट्रीमिंग में हर chunk read टाइमर को रीसेट करता है, इसलिए लंबे जवाब पर भी अटकाव जल्दी पकड़ में आता है।
  • री-ट्राई लागत दोगुनी कर सकता है. टाइमआउट का मतलब यह नहीं कि सर्वर रुक गया। जो अनुरोध अभी चल रहा है उसे दोबारा भेजने पर दो बार बिल बन सकता है। सीमा (cap) के साथ exponential backoff इस्तेमाल करें, और जहाँ API सपोर्ट करे वहाँ idempotency key।

BroadNet Inference पर

BroadNet का API रेफ़रंस कहता है कि स्ट्रीम को data: [DONE] तक पढ़ें। अगर कनेक्शन उससे पहले ख़त्म हो जाए, तो “treat the response as incomplete, record the X-Request-ID” (अनुवाद: जवाब को अधूरा मानें, X-Request-ID रिकॉर्ड करें), और तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से नया अनुरोध भेज सकता है या नहीं। 500, 502, 503 और 504 के लिए वह सीमित exponential backoff के साथ री-ट्राई करने को कहता है; 429 का मतलब है कि रेट, कॉन्करेंसी, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई। सपोर्ट के लिए X-Request-ID संभालकर रखें। एरर और री-ट्राई गाइड और लंबे चलने वाले एजेंट वाली पोस्ट काम करने वाली सेटिंग दिखाती हैं।

आम ग़लतियाँ

  • डिफ़ॉल्ट छोड़ देना और फिर हैरान होना कि अटकी कॉल एक वर्कर को दस मिनट तक क्यों रोके रखती है।
  • बिना सीमा के री-ट्राई करना, जिससे एक बुरा मिनट अनुरोधों की बाढ़ बन जाता है।

अक्सर पूछे जाने वाले सवाल

OpenAI Python SDK में डिफ़ॉल्ट टाइमआउट कितना है?

उसका README कहता है "By default requests time out after 10 minutes" (अनुवाद: डिफ़ॉल्ट रूप से अनुरोध 10 मिनट बाद टाइम आउट होते हैं), और टाइम आउट हुए अनुरोध डिफ़ॉल्ट रूप से छोटे exponential backoff के साथ दो बार दोबारा भेजे जाते हैं।

क्या हर LLM कॉल के लिए एक ही टाइमआउट रखूँ?

नहीं। छोटी क्लासिफ़िकेशन कॉल और लंबे रीज़निंग जवाब को अलग सीमाएँ चाहिए। स्ट्रीमिंग में chunks के बीच के अंतर पर read टाइमआउट, एक लंबी कुल सीमा से बेहतर तरीक़े से अटकाव पकड़ता है।

BroadNet की स्ट्रीम जल्दी रुक जाए तो क्या करूँ?

BroadNet कहता है कि data: [DONE] से पहले ख़त्म होने वाली स्ट्रीम को अधूरा मानें, X-Request-ID रिकॉर्ड करें, और तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से नया अनुरोध भेज सकता है या नहीं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें