हर नेटवर्क कॉल को एक बिंदु चाहिए जहाँ आप इंतज़ार बंद कर दें। LLM कॉल के लिए यह बिंदु चुनना मुश्किल है, क्योंकि कुछ देर तक धीमा जवाब और मरा हुआ कनेक्शन एक जैसे दिखते हैं।
यह कैसे काम करता है
HTTP क्लाइंट इंतज़ार को चरणों में बाँटते हैं। Python का आम HTTP क्लाइंट HTTPX चार चरण रखता है:
| टाइमआउट | HTTPX में मतलब | एरर |
|---|---|---|
| Connect | सॉकेट कनेक्शन बनाने का अधिकतम समय | ConnectTimeout |
| Read | आने वाले डेटा के एक chunk का अधिकतम इंतज़ार | ReadTimeout |
| Write | अनुरोध बॉडी का एक chunk भेजने का अधिकतम इंतज़ार | WriteTimeout |
| Pool | पूल से कनेक्शन मिलने का अधिकतम इंतज़ार | PoolTimeout |
सादा HTTPX डिफ़ॉल्ट रूप से पाँच सेकंड की नेटवर्क निष्क्रियता के बाद टाइम आउट हो जाता है। OpenAI Python SDK अपना डिफ़ॉल्ट रखता है: “By default requests time out after 10 minutes” (अनुवाद: डिफ़ॉल्ट रूप से अनुरोध 10 मिनट बाद टाइम आउट होते हैं), यह APITimeoutError देता है, और टाइम आउट हुए अनुरोध को दो बार दोबारा भेजता है। यह डिफ़ॉल्ट रूप से कनेक्शन एरर, 408, 409, 429 और 5xx जवाबों पर भी री-ट्राई करता है।
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", timeout=120.0, max_retries=2)
सर्वर के भी टाइमआउट होते हैं। MDN, 504 Gateway Timeout को ऐसे गेटवे या प्रॉक्सी के रूप में परिभाषित करता है जिसे “did not get a response in time from the upstream server” (अनुवाद: upstream सर्वर से समय पर जवाब नहीं मिला), और 408 Request Timeout को ऐसी स्थिति जिसमें सर्वर “to shut down this unused connection” (अनुवाद: इस इस्तेमाल न हो रहे कनेक्शन को बंद करना) चाहता है।
यह क्यों मायने रखता है
- रीज़निंग मॉडल शुरू होने में धीमे हैं. सोचना पहले दिखने वाले टोकन से पहले होता है। बिना स्ट्रीमिंग वाली कॉल पर छोटा read टाइमआउट एक ठीक-ठाक अनुरोध को भी काट सकता है।
- स्ट्रीम अटकाव पकड़ती है. स्ट्रीमिंग में हर chunk read टाइमर को रीसेट करता है, इसलिए लंबे जवाब पर भी अटकाव जल्दी पकड़ में आता है।
- री-ट्राई लागत दोगुनी कर सकता है. टाइमआउट का मतलब यह नहीं कि सर्वर रुक गया। जो अनुरोध अभी चल रहा है उसे दोबारा भेजने पर दो बार बिल बन सकता है। सीमा (cap) के साथ exponential backoff इस्तेमाल करें, और जहाँ API सपोर्ट करे वहाँ idempotency key।
BroadNet Inference पर
BroadNet का API रेफ़रंस कहता है कि स्ट्रीम को data: [DONE] तक पढ़ें। अगर कनेक्शन उससे पहले ख़त्म हो जाए, तो “treat the response as incomplete, record the X-Request-ID” (अनुवाद: जवाब को अधूरा मानें, X-Request-ID रिकॉर्ड करें), और तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से नया अनुरोध भेज सकता है या नहीं। 500, 502, 503 और 504 के लिए वह सीमित exponential backoff के साथ री-ट्राई करने को कहता है; 429 का मतलब है कि रेट, कॉन्करेंसी, टोकन-रेट या ख़र्च की कोई सीमा पूरी हो गई। सपोर्ट के लिए X-Request-ID संभालकर रखें। एरर और री-ट्राई गाइड और लंबे चलने वाले एजेंट वाली पोस्ट काम करने वाली सेटिंग दिखाती हैं।
आम ग़लतियाँ
- डिफ़ॉल्ट छोड़ देना और फिर हैरान होना कि अटकी कॉल एक वर्कर को दस मिनट तक क्यों रोके रखती है।
- बिना सीमा के री-ट्राई करना, जिससे एक बुरा मिनट अनुरोधों की बाढ़ बन जाता है।