BroadRouter

कॉन्करेंसी (concurrency)

अपडेट किया गया

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

अन्य नाम: कॉन्करेंसी, एक साथ अनुरोध, समानांतर अनुरोध, concurrency kya hai, concurrent requests kya hote hain, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

रेट लिमिट समय के साथ अनुरोध गिनती है। कॉन्करेंसी एक पल में चल रहे अनुरोध गिनती है। LLM अनुरोधों में कई सेकंड लग सकते हैं, इसलिए अक्सर दूसरी सीमा पहले आड़े आती है।

यह कैसे काम करता है

Little’s law इन तीन संख्याओं को जोड़ता है:

requests in flight = request rate × average time per request

यानी: एक साथ चल रहे अनुरोध = अनुरोध की दर × हर अनुरोध का औसत समय।

एक काल्पनिक key लें जो एक साथ 5 अनुरोध और एक मिनट में 60 अनुरोध की इजाज़त देती है, और हर अनुरोध 20 सेकंड लेता है। कॉन्करेंसी सीमा ज़्यादा से ज़्यादा 5 ÷ 20 = 0.25 अनुरोध प्रति सेकंड, यानी 15 प्रति मिनट की इजाज़त देती है। आप कभी 60 प्रति मिनट तक नहीं पहुँचते, क्योंकि असली रोक कॉन्करेंसी है। 2 सेकंड वाले अनुरोधों पर वही सीमा 150 प्रति मिनट की इजाज़त देती है, और तब रेट लिमिट रोक बनती है। रेट लिमिट कैलकुलेटर आपकी अपनी संख्याओं पर यही हिसाब लगाता है।

लंबे आउटपुट, रीज़निंग टोकन और लंबे प्रॉम्प्ट, तीनों अनुरोध को लंबा बनाते हैं, इसलिए कॉन्करेंसी जल्दी भर जाती है। स्ट्रीम किया गया जवाब ख़त्म होने तक अपना स्लॉट घेरे रहता है।

यह क्यों मायने रखता है

प्रोवाइडर कॉन्करेंसी सीमित रखते हैं क्योंकि GPU मेमोरी और कंप्यूट साझा होते हैं। NVIDIA के बेंचमार्क दिखाते हैं कि सर्वर पर कॉन्करेंसी बढ़ने के साथ कुल आउटपुट बढ़ता है, जबकि हर अनुरोध के टोकन प्रति सेकंड घटते हैं। हर key पर सीमा एक क्लाइंट को बाक़ी सबको धीमा करने से रोकती है।

आपके ऐप के लिए कॉन्करेंसी तय करती है कि वर्कर पूल कितना बड़ा हो और कितने एजेंट साथ-साथ चल सकें। पूल का आकार सीमा के बराबर रखें, उससे ज़्यादा नहीं, वरना अतिरिक्त वर्कर बस 429 एरर इकट्ठा करेंगे।

BroadNet Inference पर

एक्सेस कॉन्करेंसी
उपयोग के अनुसार भुगतान वाली key एक साथ 4 अनुरोध, और प्रति मिनट 30 अनुरोध
घंटे वाली key एक स्ट्रीम
अनलिमिटेड प्लान हर सेशन में एक समय पर एक अनुरोध

प्लान सीधे कॉन्करेंसी बेचते हैं। सेशन में कोई टोकन मीटर नहीं होता और वह एक समय पर एक अनुरोध चलाता है, जैसे एक एजेंट काम करता है। एक ही सेशन के अनुरोध एक-दूसरे के पीछे क़तार में लगते हैं। एजेंट समानांतर चलाने हों तो हर एजेंट के लिए एक सेशन ख़रीदें: एक ऑर्केस्ट्रेटर और तीन सब-एजेंट को चार सेशन चाहिए। एक key में कई सेशन हो सकते हैं।

अनलिमिटेड सेशन कैसे काम करते हैं और फ़्लैट रेट पर समानांतर कोडिंग एजेंट कैसे चलाएँ पढ़ें। एजेंट अपना काफ़ी समय टूल चलाने में बिताते हैं, इसलिए और सेशन ख़रीदने से पहले असली ओवरलैप नापें।

आम ग़लतियाँ

  • बिना पूल के हर टास्क के लिए एक वर्कर चालू करना। 100 टास्क का बैच एक साथ 100 अनुरोध बन जाता है।
  • क्लाइंट टाइमआउट को लंबे रीज़निंग जवाब से छोटा रखना। स्लॉट अभी व्यस्त होता है और क्लाइंट हार मान लेता है।

अक्सर पूछे जाने वाले सवाल

कॉन्करेंसी सीमा पार करने पर क्या होता है?

प्रोवाइडर पर निर्भर है: अतिरिक्त अनुरोध या तो ठुकरा दिया जाता है, अक्सर 429 के साथ, या स्लॉट ख़ाली होने तक क़तार में इंतज़ार करता है।

क्या स्ट्रीमिंग एक कॉन्करेंसी स्लॉट लेती है?

हाँ। स्ट्रीम किया गया जवाब आख़िरी chunk आने तक अपना स्लॉट घेरे रहता है, इसलिए लंबे आउटपुट स्लॉट को ज़्यादा देर व्यस्त रखते हैं।

AI कोडिंग एजेंट को कितने कॉन्करेंट अनुरोध चाहिए?

एक एजेंट को आम तौर पर एक चाहिए, क्योंकि वह अगले क़दम से पहले हर जवाब का इंतज़ार करता है। तीन सब-एजेंट एक साथ चलाने वाले ऑर्केस्ट्रेटर को चार तक चाहिए: चार, अगर उनके चलते समय ऑर्केस्ट्रेटर भी अनुरोध भेजता है, और तीन, अगर वह उनका इंतज़ार करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें