---
title: "LLM API में concurrency क्या है? एक साथ अनुरोधों की सीमा"
description: "कॉन्करेंसी यानी एक ही पल में कितने अनुरोध चल रहे हैं। LLM API इसकी सीमा क्यों रखते हैं, रेट लिमिट और लेटेंसी से इसका रिश्ता, और वर्कर व एजेंट कितने रखें।"
url: https://broadrouter.com/hi/glossary/concurrency/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/concurrency/) (2026-11-14 को अपडेट किया गया).

# कॉन्करेंसी (concurrency)

अपडेट किया गया 2026-11-14

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

अन्य नाम: कॉन्करेंसी, एक साथ अनुरोध, समानांतर अनुरोध, concurrency kya hai, concurrent requests kya hote hain, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

रेट लिमिट समय के साथ अनुरोध गिनती है। कॉन्करेंसी एक पल में चल रहे अनुरोध गिनती है। LLM अनुरोधों में कई सेकंड लग सकते हैं, इसलिए अक्सर दूसरी सीमा पहले आड़े आती है।

## यह कैसे काम करता है

Little’s law इन तीन संख्याओं को जोड़ता है:

`requests in flight = request rate × average time per request`

यानी: एक साथ चल रहे अनुरोध = अनुरोध की दर × हर अनुरोध का औसत समय।

एक काल्पनिक key लें जो एक साथ 5 अनुरोध और एक मिनट में 60 अनुरोध की इजाज़त देती है, और हर अनुरोध 20 सेकंड लेता है। कॉन्करेंसी सीमा ज़्यादा से ज़्यादा 5 ÷ 20 = 0.25 अनुरोध प्रति सेकंड, यानी 15 प्रति मिनट की इजाज़त देती है। आप कभी 60 प्रति मिनट तक नहीं पहुँचते, क्योंकि असली रोक कॉन्करेंसी है। 2 सेकंड वाले अनुरोधों पर वही सीमा 150 प्रति मिनट की इजाज़त देती है, और तब रेट लिमिट रोक बनती है। [रेट लिमिट कैलकुलेटर](https://broadrouter.com/tools/llm-rate-limit-calculator/) आपकी अपनी संख्याओं पर यही हिसाब लगाता है।

लंबे आउटपुट, [रीज़निंग टोकन](https://broadrouter.com/hi/glossary/reasoning-tokens/) और लंबे प्रॉम्प्ट, तीनों अनुरोध को लंबा बनाते हैं, इसलिए कॉन्करेंसी जल्दी भर जाती है। [स्ट्रीम](https://broadrouter.com/hi/glossary/streaming/) किया गया जवाब ख़त्म होने तक अपना स्लॉट घेरे रहता है।

## यह क्यों मायने रखता है

प्रोवाइडर कॉन्करेंसी सीमित रखते हैं क्योंकि GPU मेमोरी और कंप्यूट साझा होते हैं। NVIDIA के बेंचमार्क दिखाते हैं कि सर्वर पर कॉन्करेंसी बढ़ने के साथ कुल आउटपुट बढ़ता है, जबकि हर अनुरोध के [टोकन प्रति सेकंड](https://broadrouter.com/hi/glossary/tokens-per-second/) घटते हैं। हर key पर सीमा एक क्लाइंट को बाक़ी सबको धीमा करने से रोकती है।

आपके ऐप के लिए कॉन्करेंसी तय करती है कि वर्कर पूल कितना बड़ा हो और कितने एजेंट साथ-साथ चल सकें। पूल का आकार सीमा के बराबर रखें, उससे ज़्यादा नहीं, वरना अतिरिक्त वर्कर बस 429 एरर इकट्ठा करेंगे।

## BroadNet Inference पर

| एक्सेस | कॉन्करेंसी |
| --- | --- |
| उपयोग के अनुसार भुगतान वाली key | एक साथ 4 अनुरोध, और प्रति मिनट 30 अनुरोध |
| घंटे वाली key | एक स्ट्रीम |
| अनलिमिटेड प्लान | हर सेशन में एक समय पर एक अनुरोध |

प्लान सीधे कॉन्करेंसी बेचते हैं। सेशन में कोई टोकन मीटर नहीं होता और वह एक समय पर एक अनुरोध चलाता है, जैसे एक एजेंट काम करता है। एक ही सेशन के अनुरोध एक-दूसरे के पीछे क़तार में लगते हैं। एजेंट समानांतर चलाने हों तो हर एजेंट के लिए एक सेशन ख़रीदें: एक ऑर्केस्ट्रेटर और तीन सब-एजेंट को चार सेशन चाहिए। एक key में कई सेशन हो सकते हैं।

[अनलिमिटेड सेशन कैसे काम करते हैं](https://broadrouter.com/hi/guides/unlimited-llm-api-sessions/) और [फ़्लैट रेट पर समानांतर कोडिंग एजेंट कैसे चलाएँ](https://broadrouter.com/hi/blog/run-parallel-coding-agents-flat-rate/) पढ़ें। एजेंट अपना काफ़ी समय टूल चलाने में बिताते हैं, इसलिए और सेशन ख़रीदने से पहले असली ओवरलैप नापें।

## आम ग़लतियाँ

-   बिना पूल के हर टास्क के लिए एक वर्कर चालू करना। 100 टास्क का बैच एक साथ 100 अनुरोध बन जाता है।
-   क्लाइंट टाइमआउट को लंबे रीज़निंग जवाब से छोटा रखना। स्लॉट अभी व्यस्त होता है और क्लाइंट हार मान लेता है।

## अक्सर पूछे जाने वाले सवाल

### कॉन्करेंसी सीमा पार करने पर क्या होता है?

प्रोवाइडर पर निर्भर है: अतिरिक्त अनुरोध या तो ठुकरा दिया जाता है, अक्सर 429 के साथ, या स्लॉट ख़ाली होने तक क़तार में इंतज़ार करता है।

### क्या स्ट्रीमिंग एक कॉन्करेंसी स्लॉट लेती है?

हाँ। स्ट्रीम किया गया जवाब आख़िरी chunk आने तक अपना स्लॉट घेरे रहता है, इसलिए लंबे आउटपुट स्लॉट को ज़्यादा देर व्यस्त रखते हैं।

### AI कोडिंग एजेंट को कितने कॉन्करेंट अनुरोध चाहिए?

एक एजेंट को आम तौर पर एक चाहिए, क्योंकि वह अगले क़दम से पहले हर जवाब का इंतज़ार करता है। तीन सब-एजेंट एक साथ चलाने वाले ऑर्केस्ट्रेटर को चार तक चाहिए: चार, अगर उनके चलते समय ऑर्केस्ट्रेटर भी अनुरोध भेजता है, और तीन, अगर वह उनका इंतज़ार करता है।

## यह भी देखें

-   [रेट लिमिट (rate limit)](https://broadrouter.com/hi/glossary/rate-limit/) (शब्द)
-   [टोकन प्रति सेकंड (tokens per second, TPS)](https://broadrouter.com/hi/glossary/tokens-per-second/) (शब्द)
-   [स्ट्रीमिंग (streaming)](https://broadrouter.com/hi/glossary/streaming/) (शब्द)
-   [फ़्लैट-रेट LLM प्लान (flat-rate LLM plan)](https://broadrouter.com/hi/glossary/flat-rate-llm-plan/) (शब्द)
-   [थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/) (शब्द)
-   [लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/) (शब्द)
-   [AI एजेंट (AI agent)](https://broadrouter.com/hi/glossary/agent/) (शब्द)
-   [एजेंट के लिए अनलिमिटेड LLM API प्लान कैसे काम करते हैं](https://broadrouter.com/hi/guides/unlimited-llm-api-sessions/) (गाइड)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/) (गाइड)
-   [फ़्लैट-रेट LLM API पर पैरेलल कोडिंग एजेंट कैसे चलाएँ](https://broadrouter.com/hi/blog/run-parallel-coding-agents-flat-rate/) (लेख)
-   [LLM API प्लान में “अनलिमिटेड” का असली मतलब क्या है?](https://broadrouter.com/hi/blog/what-unlimited-llm-api-really-means/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-concurrency&utm_content=page-cta) ·

**स्रोत**

-   [Little's law (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, LLM बेंचमार्किंग मेट्रिक्स (कॉन्करेंसी और थ्रूपुट)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [BroadNet Inference API रेफ़रंस, सीमाएँ (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-concurrency&utm_content=sources#limits)
-   [BroadNet Inference प्लान (सेशन) (अंग्रेज़ी में)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-concurrency&utm_content=sources)
