---
title: "LLM राउटर क्या है? एग्रीगेटर, गेटवे और राउटिंग | BroadRouter"
description: "LLM राउटर तय करता है कि हर अनुरोध कौन-सा मॉडल या प्रोवाइडर संभालेगा। होस्टेड एग्रीगेटर, सेल्फ़-होस्टेड गेटवे और मॉडल चुनने वाले राउटर कैसे काम करते हैं, और सौदे।"
url: https://broadrouter.com/hi/glossary/llm-router/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/llm-router/) (2026-11-16 को अपडेट किया गया).

# LLM राउटर (LLM router)

अपडेट किया गया 2026-11-16

LLM राउटर एक सॉफ़्टवेयर या सर्विस है जो ऐप और एक या ज़्यादा लैंग्वेज मॉडल API के बीच बैठती है और हर अनुरोध के लिए तय करती है कि उसे कौन-सा मॉडल या प्रोवाइडर संभालेगा, लागत, latency, उपलब्धता या टास्क के प्रकार जैसे नियमों के आधार पर।

अन्य नाम: LLM राउटर, AI गेटवे, मॉडल राउटर, llm router kya hai, ai gateway kya hai, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

एक मॉडल से बात करने वाले ऐप को राउटर की ज़रूरत नहीं। राउटर तब आते हैं जब कोई टीम कई मॉडल या प्रोवाइडर इस्तेमाल करती है और उनके बीच चुनने के लिए एक जगह चाहती है।

## यह कैसे काम करता है

ऐप राउटर को OpenAI-स्टाइल अनुरोध भेजता है। राउटर अपने नियम लगाता है, अनुरोध किसी बैकएंड को आगे भेजता है, और जवाब उसी फ़ॉर्मैट में लौटाता है। तीन आम प्रकार हैं:

-   **होस्टेड एग्रीगेटर.** उदाहरण के लिए OpenRouter `https://openrouter.ai/api/v1` पर “hundreds of AI models through a single API endpoint” (अनुवाद: एक ही API endpoint से सैकड़ों AI मॉडल) देता है, automatic fallbacks के साथ। आपके पास एक key और एक बिल होता है; प्रोवाइडर्स के साथ अकाउंट एग्रीगेटर रखता है।
-   **सेल्फ़-होस्टेड गेटवे.** LiteLLM Router आपके अपने इन्फ़्रास्ट्रक्चर में चलता है। यह deployments में ट्रैफ़िक बाँटता है (डिफ़ॉल्ट रूप से simple shuffle, या latency, इस्तेमाल या लागत के आधार पर), rate-limit एरर को exponential backoff के साथ रीट्राई करता है, और 429 या ज़्यादा फ़ेल होने की दर के बाद किसी deployment को cooldown में डाल देता है।
-   **मॉडल चुनने वाले राउटर.** RouteLLM जैसा रिसर्च एक classifier ट्रेन करता है जो आसान प्रॉम्प्ट सस्ते मॉडल को और कठिन प्रॉम्प्ट मज़बूत मॉडल को भेजता है, ताकि क्वालिटी खोए बिना लागत घटे।

सेल्फ़-होस्टेड गेटवे बैकएंड की सूची के रूप में कॉन्फ़िगर होता है। यह LiteLLM एंट्री एक [OpenAI-compatible](https://broadrouter.com/hi/glossary/openai-compatible-api/) प्रोवाइडर जोड़ती है:

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## यह क्यों मायने रखता है

-   **भरोसेमंदी.** जब कोई प्रोवाइडर 429 या 5xx एरर लौटाए, तो राउटर failover कर सकता है। देखें [रेट लिमिट](https://broadrouter.com/hi/glossary/rate-limit/)।
-   **लागत.** आसान प्रॉम्प्ट सस्ते मॉडल को भेजने से बिल घट सकता है।
-   **एक इंटीग्रेशन.** कोड एक [base URL](https://broadrouter.com/hi/glossary/base-url/) और एक key फ़ॉर्मैट से बात करता है।

सौदे असली हैं। राउटर एक नेटवर्क hop जोड़ता है। होस्टेड राउटर एक और पक्ष है जो आपके प्रॉम्प्ट देखता है, इसलिए डेटा रखने की नीति राउटर और उसके चुने प्रोवाइडर, दोनों पर निर्भर करती है। मॉडल tokenizer, reasoning के बर्ताव और पैरामीटर सपोर्ट में भी अलग होते हैं, इसलिए चुपचाप हुआ fallback जवाब बदल सकता है।

## BroadNet Inference पर

BroadNet Inference राउटर नहीं है। यह `https://inference.broadnet.ai/v1` पर एक छोटी [मॉडल सूची](https://broadrouter.com/hi/models/) वाला अकेला प्रोवाइडर है; BroadNet की शर्तें कहती हैं कि उसके मॉडल BroadNet के अपने या लीज़ पर लिए अमेरिकी हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर्स के साथ चलते हैं। प्रोवाइडर्स के बीच कोई automatic routing या fallback नहीं है। हर अनुरोध में मॉडल आप चुनते हैं, जैसे `broadnet/deepseek-v4.1-flash` या `broadnet/glm-5.3`।

क्योंकि API OpenAI-compatible है, यह किसी राउटर के पीछे एक बैकएंड के रूप में बैठ सकता है। [LiteLLM proxy गाइड](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/) सेटअप दिखाती है। राउटर और फ़्लैट-रेट प्रोवाइडर की तुलना के लिए [agents के लिए OpenRouter का विकल्प](https://broadrouter.com/hi/blog/openrouter-alternative-flat-rate/) पढ़ें। BroadNet प्रॉम्प्ट या आउटपुट नहीं रखता; अगर आप आगे कोई होस्टेड राउटर लगाते हैं, तो उसकी [डेटा रिटेंशन](https://broadrouter.com/hi/glossary/zero-data-retention/) नीति भी जाँचें।

## आम ग़लतियाँ

-   401 या 403 को किसी दूसरे प्रोवाइडर पर रीट्राई करना। ये key या पॉलिसी के एरर हैं; पहले इन्हें ठीक करें। देखें [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/)।
-   मॉडल नामों को आपस में बदले जा सकने वाला मानना। हर fallback मॉडल को अपने प्रॉम्प्ट पर टेस्ट करें।

## अक्सर पूछे जाने वाले सवाल

### क्या LLM राउटर और load balancer एक ही चीज़ हैं?

load balancer राउटर का एक हिस्सा है। राउटर किसी टास्क के लिए अलग मॉडल भी चुन सकता है, एरर के बाद दूसरे प्रोवाइडर पर fallback कर सकता है, और API फ़ॉर्मैट के बीच अनुवाद कर सकता है। सादा load balancer सिर्फ़ एक जैसे सर्वरों में ट्रैफ़िक बाँटता है।

### क्या राउटर latency बढ़ाता है?

आम तौर पर थोड़ी, क्योंकि अनुरोध एक अतिरिक्त नेटवर्क hop लेता है और राउटर उसे जाँच सकता है। Fallback से और बढ़ सकती है, क्योंकि रीट्राई से पहले एक फ़ेल कोशिश चलती है। राउटर के साथ और उसके बिना पहले टोकन तक का समय मापें।

### क्या BroadNet Inference एक LLM राउटर है?

नहीं। इस साइट के नाम के बावजूद, BroadNet Inference एक अकेला प्रोवाइडर है; BroadNet की शर्तें कहती हैं कि उसके मॉडल BroadNet के अपने या लीज़ पर लिए अमेरिकी हार्डवेयर पर, या अमेरिकी इन्फ़रेंस पार्टनर्स के साथ चलते हैं। हर अनुरोध में मॉडल आप चुनते हैं। आप इसे किसी राउटर के पीछे एक प्रोवाइडर के रूप में रख सकते हैं।

## यह भी देखें

-   [OpenAI-compatible API](https://broadrouter.com/hi/glossary/openai-compatible-api/) (शब्द)
-   [base URL](https://broadrouter.com/hi/glossary/base-url/) (शब्द)
-   [रेट लिमिट (rate limit)](https://broadrouter.com/hi/glossary/rate-limit/) (शब्द)
-   [ज़ीरो डेटा रिटेंशन (zero data retention, ZDR)](https://broadrouter.com/hi/glossary/zero-data-retention/) (शब्द)
-   [इन्फ़रेंस प्रोवाइडर (inference provider)](https://broadrouter.com/hi/glossary/inference-provider/) (शब्द)
-   [मॉडल फ़ॉलबैक (model fallback)](https://broadrouter.com/hi/glossary/model-fallback/) (शब्द)
-   [LiteLLM को BroadNet Inference पर रूट करें (SDK और प्रॉक्सी)](https://broadrouter.com/hi/guides/litellm-proxy-custom-provider/) (गाइड)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/) (गाइड)
-   [AI एजेंट के लिए OpenRouter बनाम फ़्लैट रेट प्लान: कौन सस्ता है?](https://broadrouter.com/hi/blog/openrouter-alternative-flat-rate/) (लेख)
-   [OpenAI-कम्पैटिबल API पर माइग्रेट करना: पूरी चेकलिस्ट](https://broadrouter.com/hi/blog/openai-compatible-api-migration-checklist/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-llm-router&utm_content=page-cta) ·

**स्रोत**

-   [OpenRouter quickstart (कई मॉडल के लिए एक endpoint)](https://openrouter.ai/docs/quickstart)
-   [LiteLLM Router डॉक्स, load balancing, fallbacks और cooldowns](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665)](https://arxiv.org/abs/2406.18665)
-   [BroadNet Inference API रेफ़रंस (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-llm-router&utm_content=sources)
-   [BroadNet सेवा की शर्तें, §2 होस्टिंग (जाँच: 2026-11-16) (अंग्रेज़ी में)](https://www.broadnet.ai/terms)
