---
title: "vLLM क्या है? ओपन-सोर्स LLM सर्विंग इंजन आसान भाषा में"
description: "vLLM एक ओपन-सोर्स LLM सर्विंग इंजन है जो PagedAttention और continuous batching पर बना है और OpenAI-compatible सर्वर देता है। यह क्या करता है और कब इस्तेमाल करें।"
url: https://broadrouter.com/hi/glossary/vllm/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/vllm/) (2026-11-15 को अपडेट किया गया).

# vLLM

अपडेट किया गया 2026-11-15

vLLM, LLM inference और सर्विंग के लिए एक ओपन-सोर्स लाइब्रेरी है, जिसे पहले UC Berkeley की Sky Computing Lab में बनाया गया। यह PagedAttention से KV cache मेमोरी सँभालती है, आने वाले अनुरोधों को लगातार बैच करती है, कई quantization फ़ॉर्मैट सपोर्ट करती है और OpenAI-compatible HTTP सर्वर देती है।

अन्य नाम: vllm kya hai, vllm server kya hai, वीएलएलएम, vLLM server, vLLM serve

जब लोग किसी open-weight मॉडल को GPU सर्वर पर ख़ुद होस्ट करते हैं, तो vLLM उन पहले इंजनों में है जिन्हें वे आज़माते हैं।

## यह कैसे काम करता है

प्रोजेक्ट के डॉक्स vLLM को “a fast and easy-to-use library for LLM inference and serving” (अनुवाद: LLM inference और सर्विंग के लिए एक तेज़ और आसान लाइब्रेरी) बताते हैं, जो “Originally developed in the Sky Computing Lab at UC Berkeley” (अनुवाद: मूल रूप से UC Berkeley की Sky Computing Lab में बनी) है। इसके मुख्य विचार:

-   **PagedAttention.** vLLM के पीछे का 2023 का पेपर [KV cache](https://broadrouter.com/hi/glossary/kv-cache/) मेमोरी को ऐसे तरीक़े से सँभालता है जो “inspired by the classical virtual memory and paging techniques in operating systems” (अनुवाद: ऑपरेटिंग सिस्टम की क्लासिक वर्चुअल मेमोरी और पेजिंग तकनीकों से प्रेरित) है। पेपर “near-zero waste in KV cache memory” (अनुवाद: KV cache मेमोरी में लगभग शून्य बर्बादी) और मिलती-जुलती लेटेंसी पर FasterTransformer और Orca से 2 से 4 गुना [throughput](https://broadrouter.com/hi/glossary/throughput/) बताता है।
-   **Continuous batching.** आने वाले अनुरोध तय बैच का इंतज़ार करने के बजाय डायनैमिक रूप से बैच होते हैं। डॉक्स इसके साथ chunked prefill और prefix caching भी गिनाते हैं; [prefill और decode](https://broadrouter.com/hi/glossary/prefill-and-decode/) देखें।
-   **कई फ़ॉर्मैट.** डॉक्स [quantization](https://broadrouter.com/hi/glossary/quantization/) के लिए FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/hi/glossary/awq/), [GGUF](https://broadrouter.com/hi/glossary/gguf/) और दूसरे फ़ॉर्मैट सूचीबद्ध करते हैं।
-   **हार्डवेयर.** NVIDIA और AMD GPU और कई CPU फ़ैमिली, और दूसरे एक्सेलरेटर के लिए प्लगइन।
-   **OpenAI-compatible सर्वर.** इसे `vllm serve` से शुरू करें और [OpenAI-compatible API](https://broadrouter.com/hi/glossary/openai-compatible-api/) की तरह कॉल करें।

आपके अपने सर्वर पर एक न्यूनतम क्लाइंट कॉल:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

सर्वर को मॉडल के लिए [चैट टेम्पलेट](https://broadrouter.com/hi/glossary/chat-template/) चाहिए। सर्विंग डॉक्स चेतावनी देते हैं: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (अनुवाद: चैट टेम्पलेट के बिना सर्वर चैट प्रोसेस नहीं कर पाएगा और सभी चैट अनुरोध एरर देंगे।) आप `--chat-template` से एक टेम्पलेट दे सकते हैं।

## यह क्यों मायने रखता है

-   **सेल्फ़-होस्टिंग का आधार.** अगर आप API की कीमत की तुलना अपने GPU चलाने से करते हैं, तो vLLM मापने के लिए एक आम इंजन है। हमारी [सेल्फ़-होस्टिंग बनाम API लागत गाइड](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) सुझाती है कि vLLM या SGLang के साथ अपने असली प्रॉम्प्ट असली concurrency पर टेस्ट करें।
-   **सर्विंग से नतीजे बदलते हैं.** वही weights इंजन वर्ज़न, quantization और सेटिंग के हिसाब से तेज़ या धीमे चल सकते हैं, और अलग स्कोर दे सकते हैं।
-   **साझा शब्दावली.** PagedAttention, chunked prefill और [speculative decoding](https://broadrouter.com/hi/glossary/speculative-decoding/) जैसे शब्द समझना आसान हो जाता है जब आप जानते हैं कि vLLM इन्हें कहाँ इस्तेमाल करता है।

## BroadNet Inference पर

BroadNet यह नहीं बताता कि उसका पब्लिक API कौन-सा इंजन सर्व करता है, इसलिए यह पेज ऐसा कोई दावा नहीं करता। BroadNet ने जो प्रकाशित किया है: सितंबर 2026 का एक प्रीप्रिंट, [Uno in vLLM](https://broadrouter.com/hi/blog/uno-in-vllm-serving-study/), जो IFM के Uno self-drafting adapter को vLLM में जोड़ता है और H100 पर Qwen3-8B के साथ एक स्ट्रीम पर सादे vLLM से 2.58 गुना और 32 स्ट्रीम पर 1.74 गुना throughput बताता है। इसका कोड BroadNet की vllm-uno रिपॉज़िटरी में पब्लिक है। BroadNet का कैटलॉग अपनी लैब कॉन्फ़िगरेशन में AMD ROCm के लिए पैच किए vLLM पर [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) का AWQ INT4 बिल्ड भी सूचीबद्ध करता है। BroadNet अपने फ़्लीट का वर्णन कैसे करता है, यह जानने के लिए [उसकी GPU हार्डवेयर और सर्विंग पोस्ट](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/) देखें।

## अक्सर पूछे जाने वाले सवाल

### क्या vLLM कोई API प्रोवाइडर है?

नहीं। vLLM एक सॉफ़्टवेयर है जिसे आप अपने हार्डवेयर पर चलाते हैं। इसे सीधे इस्तेमाल करने का मतलब है कि GPU, स्केलिंग और अपग्रेड आप ख़ुद सँभालते हैं।

### क्या मैं OpenAI SDK को vLLM सर्वर से जोड़ सकता हूँ?

हाँ। vLLM एक OpenAI-compatible सर्वर देता है, इसलिए आप SDK का base URL अपने सर्वर पर सेट करके chat completion अनुरोध भेजते हैं। मॉडल के लिए चैट टेम्पलेट होना चाहिए, वरना चैट अनुरोध फ़ेल होते हैं।

### क्या BroadNet Inference vLLM पर चलता है?

BroadNet यह नहीं बताता कि उसका पब्लिक API कौन-सा इंजन सर्व करता है। उसने vLLM का एक रिसर्च इम्प्लीमेंटेशन (Uno in vLLM) प्रकाशित किया है और अपनी लैब कॉन्फ़िगरेशन में AMD ROCm के लिए पैच किया हुआ vLLM बिल्ड सूचीबद्ध करता है।

## यह भी देखें

-   [KV cache (की-वैल्यू कैश)](https://broadrouter.com/hi/glossary/kv-cache/) (शब्द)
-   [Prefill और decode](https://broadrouter.com/hi/glossary/prefill-and-decode/) (शब्द)
-   [थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/) (शब्द)
-   [क्वांटाइज़ेशन (quantization)](https://broadrouter.com/hi/glossary/quantization/) (शब्द)
-   [OpenAI-compatible API](https://broadrouter.com/hi/glossary/openai-compatible-api/) (शब्द)
-   [स्पेक्युलेटिव डिकोडिंग (speculative decoding)](https://broadrouter.com/hi/glossary/speculative-decoding/) (शब्द)
-   [vLLM में Uno: BroadNet की सर्विंग स्टडी ने क्या मापा](https://broadrouter.com/hi/blog/uno-in-vllm-serving-study/) (लेख)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)
-   [BroadNet का GPU हार्डवेयर और सर्विंग का तरीक़ा, BroadNet के शब्दों में](https://broadrouter.com/hi/blog/broadnet-gpu-fleet-and-serving/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-vllm&utm_content=page-cta) ·

**स्रोत**

-   [Kwon और साथी, Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (2026-11-15 को जाँचा गया)](https://arxiv.org/abs/2309.06180)
-   [vLLM डॉक्यूमेंटेशन, ओवरव्यू (2026-11-15 को जाँचा गया)](https://docs.vllm.ai/en/latest/)
-   [vLLM डॉक्यूमेंटेशन, ऑनलाइन सर्विंग और चैट टेम्पलेट (2026-11-15 को जाँचा गया)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo प्रीप्रिंट (2026-11-15 को जाँचा गया)](https://doi.org/10.5281/zenodo.22652610)
