BroadRouter
شروع کریں

vLLM

اپ ڈیٹ

vLLM، LLM inference اور سرونگ کے لیے ایک اوپن سورس لائبریری ہے، جو پہلے UC Berkeley کی Sky Computing Lab میں بنائی گئی۔ یہ PagedAttention سے KV cache میموری سنبھالتی ہے، آنے والی درخواستوں کو مسلسل بیچ کرتی ہے، کئی quantization فارمیٹس سپورٹ کرتی ہے اور OpenAI-compatible HTTP سرور دیتی ہے۔

دوسرے نام: vllm kya hai، vllm server kya hai، وی ایل ایل ایم، vLLM server، vLLM serve

جب لوگ کسی open-weight ماڈل کو GPU سرور پر خود ہوسٹ کرتے ہیں تو vLLM ان پہلے انجنوں میں ہے جنہیں وہ آزماتے ہیں۔

یہ کیسے کام کرتا ہے

پروجیکٹ کی دستاویزات vLLM کو “a fast and easy-to-use library for LLM inference and serving” (ترجمہ: LLM inference اور سرونگ کے لیے ایک تیز اور آسان لائبریری) بتاتی ہیں، جو “Originally developed in the Sky Computing Lab at UC Berkeley” (ترجمہ: اصل میں UC Berkeley کی Sky Computing Lab میں تیار ہوئی) ہے۔ اس کے بنیادی خیالات:

  • PagedAttention۔ vLLM کے پیچھے 2023 کا پیپر KV cache میموری کو ایسے طریقے سے سنبھالتا ہے جو “inspired by the classical virtual memory and paging techniques in operating systems” (ترجمہ: آپریٹنگ سسٹمز کی کلاسک ورچوئل میموری اور پیجنگ تکنیکوں سے متاثر) ہے۔ پیپر “near-zero waste in KV cache memory” (ترجمہ: KV cache میموری میں تقریباً صفر ضیاع) اور ملتی جلتی لیٹنسی پر FasterTransformer اور Orca سے 2 سے 4 گنا throughput رپورٹ کرتا ہے۔
  • Continuous batching۔ آنے والی درخواستیں مقررہ بیچ کا انتظار کرنے کے بجائے متحرک طور پر بیچ ہوتی ہیں۔ دستاویزات اس کے ساتھ chunked prefill اور prefix caching بھی گنواتی ہیں؛ prefill اور decode دیکھیں۔
  • کئی فارمیٹس۔ دستاویزات quantization کے لیے FP8، INT8، INT4، GPTQ/AWQ، GGUF اور دیگر فارمیٹس درج کرتی ہیں۔
  • ہارڈ ویئر۔ NVIDIA اور AMD GPUs اور کئی CPU فیملیز، اور دوسرے ایکسلریٹرز کے لیے پلگ انز۔
  • OpenAI-compatible سرور۔ اسے vllm serve سے شروع کریں اور OpenAI-compatible API کی طرح کال کریں۔

آپ کے اپنے سرور پر ایک کم سے کم کلائنٹ کال:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

سرور کو ماڈل کے لیے چیٹ ٹیمپلیٹ چاہیے۔ سرونگ دستاویزات خبردار کرتی ہیں: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (ترجمہ: چیٹ ٹیمپلیٹ کے بغیر سرور چیٹ پروسیس نہیں کر سکے گا اور تمام چیٹ درخواستیں ایرر دیں گی۔) آپ --chat-template سے ایک ٹیمپلیٹ دے سکتے ہیں۔

یہ کیوں اہم ہے

  • سیلف ہوسٹنگ کی بنیاد۔ اگر آپ API کی قیمت کا موازنہ اپنے GPUs چلانے سے کرتے ہیں تو vLLM ناپنے کے لیے ایک عام انجن ہے۔ ہماری سیلف ہوسٹنگ بمقابلہ API لاگت گائیڈ تجویز کرتی ہے کہ vLLM یا SGLang کے ساتھ اپنے اصل پرامپٹس اصل concurrency پر ٹیسٹ کریں۔
  • سرونگ سے نتائج بدلتے ہیں۔ وہی weights انجن ورژن، quantization اور سیٹنگز کے لحاظ سے تیز یا سست چل سکتے ہیں، اور مختلف اسکور دے سکتے ہیں۔
  • مشترکہ اصطلاحات۔ PagedAttention، chunked prefill اور speculative decoding جیسی اصطلاحات سمجھنا آسان ہو جاتا ہے جب آپ جانتے ہیں کہ vLLM انہیں کہاں استعمال کرتا ہے۔

BroadNet Inference پر

BroadNet یہ نہیں بتاتا کہ اس کا پبلک API کون سا انجن سرو کرتا ہے، اس لیے یہ صفحہ ایسا کوئی دعویٰ نہیں کرتا۔ BroadNet نے جو شائع کیا ہے: ستمبر 2026 کا ایک پری پرنٹ، Uno in vLLM، جو IFM کا Uno self-drafting adapter vLLM میں شامل کرتا ہے اور H100 پر Qwen3-8B کے ساتھ ایک اسٹریم پر سادہ vLLM سے 2.58 گنا اور 32 اسٹریمز پر 1.74 گنا throughput رپورٹ کرتا ہے۔ اس کا کوڈ BroadNet کی vllm-uno ریپوزٹری میں پبلک ہے۔ BroadNet کا کیٹلاگ اپنی لیب کنفیگریشنز میں AMD ROCm کے لیے پیچ شدہ vLLM پر Qwen3.8 27B کا AWQ INT4 بلڈ بھی درج کرتا ہے۔ BroadNet اپنے فلیٹ کو کیسے بیان کرتا ہے، یہ جاننے کے لیے اس کی GPU ہارڈ ویئر اور سرونگ پوسٹ دیکھیں۔

عام سوالات

کیا vLLM کوئی API فراہم کنندہ ہے؟

نہیں۔ vLLM ایک سافٹ ویئر ہے جسے آپ اپنے ہارڈ ویئر پر چلاتے ہیں۔ اسے براہِ راست استعمال کرنے کا مطلب ہے کہ GPUs، اسکیلنگ اور اپ گریڈ آپ خود سنبھالتے ہیں۔

کیا میں OpenAI SDK کو vLLM سرور سے جوڑ سکتا ہوں؟

ہاں۔ vLLM ایک OpenAI-compatible سرور دیتا ہے، اس لیے آپ SDK کا base URL اپنے سرور پر سیٹ کر کے chat completion درخواستیں بھیجتے ہیں۔ ماڈل کے لیے چیٹ ٹیمپلیٹ ہونا چاہیے، ورنہ چیٹ درخواستیں ناکام ہوتی ہیں۔

کیا BroadNet Inference، vLLM پر چلتا ہے؟

BroadNet یہ نہیں بتاتا کہ اس کا پبلک API کون سا انجن سرو کرتا ہے۔ اس نے vLLM کا ایک تحقیقی امپلیمنٹیشن (Uno in vLLM) شائع کیا ہے اور اپنی لیب کنفیگریشنز میں AMD ROCm کے لیے پیچ شدہ vLLM بلڈ درج کرتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں