حين يستضيف المطوّرون نموذجًا مفتوح الأوزان على خادم GPU بأنفسهم، يكون vLLM من أول المحركات التي يجرّبونها.
كيف يعمل
يصف توثيق المشروع vLLM بأنه “a fast and easy-to-use library for LLM inference and serving” (ترجمة: مكتبة سريعة وسهلة الاستخدام للاستدلال بالنماذج اللغوية الكبيرة وتقديمها)، و”Originally developed in the Sky Computing Lab at UC Berkeley” (ترجمة: طُوّرت أصلًا في مختبر Sky Computing بجامعة UC Berkeley). وأفكاره الأساسية:
- PagedAttention. تدير الورقة البحثية التي يقوم عليها vLLM (2023) ذاكرة KV المؤقتة بطريقة “inspired by the classical virtual memory and paging techniques in operating systems” (ترجمة: مستوحاة من تقنيات الذاكرة الافتراضية والتصفيح الكلاسيكية في أنظمة التشغيل). وتُبلغ عن “near-zero waste in KV cache memory” (ترجمة: هدر شبه معدوم في ذاكرة KV cache)، وعن إنتاجية أعلى بمرتين إلى أربع مرات من FasterTransformer وOrca عند زمن استجابة مماثل.
- التجميع المستمر (continuous batching). تُجمَّع الطلبات الواردة ديناميكيًا بدل انتظار دفعة ثابتة. ويذكر التوثيق بجانبه الملء المسبق المجزّأ (chunked prefill) والتخزين المؤقت للبادئات (prefix caching)؛ راجع الملء المسبق وفك الترميز.
- صيغ كثيرة. يذكر التوثيق FP8 وINT8 وINT4 وGPTQ/AWQ وGGUF وغيرها من صيغ التكميم.
- العتاد. وحدات GPU من NVIDIA وAMD وعدة عائلات من المعالجات المركزية، مع إضافات (plugins) لمسرّعات أخرى.
- خادم متوافق مع OpenAI. شغّله بالأمر
vllm serveواستدعِه كأي API متوافقة مع OpenAI.
استدعاء بسيط من عميل إلى خادمك:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
يحتاج الخادم إلى قالب محادثة للنموذج. ويحذّر توثيق التقديم: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (ترجمة: من دون قالب محادثة، لن يتمكّن الخادم من معالجة المحادثة وستفشل كل طلبات المحادثة). ويمكنك تمرير قالب بالخيار --chat-template.
لماذا يهم
- مرجع للاستضافة الذاتية. إذا قارنت سعر API بتشغيل وحدات GPU خاصة بك، فإن vLLM محرك شائع للقياس به. ويقترح دليلنا لتكلفة الاستضافة الذاتية مقابل API اختبار موجّهاتك الحقيقية بتزامن حقيقي باستخدام vLLM أو SGLang.
- طريقة التشغيل تغيّر النتائج. الأوزان نفسها قد تكون أسرع أو أبطأ، وقد تحقق درجات مختلفة، بحسب إصدار المحرك والتكميم والإعدادات.
- مفردات مشتركة. مصطلحات مثل PagedAttention والملء المسبق المجزّأ وفك الترميز التخميني يسهل فهمها حين تعرف أين يستخدمها vLLM.
في BroadNet Inference
لا تذكر BroadNet أي محرك يشغّل واجهتها العامة، ولذلك لا تدّعي هذه الصفحة محركًا بعينه. أما ما نشرته BroadNet: مسودة بحثية في سبتمبر 2026 بعنوان Uno in vLLM، تضيف إلى vLLM محوّل Uno للمسوّدة الذاتية (self-drafting adapter) من IFM، وتُبلغ عن إنتاجية تبلغ 2.58 ضعف vLLM العادي عند تدفق واحد و1.74 ضعفًا عند 32 تدفقًا، على H100 مع Qwen3-8B. وشيفرتها منشورة في مستودع vllm-uno التابع لـ BroadNet. ويُدرج كتالوج BroadNet أيضًا نسخة AWQ INT4 من Qwen3.8 27B على نسخة vLLM المعدّلة لـ AMD ROCm ضمن إعدادات المختبر. ولمعرفة كيف تصف BroadNet أسطولها، راجع منشورها عن عتاد GPU والتشغيل.