Açık ağırlıklı bir modeli bir GPU sunucusunda kendileri barındırmak isteyenlerin ilk denediği motorlardan biri vLLM’dir.
Nasıl çalışır
Projenin belgeleri vLLM’i “a fast and easy-to-use library for LLM inference and serving” (çeviri: LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphane) ve “Originally developed in the Sky Computing Lab at UC Berkeley” (çeviri: ilk olarak UC Berkeley’deki Sky Computing Lab’de geliştirildi) diye tanımlar. Temel fikirleri:
- PagedAttention. vLLM’in arkasındaki 2023 makalesi, KV önbelleği belleğini “inspired by the classical virtual memory and paging techniques in operating systems” (çeviri: işletim sistemlerindeki klasik sanal bellek ve sayfalama tekniklerinden esinlenen) bir yöntemle yönetir. Makale “near-zero waste in KV cache memory” (çeviri: KV önbelleği belleğinde sıfıra yakın israf) ve benzer gecikmede FasterTransformer ile Orca’nın 2 ila 4 katı işlem hacmi bildiriyor.
- Sürekli toplu işleme (continuous batching). Gelen istekler sabit bir toplu işi beklemek yerine dinamik olarak gruplanır. Belgeler bunun yanında parçalı prefill (chunked prefill) ve önek önbelleklemeyi (prefix caching) listeler; bkz. prefill ve decode.
- Birçok format. Belgeler kuantizasyon için FP8, INT8, INT4, GPTQ/AWQ, GGUF ve diğerlerini listeler.
- Donanım. NVIDIA ve AMD GPU’ları ile birkaç CPU ailesi; diğer hızlandırıcılar için eklentiler.
- OpenAI uyumlu bir sunucu.
vllm serveile başlatın ve bir OpenAI uyumlu API gibi çağırın.
Kendi sunucunuza en basit istemci çağrısı:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Sunucunun model için bir sohbet şablonuna ihtiyacı vardır. Sunum belgeleri şöyle uyarır: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (çeviri: Sohbet şablonu olmadan sunucu sohbeti işleyemez ve tüm sohbet istekleri hata verir.) Şablonu --chat-template ile verebilirsiniz.
Neden önemli
- Kendi barındırmanın referans noktası. Bir API fiyatını kendi GPU’larınızı çalıştırmakla karşılaştırıyorsanız vLLM, ölçüm için yaygın bir motordur. Kendi barındırma ve API maliyeti rehberimiz, gerçek istemlerinizi gerçek eşzamanlılıkta vLLM veya SGLang ile test etmenizi öneriyor.
- Sunum biçimi sonuçları değiştirir. Aynı ağırlıklar motor sürümüne, kuantizasyona ve ayarlara göre daha hızlı veya daha yavaş olabilir, farklı puan alabilir.
- Ortak bir terminoloji. PagedAttention, chunked prefill ve spekülatif çözümleme gibi terimler, vLLM’in onları nerede kullandığını bildiğinizde daha kolay anlaşılır.
BroadNet Inference’ta
BroadNet, herkese açık API’sini hangi motorun sunduğunu açıklamıyor; bu sayfa da bir motor iddia etmiyor. BroadNet’in yayımladıkları şunlar: IFM’nin Uno kendi kendine taslak üreten adaptörünü vLLM’e ekleyen ve bir H100’de Qwen3-8B ile düz vLLM işlem hacminin tek akışta 2,58 katını, 32 akışta 1,74 katını bildiren Eylül 2026 tarihli bir ön baskı, Uno in vLLM. Kodu, BroadNet’in vllm-uno deposunda herkese açık. BroadNet’in kataloğu ayrıca laboratuvar yapılandırmaları arasında Qwen3.8 27B modelinin, AMD ROCm için yamalanmış vLLM üzerinde çalışan bir AWQ INT4 derlemesini listeliyor. BroadNet’in filosunu nasıl anlattığı için GPU donanımı ve sunum yazısına bakın.