Wer ein Open-Weight-Modell auf einem eigenen GPU-Server betreibt, probiert vLLM meist als eine der ersten Engines aus.
So funktioniert es
Die Projektdokumentation beschreibt vLLM als „a fast and easy-to-use library for LLM inference and serving“ (Übersetzung: „eine schnelle und einfach nutzbare Bibliothek für LLM-Inferenz und -Serving“), „Originally developed in the Sky Computing Lab at UC Berkeley“ (Übersetzung: „ursprünglich im Sky Computing Lab der UC Berkeley entwickelt“). Die Kernideen:
- PagedAttention. Das Paper von 2023 hinter vLLM verwaltet den Speicher des KV-Cache mit einer Methode, die „inspired by the classical virtual memory and paging techniques in operating systems“ ist (Übersetzung: „von den klassischen Techniken für virtuellen Speicher und Paging in Betriebssystemen inspiriert“). Es berichtet „near-zero waste in KV cache memory“ (Übersetzung: „nahezu keine Verschwendung von KV-Cache-Speicher“) und das 2- bis 4-Fache des Durchsatzes von FasterTransformer und Orca bei ähnlicher Latenz.
- Continuous Batching. Eingehende Requests werden dynamisch gebündelt, statt auf einen festen Batch zu warten. Die Dokumentation nennt daneben Chunked Prefill und Prefix Caching; siehe Prefill und Decode.
- Viele Formate. Für die Quantisierung listet die Dokumentation FP8, INT8, INT4, GPTQ/AWQ, GGUF und weitere.
- Hardware. GPUs von NVIDIA und AMD und mehrere CPU-Familien, mit Plugins für andere Beschleuniger.
- Ein OpenAI-kompatibler Server. Starten Sie ihn mit
vllm serveund rufen Sie ihn wie eine OpenAI-kompatible API auf.
Ein minimaler Client-Aufruf an Ihren eigenen Server:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Der Server braucht ein Chat-Template für das Modell. Die Serving-Dokumentation warnt: „Without a chat template, the server will not be able to process chat and all chat requests will error.“ (Übersetzung: „Ohne Chat-Template kann der Server keinen Chat verarbeiten, und alle Chat-Requests schlagen fehl.“) Sie können eines mit --chat-template übergeben.
Warum es wichtig ist
- Referenz fürs Self-Hosting. Wenn Sie einen API-Preis mit dem Betrieb eigener GPUs vergleichen, ist vLLM eine gängige Engine für die Messung. Unser Kostenvergleich Self-Hosting vs. API empfiehlt, Ihre echten Prompts bei realer Nebenläufigkeit mit vLLM oder SGLang zu testen.
- Das Serving verändert Ergebnisse. Dieselben Gewichte können je nach Engine-Version, Quantisierung und Einstellungen schneller oder langsamer sein und anders abschneiden.
- Ein gemeinsames Vokabular. Begriffe wie PagedAttention, Chunked Prefill und Speculative Decoding sind leichter zu verstehen, wenn Sie wissen, wo vLLM sie einsetzt.
Bei BroadNet Inference
BroadNet sagt nicht, welche Engine seine öffentliche API bedient, daher behauptet diese Seite auch keine. Was BroadNet veröffentlicht hat: einen Preprint vom September 2026, Uno in vLLM, der IFMs selbstentwerfenden Uno-Adapter (Self-Drafting) zu vLLM hinzufügt und auf einer H100 mit Qwen3-8B das 2,58-Fache des Durchsatzes von reinem vLLM bei einem Stream und das 1,74-Fache bei 32 Streams meldet. Der Code ist öffentlich im Repository vllm-uno von BroadNet. Der Katalog von BroadNet führt außerdem unter den Lab-Konfigurationen einen AWQ-INT4-Build von Qwen3.8 27B auf dem gepatchten vLLM für AMD ROCm. Wie BroadNet seine Flotte beschreibt, lesen Sie im Beitrag zu GPU-Hardware und Serving.