---
title: "Apa itu vLLM? Penjelasan engine serving LLM open-source"
description: "vLLM adalah engine serving LLM open-source berbasis PagedAttention dan continuous batching, dengan server yang kompatibel dengan OpenAI. Fungsinya dan kapan dipakai."
url: https://broadrouter.com/id/glossary/vllm/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/vllm/) (diperbarui 2026-11-15).

# vLLM

Diperbarui 2026-11-15

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

Disebut juga: apa itu vLLM, server vLLM, cara install vLLM, engine serving LLM, vLLM server, vLLM serve

Saat orang meng-hosting sendiri model open-weight di server GPU, vLLM adalah salah satu engine pertama yang mereka coba.

## Cara kerjanya

Dokumentasi proyek ini menyebut vLLM sebagai “a fast and easy-to-use library for LLM inference and serving” (terjemahan: library yang cepat dan mudah dipakai untuk inferensi dan serving LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (terjemahan: awalnya dikembangkan di Sky Computing Lab UC Berkeley). Ide intinya:

-   **PagedAttention.** Paper tahun 2023 di balik vLLM mengelola memori [KV cache](https://broadrouter.com/id/glossary/kv-cache/) dengan metode yang “inspired by the classical virtual memory and paging techniques in operating systems” (terjemahan: terinspirasi dari teknik virtual memory dan paging klasik di sistem operasi). Paper itu melaporkan “near-zero waste in KV cache memory” (terjemahan: pemborosan memori KV cache yang nyaris nol) dan [throughput](https://broadrouter.com/id/glossary/throughput/) 2 sampai 4 kali FasterTransformer dan Orca pada latensi yang serupa.
-   **Continuous batching.** Request yang masuk di-batch secara dinamis, bukan menunggu batch dengan ukuran tetap. Dokumentasinya juga mencantumkan chunked prefill dan prefix caching; lihat [prefill dan decode](https://broadrouter.com/id/glossary/prefill-and-decode/).
-   **Banyak format.** Dokumentasinya mencantumkan FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/id/glossary/awq/), [GGUF](https://broadrouter.com/id/glossary/gguf/), dan lainnya untuk [kuantisasi](https://broadrouter.com/id/glossary/quantization/).
-   **Hardware.** GPU NVIDIA dan AMD serta beberapa keluarga CPU, dengan plugin untuk akselerator lain.
-   **Server yang kompatibel dengan OpenAI.** Jalankan dengan `vllm serve` dan panggil seperti [API yang kompatibel dengan OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/).

Panggilan klien minimal ke server Anda sendiri:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Server membutuhkan [chat template](https://broadrouter.com/id/glossary/chat-template/) untuk model tersebut. Dokumentasi serving memperingatkan: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (terjemahan: Tanpa chat template, server tidak bisa memproses chat dan semua request chat akan error.) Anda bisa memberikannya dengan `--chat-template`.

## Mengapa penting

-   **Patokan self-hosting.** Jika Anda membandingkan harga API dengan menjalankan GPU sendiri, vLLM adalah engine yang umum dipakai untuk mengukurnya. [Panduan biaya self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) kami menyarankan menguji prompt nyata Anda pada concurrency nyata dengan vLLM atau SGLang.
-   **Cara serving mengubah hasil.** Bobot yang sama bisa lebih cepat atau lebih lambat, dan mendapat skor berbeda, tergantung versi engine, kuantisasi, dan pengaturannya.
-   **Kosakata bersama.** Istilah seperti PagedAttention, chunked prefill, dan [speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) lebih mudah dipahami setelah Anda tahu di mana vLLM memakainya.

## Di BroadNet Inference

BroadNet tidak menyebutkan engine mana yang melayani API publiknya, jadi halaman ini tidak mengklaim engine tertentu. Yang sudah diterbitkan BroadNet: sebuah preprint September 2026, [Uno in vLLM](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/), yang menambahkan adapter self-drafting Uno dari IFM ke vLLM dan melaporkan throughput 2,58 kali vLLM biasa pada satu stream dan 1,74 kali pada 32 stream di H100 dengan Qwen3-8B. Kodenya publik di repositori vllm-uno milik BroadNet. Katalog BroadNet juga mencantumkan build AWQ INT4 dari [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) di vLLM yang di-patch untuk AMD ROCm sebagai salah satu konfigurasi lab. Untuk cara BroadNet menggambarkan armadanya, lihat [artikel tentang hardware GPU dan serving-nya](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/).

## Pertanyaan umum

### Apakah vLLM itu penyedia API?

Bukan. vLLM adalah software yang Anda jalankan di hardware Anda sendiri. Memakainya langsung berarti Anda sendiri yang mengelola GPU, scaling, dan upgrade.

### Bisakah OpenAI SDK diarahkan ke server vLLM?

Bisa. vLLM menyediakan server yang kompatibel dengan OpenAI, jadi Anda mengatur base URL SDK ke server Anda dan mengirim request chat completion. Model perlu chat template; tanpanya request chat akan gagal.

### Apakah BroadNet Inference berjalan di vLLM?

BroadNet tidak menyebutkan engine mana yang melayani API publiknya. BroadNet telah menerbitkan implementasi riset vLLM (Uno in vLLM) dan mencantumkan build vLLM yang di-patch untuk AMD ROCm di antara konfigurasi lab-nya.

## Lihat juga

-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [Prefill dan decode (fase inferensi LLM)](https://broadrouter.com/id/glossary/prefill-and-decode/) (istilah)
-   [Throughput](https://broadrouter.com/id/glossary/throughput/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/) (istilah)
-   [Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) (istilah)
-   [Uno di vLLM: apa yang diukur studi serving BroadNet](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/) (artikel)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-vllm&utm_content=page-cta) ·

**Sumber**

-   [Kwon dkk., Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (dicek 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [Dokumentasi vLLM, ikhtisar (dicek 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [Dokumentasi vLLM, online serving dan chat template (dicek 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, preprint Zenodo (dicek 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
