---
title: "Ano ang vLLM? Ang open-source na LLM serving engine | BroadRouter"
description: "Ang vLLM ay open-source na LLM serving engine na may PagedAttention, continuous batching at OpenAI-compatible server. Ano ang ginagawa nito at kailan ito gamitin."
url: https://broadrouter.com/fil/glossary/vllm/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/vllm/) (na-update noong 2026-11-15).

# vLLM

Na-update 2026-11-15

Ang vLLM ay isang open-source na library para sa LLM inference at serving, na unang binuo sa Sky Computing Lab ng UC Berkeley. Pinamamahalaan nito ang KV cache memory gamit ang PagedAttention, tuloy-tuloy na bina-batch ang mga papasok na request, sumusuporta sa maraming quantization format at may OpenAI-compatible na HTTP server.

Tinatawag ding: vLLM, vLLM server, vLLM serve, ano ang vLLM, vLLM inference engine

Kapag nagse-self-host ng open-weight model sa isang GPU server, isa ang vLLM sa mga unang engine na sinusubukan.

## Paano ito gumagana

Inilalarawan ng docs ng proyekto ang vLLM bilang “a fast and easy-to-use library for LLM inference and serving”, “Originally developed in the Sky Computing Lab at UC Berkeley”. (Salin: “isang mabilis at madaling gamiting library para sa LLM inference at serving”, “Unang binuo sa Sky Computing Lab sa UC Berkeley”.) Ang mga pangunahing ideya nito:

-   **PagedAttention.** Pinamamahalaan ng 2023 paper sa likod ng vLLM ang [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) memory gamit ang paraang “inspired by the classical virtual memory and paging techniques in operating systems” (salin: “hango sa klasikong virtual memory at paging technique sa mga operating system”). Iniuulat nito ang “near-zero waste in KV cache memory” (salin: “halos walang nasasayang na KV cache memory”) at 2 hanggang 4 na beses na [throughput](https://broadrouter.com/fil/glossary/throughput/) kumpara sa FasterTransformer at Orca sa magkatulad na latency.
-   **Continuous batching.** Dinamikong bina-batch ang mga papasok na request sa halip na maghintay ng fixed na batch. Kasama nitong nakalista sa docs ang chunked prefill at prefix caching; tingnan ang [prefill at decode](https://broadrouter.com/fil/glossary/prefill-and-decode/).
-   **Maraming format.** Nakalista sa docs ang FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/fil/glossary/awq/), [GGUF](https://broadrouter.com/fil/glossary/gguf/) at iba pa para sa [quantization](https://broadrouter.com/fil/glossary/quantization/).
-   **Hardware.** Mga NVIDIA at AMD GPU at ilang CPU family, may mga plugin para sa ibang accelerator.
-   **OpenAI-compatible server.** Simulan ito gamit ang `vllm serve` at tawagin gaya ng isang [OpenAI-compatible API](https://broadrouter.com/fil/glossary/openai-compatible-api/).

Isang minimal na client call sa sarili mong server:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Kailangan ng server ng [chat template](https://broadrouter.com/fil/glossary/chat-template/) para sa model. Babala ng serving docs: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Salin: “Kung walang chat template, hindi makakapag-process ng chat ang server at mag-e-error ang lahat ng chat request.”) Puwede kang magbigay nito gamit ang `--chat-template`.

## Bakit ito mahalaga

-   **Batayan sa self-hosting.** Kung ikinukumpara mo ang presyo ng API sa pagpapatakbo ng sarili mong GPU, karaniwang engine ang vLLM na ginagamit sa pagsukat. Iminumungkahi ng aming [gabay sa gastos ng self-hosting vs API](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) na subukan ang totoong prompt mo sa totoong concurrency gamit ang vLLM o SGLang.
-   **Nagbabago ang resulta depende sa serving.** Puwedeng bumilis o bumagal, at mag-iba ang score, ng parehong weights depende sa bersyon ng engine, quantization at settings.
-   **Iisang bokabularyo.** Mas madaling sundan ang mga terminong gaya ng PagedAttention, chunked prefill at [speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/) kapag alam mo kung saan ginagamit ng vLLM ang mga ito.

## Sa BroadNet Inference

Hindi sinasabi ng BroadNet kung aling engine ang nagse-serve sa public API nito, kaya walang sinasabi ang page na ito tungkol doon. Ang inilathala ng BroadNet: isang preprint noong Setyembre 2026, [Uno in vLLM](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/), na nagdaragdag ng Uno self-drafting adapter ng IFM sa vLLM at nag-uulat ng 2.58 na beses ng throughput ng plain vLLM sa isang stream at 1.74 na beses sa 32, sa isang H100 gamit ang Qwen3-8B. Public ang code nito sa vllm-uno repository ng BroadNet. Nakalista rin sa catalogue ng BroadNet, sa mga lab configuration, ang isang AWQ INT4 build ng [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) sa patched na vLLM nito para sa AMD ROCm. Para sa kung paano inilalarawan ng BroadNet ang fleet nito, tingnan ang [post nito tungkol sa GPU hardware at serving](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/).

## Mga tanong

### API provider ba ang vLLM?

Hindi. Software ang vLLM na pinapatakbo mo sa sarili mong hardware. Kapag direkta mo itong ginamit, ikaw ang magpapatakbo ng mga GPU, ng scaling at ng mga upgrade.

### Puwede ko bang ituro ang OpenAI SDK sa isang vLLM server?

Oo. May OpenAI-compatible server ang vLLM, kaya itatakda mo ang base URL ng SDK sa server mo at magpapadala ng chat completion request. Kailangan ng model ng chat template, kung hindi ay magfe-fail ang mga chat request.

### Tumatakbo ba sa vLLM ang BroadNet Inference?

Hindi sinasabi ng BroadNet kung aling engine ang nagse-serve sa public API nito. Naglathala ito ng vLLM research implementation (Uno in vLLM) at may nakalistang patched na vLLM build para sa AMD ROCm sa mga lab configuration nito.

## Tingnan din

-   [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) (termino)
-   [Prefill at decode](https://broadrouter.com/fil/glossary/prefill-and-decode/) (termino)
-   [Throughput](https://broadrouter.com/fil/glossary/throughput/) (termino)
-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [OpenAI-compatible API](https://broadrouter.com/fil/glossary/openai-compatible-api/) (termino)
-   [Speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/) (termino)
-   [Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/) (artikulo)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) (artikulo)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-vllm&utm_content=page-cta) ·

**Mga source**

-   [Kwon et al., Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (sinuri noong 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [Dokumentasyon ng vLLM, overview (sinuri noong 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [Dokumentasyon ng vLLM, online serving at chat templates (sinuri noong 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo preprint (sinuri noong 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
