---
title: "vLLM là gì? Engine phục vụ LLM mã nguồn mở | BroadRouter"
description: "vLLM là engine phục vụ LLM mã nguồn mở, xây trên PagedAttention và continuous batching, kèm server tương thích OpenAI. vLLM làm gì và khi nào nên dùng."
url: https://broadrouter.com/vi/glossary/vllm/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/vllm/) (cập nhật ngày 2026-11-15).

# vLLM

Cập nhật 2026-11-15

vLLM là thư viện mã nguồn mở để chạy suy luận và phục vụ (serving) LLM, ban đầu được phát triển tại Sky Computing Lab của UC Berkeley. Nó quản lý bộ nhớ KV cache bằng PagedAttention, gom request liên tục theo continuous batching, hỗ trợ nhiều định dạng lượng tử hóa và cung cấp HTTP server tương thích OpenAI.

Còn gọi là: vLLM là gì, cách dùng vLLM, engine serving LLM, vLLM server, vLLM serve

Khi tự host một model open-weight trên server GPU, vLLM là một trong những engine đầu tiên mọi người thử.

## Cách hoạt động

Tài liệu của dự án mô tả vLLM là “a fast and easy-to-use library for LLM inference and serving” (Bản dịch: một thư viện nhanh và dễ dùng để suy luận và phục vụ LLM), “Originally developed in the Sky Computing Lab at UC Berkeley” (Bản dịch: ban đầu được phát triển tại Sky Computing Lab của UC Berkeley). Các ý tưởng cốt lõi:

-   **PagedAttention.** Bài báo năm 2023 đứng sau vLLM quản lý bộ nhớ [KV cache](https://broadrouter.com/vi/glossary/kv-cache/) bằng một phương pháp “inspired by the classical virtual memory and paging techniques in operating systems” (Bản dịch: lấy cảm hứng từ kỹ thuật bộ nhớ ảo và phân trang cổ điển trong hệ điều hành). Bài báo báo cáo “near-zero waste in KV cache memory” (Bản dịch: lãng phí bộ nhớ KV cache gần như bằng không) và [throughput](https://broadrouter.com/vi/glossary/throughput/) gấp 2 đến 4 lần FasterTransformer và Orca ở độ trễ tương đương.
-   **Continuous batching.** Request đến được gom lô động thay vì chờ đủ một lô cố định. Tài liệu liệt kê chunked prefill và prefix caching đi kèm; xem [prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/).
-   **Nhiều định dạng.** Tài liệu liệt kê FP8, INT8, INT4, GPTQ/[AWQ](https://broadrouter.com/vi/glossary/awq/), [GGUF](https://broadrouter.com/vi/glossary/gguf/) và các định dạng khác cho [lượng tử hóa](https://broadrouter.com/vi/glossary/quantization/).
-   **Phần cứng.** GPU NVIDIA và AMD cùng nhiều dòng CPU, với plugin cho các bộ tăng tốc khác.
-   **Server tương thích OpenAI.** Khởi động bằng `vllm serve` và gọi nó như một [API tương thích OpenAI](https://broadrouter.com/vi/glossary/openai-compatible-api/).

Một lời gọi tối giản từ client tới server của bạn:

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

Server cần một [chat template](https://broadrouter.com/vi/glossary/chat-template/) cho model. Tài liệu serving cảnh báo: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (Bản dịch: thiếu chat template, server sẽ không xử lý được chat và mọi request chat đều báo lỗi.) Bạn có thể truyền template bằng `--chat-template`.

## Vì sao quan trọng

-   **Mốc so sánh khi tự host.** Nếu bạn so giá API với việc tự chạy GPU, vLLM là engine thường dùng để đo. [Hướng dẫn so chi phí tự host và API](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) của chúng tôi gợi ý thử prompt thật ở mức đồng thời thật với vLLM hoặc SGLang.
-   **Cách phục vụ làm thay đổi kết quả.** Cùng một bộ trọng số có thể nhanh hơn hoặc chậm hơn, và cho điểm khác nhau, tùy phiên bản engine, lượng tử hóa và thiết lập.
-   **Một bộ thuật ngữ chung.** Những khái niệm như PagedAttention, chunked prefill và [speculative decoding](https://broadrouter.com/vi/glossary/speculative-decoding/) dễ theo dõi hơn khi bạn biết vLLM dùng chúng ở đâu.

## Trên BroadNet Inference

BroadNet không cho biết engine nào phục vụ API công khai của mình, nên trang này không khẳng định engine nào. Những gì BroadNet đã công bố: một bản preprint tháng 9 năm 2026, [Uno in vLLM](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/), thêm adapter tự soạn nháp Uno của IFM vào vLLM và báo cáo throughput gấp 2,58 lần vLLM thuần ở một luồng và 1,74 lần ở 32 luồng, trên H100 với Qwen3-8B. Code được công khai trong repo vllm-uno của BroadNet. Danh mục của BroadNet cũng liệt kê một bản build AWQ INT4 của [Qwen3.8 27B](https://broadrouter.com/vi/models/qwen3.8-27b/) trên vLLM đã vá cho AMD ROCm trong các cấu hình lab. Để xem BroadNet mô tả hạ tầng GPU của mình thế nào, hãy đọc [bài về phần cứng GPU và serving](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/).

## Câu hỏi thường gặp

### vLLM có phải là nhà cung cấp API không?

Không. vLLM là phần mềm bạn chạy trên phần cứng của mình. Dùng trực tiếp nghĩa là bạn tự vận hành GPU, việc mở rộng quy mô và nâng cấp.

### Tôi có thể trỏ OpenAI SDK vào một server vLLM không?

Có. vLLM cung cấp server tương thích OpenAI, nên bạn đặt base URL của SDK thành server của mình và gửi request chat completion. Model cần có chat template, nếu không các request chat sẽ thất bại.

### BroadNet Inference có chạy trên vLLM không?

BroadNet không cho biết engine nào phục vụ API công khai của mình. BroadNet đã công bố một bản triển khai nghiên cứu trên vLLM (Uno in vLLM) và liệt kê một bản build vLLM đã vá cho AMD ROCm trong các cấu hình lab.

## Xem thêm

-   [KV cache (bộ nhớ đệm key-value)](https://broadrouter.com/vi/glossary/kv-cache/) (thuật ngữ)
-   [Prefill và decode](https://broadrouter.com/vi/glossary/prefill-and-decode/) (thuật ngữ)
-   [Throughput (thông lượng)](https://broadrouter.com/vi/glossary/throughput/) (thuật ngữ)
-   [Lượng tử hóa (quantization)](https://broadrouter.com/vi/glossary/quantization/) (thuật ngữ)
-   [API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/) (thuật ngữ)
-   [Speculative decoding (giải mã suy đoán)](https://broadrouter.com/vi/glossary/speculative-decoding/) (thuật ngữ)
-   [Uno trong vLLM: nghiên cứu phục vụ của BroadNet đã đo những gì](https://broadrouter.com/vi/blog/uno-in-vllm-serving-study/) (bài viết)
-   [Tự host LLM hay dùng API: chi phí thực và điểm hòa vốn](https://broadrouter.com/vi/blog/self-hosting-llm-vs-api-cost/) (bài viết)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-vllm&utm_content=page-cta) ·

**Nguồn**

-   [Kwon và cộng sự, Efficient Memory Management for LLM Serving with PagedAttention, arXiv 2309.06180 (kiểm tra ngày 2026-11-15)](https://arxiv.org/abs/2309.06180)
-   [Tài liệu vLLM, tổng quan (kiểm tra ngày 2026-11-15)](https://docs.vllm.ai/en/latest/)
-   [Tài liệu vLLM, online serving và chat template (kiểm tra ngày 2026-11-15)](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, bản preprint trên Zenodo (kiểm tra ngày 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
