BroadRouter
시작하기

vLLM

업데이트

vLLM은 UC 버클리 Sky Computing Lab에서 처음 개발된 LLM 추론·서빙용 오픈소스 라이브러리입니다. PagedAttention으로 KV 캐시 메모리를 관리하고, 들어오는 요청을 연속적으로 배칭하며, 다양한 양자화 형식을 지원하고, OpenAI 호환 HTTP 서버를 제공합니다.

다른 이름: vLLM 서버, vLLM 서빙, vLLM 사용법, LLM 서빙 엔진, vLLM server, vLLM serve

GPU 서버에 오픈 웨이트 모델을 직접 올릴 때 가장 먼저 써 보는 엔진 중 하나가 vLLM입니다.

작동 방식

프로젝트 문서는 vLLM을 “a fast and easy-to-use library for LLM inference and serving”(번역: 빠르고 쓰기 쉬운 LLM 추론·서빙 라이브러리), “Originally developed in the Sky Computing Lab at UC Berkeley”(번역: 원래 UC 버클리 Sky Computing Lab에서 개발됨)라고 소개합니다. 핵심 아이디어는 다음과 같습니다.

  • PagedAttention. vLLM의 바탕이 된 2023년 논문은 “inspired by the classical virtual memory and paging techniques in operating systems”(번역: 운영체제의 고전적인 가상 메모리와 페이징 기법에서 영감을 받은) 방법으로 KV 캐시 메모리를 관리합니다. 논문은 “near-zero waste in KV cache memory”(번역: KV 캐시 메모리 낭비가 거의 0)를 달성했고, 비슷한 지연 시간에서 FasterTransformer와 Orca보다 2~4배 높은 처리량을 냈다고 보고합니다.
  • 연속 배칭(continuous batching). 고정된 배치가 찰 때까지 기다리지 않고 들어오는 요청을 동적으로 묶습니다. 문서는 청크 단위 프리필(chunked prefill)과 프리픽스 캐싱도 함께 소개합니다. 프리필과 디코드를 참고하세요.
  • 다양한 형식. 문서는 양자화 형식으로 FP8, INT8, INT4, GPTQ/AWQ, GGUF 등을 나열합니다.
  • 하드웨어. NVIDIA와 AMD GPU, 여러 CPU 계열을 지원하며, 다른 가속기는 플러그인으로 지원합니다.
  • OpenAI 호환 서버. vllm serve로 시작하고 OpenAI 호환 API처럼 호출합니다.

내 서버를 호출하는 최소한의 클라이언트 코드입니다.

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

서버에는 해당 모델의 채팅 템플릿이 필요합니다. 서빙 문서는 이렇게 경고합니다. “Without a chat template, the server will not be able to process chat and all chat requests will error.”(번역: 채팅 템플릿이 없으면 서버가 채팅을 처리할 수 없고 모든 채팅 요청이 오류를 낸다) 템플릿은 --chat-template으로 지정할 수 있습니다.

왜 중요한가

  • 셀프 호스팅의 기준점. API 가격과 GPU 직접 운영 비용을 비교할 때 흔히 측정 도구로 쓰는 엔진이 vLLM입니다. 셀프 호스팅 vs API 비용 가이드에서는 실제 프롬프트를 실제 동시성으로 vLLM이나 SGLang에서 테스트해 보라고 권합니다.
  • 서빙 방식이 결과를 바꿉니다. 같은 가중치라도 엔진 버전, 양자화, 설정에 따라 더 빠르거나 느려지고, 점수도 달라질 수 있습니다.
  • 공통 어휘. PagedAttention, 청크 단위 프리필, 추측 디코딩 같은 용어는 vLLM이 이를 어디에 쓰는지 알면 이해하기 쉬워집니다.

BroadNet Inference에서는

BroadNet은 공개 API를 어떤 엔진으로 서빙하는지 밝히지 않으므로, 이 페이지도 특정 엔진이라고 주장하지 않습니다. BroadNet이 공개한 것은 다음과 같습니다. 2026년 9월 프리프린트 Uno in vLLM은 IFM의 Uno 셀프 드래프팅 어댑터를 vLLM에 추가했으며, H100에서 Qwen3-8B로 단일 스트림일 때 일반 vLLM 대비 2.58배, 32개 스트림일 때 1.74배의 처리량을 보고합니다. 코드는 BroadNet의 vllm-uno 저장소에 공개되어 있습니다. BroadNet 카탈로그에는 랩 구성 중 하나로 AMD ROCm용 패치 vLLM 위에서 돌아가는 Qwen3.8 27B의 AWQ INT4 빌드도 올라 있습니다. BroadNet이 자사 GPU 인프라를 어떻게 설명하는지는 GPU 하드웨어와 서빙에 관한 글을 참고하세요.

자주 묻는 질문

vLLM은 API 제공업체인가요?

아닙니다. vLLM은 내 하드웨어에서 직접 실행하는 소프트웨어입니다. 직접 쓰려면 GPU, 확장, 업그레이드를 모두 스스로 운영해야 합니다.

OpenAI SDK를 vLLM 서버에 연결할 수 있나요?

네. vLLM은 OpenAI 호환 서버를 제공하므로 SDK의 base URL을 내 서버로 지정하고 chat completion 요청을 보내면 됩니다. 단, 모델에 채팅 템플릿이 있어야 하며 없으면 채팅 요청이 실패합니다.

BroadNet Inference는 vLLM으로 돌아가나요?

BroadNet은 공개 API를 어떤 엔진으로 서빙하는지 밝히지 않습니다. vLLM 연구 구현(Uno in vLLM)을 공개했고, 랩 구성 중 하나로 AMD ROCm용 패치 vLLM 빌드를 올려 두었습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기