---
title: "vLLM とは？オープンソースの LLM 推論サーバーを解説 | BroadRouter"
description: "vLLM は PagedAttention と連続バッチ処理を土台にした、OpenAI 互換サーバー付きのオープンソース LLM 推論エンジンです。何ができ、いつ使うべきかを解説します。"
url: https://broadrouter.com/ja/glossary/vllm/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/vllm/)（2026-11-15 更新）。

# vLLM

更新日 2026-11-15

vLLM とは、LLM の推論とサービングのためのオープンソースライブラリで、UC バークレーの Sky Computing Lab で開発が始まりました。PagedAttention で KV キャッシュのメモリを管理し、リクエストを連続的にバッチ処理し、多くの量子化形式に対応し、OpenAI 互換の HTTP サーバーを提供します。

別名： vLLM サーバー、vLLM 推論、LLM 推論エンジン、LLM サービング、vLLM、vLLM server、vLLM serve

GPU サーバーでオープンウェイトモデルをセルフホストするとき、最初に試すエンジンのひとつが vLLM です。

## 仕組み

プロジェクトのドキュメントは vLLM を “a fast and easy-to-use library for LLM inference and serving”（訳：LLM の推論とサービングのための高速で使いやすいライブラリ）、“Originally developed in the Sky Computing Lab at UC Berkeley”（訳：もともと UC バークレーの Sky Computing Lab で開発された）と説明しています。中心となる考え方は次のとおりです。

-   **PagedAttention。** vLLM の基になった 2023 年の論文は、“inspired by the classical virtual memory and paging techniques in operating systems”（訳：オペレーティングシステムの古典的な仮想メモリとページングの手法に着想を得た）方法で [KV キャッシュ](https://broadrouter.com/ja/glossary/kv-cache/)のメモリを管理します。論文は “near-zero waste in KV cache memory”（訳：KV キャッシュメモリの無駄がほぼゼロ）と、同程度のレイテンシで FasterTransformer や Orca の 2〜4 倍の[スループット](https://broadrouter.com/ja/glossary/throughput/)を報告しています。
-   **連続バッチ処理。** 固定のバッチを待たず、届いたリクエストを動的にバッチにまとめます。ドキュメントは、あわせてチャンク化プリフィル（chunked prefill）とプレフィックスキャッシュを挙げています。[プリフィルとデコード](https://broadrouter.com/ja/glossary/prefill-and-decode/)を参照してください。
-   **多くの形式。** ドキュメントは[量子化](https://broadrouter.com/ja/glossary/quantization/)の形式として FP8、INT8、INT4、GPTQ/[AWQ](https://broadrouter.com/ja/glossary/awq/)、[GGUF](https://broadrouter.com/ja/glossary/gguf/) などを挙げています。
-   **ハードウェア。** NVIDIA と AMD の GPU、いくつかの CPU ファミリーに対応し、ほかのアクセラレーターはプラグインで対応します。
-   **OpenAI 互換サーバー。** `vllm serve` で起動し、[OpenAI 互換 API](https://broadrouter.com/ja/glossary/openai-compatible-api/) と同じように呼び出せます。

自分のサーバーへの最小限のクライアント呼び出しです。

```python
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])
```

サーバーには、そのモデルの[チャットテンプレート](https://broadrouter.com/ja/glossary/chat-template/)が必要です。サービングのドキュメントはこう警告しています。“Without a chat template, the server will not be able to process chat and all chat requests will error.”（訳：チャットテンプレートがないと、サーバーはチャットを処理できず、すべてのチャットリクエストがエラーになる）。テンプレートは `--chat-template` で渡せます。

## なぜ重要か

-   **セルフホストの比較基準。** API の料金と自前の GPU 運用を比べるなら、vLLM は測定によく使われるエンジンです。[セルフホストと API のコスト比較](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)では、vLLM か SGLang を使い、実際のプロンプトを実際の同時実行数でテストすることを勧めています。
-   **サービング方法で結果が変わる。** 同じ重みでも、エンジンのバージョン、量子化、設定によって速くも遅くもなり、スコアも変わります。
-   **共通の用語。** PagedAttention、チャンク化プリフィル、[投機的デコーディング](https://broadrouter.com/ja/glossary/speculative-decoding/)といった用語は、vLLM のどこで使われているかを知ると理解しやすくなります。

## BroadNet Inference では

BroadNet は公開 API をどのエンジンで提供しているかを明らかにしていないため、このページでも断定しません。BroadNet が公開しているのは次のものです。2026 年 9 月のプレプリント [Uno in vLLM](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/) は、IFM の Uno 自己ドラフトアダプターを vLLM に追加し、H100 と Qwen3-8B で、素の vLLM に対して 1 ストリームで 2.58 倍、32 ストリームで 1.74 倍のスループットを報告しています。コードは BroadNet の vllm-uno リポジトリで公開されています。BroadNet のカタログには、ラボ構成のひとつとして、AMD ROCm 向けにパッチを当てた vLLM 上で動く [Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) の AWQ INT4 ビルドも載っています。BroadNet が自社のフリートをどう説明しているかは、[GPU ハードウェアとサービングの記事](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)を参照してください。

## よくある質問

### vLLM は API プロバイダーですか？

いいえ。vLLM は自分のハードウェアで動かすソフトウェアです。直接使う場合、GPU、スケーリング、アップグレードはすべて自分で運用することになります。

### OpenAI SDK の接続先を vLLM サーバーにできますか？

できます。vLLM は OpenAI 互換サーバーを提供するので、SDK のベース URL を自分のサーバーに設定し、チャット補完のリクエストを送ります。モデルにはチャットテンプレートが必要で、ないとチャットのリクエストは失敗します。

### BroadNet Inference は vLLM で動いていますか？

BroadNet は公開 API をどのエンジンで提供しているかを明らかにしていません。vLLM の研究実装（Uno in vLLM）を公開しており、ラボ構成のひとつとして AMD ROCm 向けにパッチを当てた vLLM ビルドを挙げています。

## 関連項目

-   [KV キャッシュ（KV cache）](https://broadrouter.com/ja/glossary/kv-cache/)（用語）
-   [プリフィルとデコード（prefill and decode）](https://broadrouter.com/ja/glossary/prefill-and-decode/)（用語）
-   [スループット（throughput）](https://broadrouter.com/ja/glossary/throughput/)（用語）
-   [量子化（quantization）](https://broadrouter.com/ja/glossary/quantization/)（用語）
-   [OpenAI 互換 API（OpenAI-compatible API）](https://broadrouter.com/ja/glossary/openai-compatible-api/)（用語）
-   [投機的デコーディング（speculative decoding）](https://broadrouter.com/ja/glossary/speculative-decoding/)（用語）
-   [vLLM での Uno：BroadNet のサービング研究は何を測ったか](https://broadrouter.com/ja/blog/uno-in-vllm-serving-study/)（記事）
-   [LLM のセルフホストと API：本当のコストと損益分岐点](https://broadrouter.com/ja/blog/self-hosting-llm-vs-api-cost/)（記事）
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-vllm&utm_content=page-cta) ·

**出典**

-   [Kwon ほか、Efficient Memory Management for LLM Serving with PagedAttention、arXiv 2309.06180（2026-11-15 確認）](https://arxiv.org/abs/2309.06180)
-   [vLLM ドキュメント、概要（2026-11-15 確認）](https://docs.vllm.ai/en/latest/)
-   [vLLM ドキュメント、オンラインサービングとチャットテンプレート（2026-11-15 確認）](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Al Zubaidi、Uno in vLLM: An Independent Implementation and Empirical Serving Study、Zenodo プレプリント（2026-11-15 確認）](https://doi.org/10.5281/zenodo.22652610)
