BroadRouter
始める

vLLM

更新日

vLLM とは、LLM の推論とサービングのためのオープンソースライブラリで、UC バークレーの Sky Computing Lab で開発が始まりました。PagedAttention で KV キャッシュのメモリを管理し、リクエストを連続的にバッチ処理し、多くの量子化形式に対応し、OpenAI 互換の HTTP サーバーを提供します。

別名: vLLM サーバー、vLLM 推論、LLM 推論エンジン、LLM サービング、vLLM、vLLM server、vLLM serve

GPU サーバーでオープンウェイトモデルをセルフホストするとき、最初に試すエンジンのひとつが vLLM です。

仕組み

プロジェクトのドキュメントは vLLM を “a fast and easy-to-use library for LLM inference and serving”(訳:LLM の推論とサービングのための高速で使いやすいライブラリ)、“Originally developed in the Sky Computing Lab at UC Berkeley”(訳:もともと UC バークレーの Sky Computing Lab で開発された)と説明しています。中心となる考え方は次のとおりです。

  • PagedAttention。 vLLM の基になった 2023 年の論文は、“inspired by the classical virtual memory and paging techniques in operating systems”(訳:オペレーティングシステムの古典的な仮想メモリとページングの手法に着想を得た)方法で KV キャッシュのメモリを管理します。論文は “near-zero waste in KV cache memory”(訳:KV キャッシュメモリの無駄がほぼゼロ)と、同程度のレイテンシで FasterTransformer や Orca の 2〜4 倍のスループットを報告しています。
  • 連続バッチ処理。 固定のバッチを待たず、届いたリクエストを動的にバッチにまとめます。ドキュメントは、あわせてチャンク化プリフィル(chunked prefill)とプレフィックスキャッシュを挙げています。プリフィルとデコードを参照してください。
  • 多くの形式。 ドキュメントは量子化の形式として FP8、INT8、INT4、GPTQ/AWQ、GGUF などを挙げています。
  • ハードウェア。 NVIDIA と AMD の GPU、いくつかの CPU ファミリーに対応し、ほかのアクセラレーターはプラグインで対応します。
  • OpenAI 互換サーバー。 vllm serve で起動し、OpenAI 互換 API と同じように呼び出せます。

自分のサーバーへの最小限のクライアント呼び出しです。

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

サーバーには、そのモデルのチャットテンプレートが必要です。サービングのドキュメントはこう警告しています。“Without a chat template, the server will not be able to process chat and all chat requests will error.”(訳:チャットテンプレートがないと、サーバーはチャットを処理できず、すべてのチャットリクエストがエラーになる)。テンプレートは --chat-template で渡せます。

なぜ重要か

  • セルフホストの比較基準。 API の料金と自前の GPU 運用を比べるなら、vLLM は測定によく使われるエンジンです。セルフホストと API のコスト比較では、vLLM か SGLang を使い、実際のプロンプトを実際の同時実行数でテストすることを勧めています。
  • サービング方法で結果が変わる。 同じ重みでも、エンジンのバージョン、量子化、設定によって速くも遅くもなり、スコアも変わります。
  • 共通の用語。 PagedAttention、チャンク化プリフィル、投機的デコーディングといった用語は、vLLM のどこで使われているかを知ると理解しやすくなります。

BroadNet Inference では

BroadNet は公開 API をどのエンジンで提供しているかを明らかにしていないため、このページでも断定しません。BroadNet が公開しているのは次のものです。2026 年 9 月のプレプリント Uno in vLLM は、IFM の Uno 自己ドラフトアダプターを vLLM に追加し、H100 と Qwen3-8B で、素の vLLM に対して 1 ストリームで 2.58 倍、32 ストリームで 1.74 倍のスループットを報告しています。コードは BroadNet の vllm-uno リポジトリで公開されています。BroadNet のカタログには、ラボ構成のひとつとして、AMD ROCm 向けにパッチを当てた vLLM 上で動く Qwen3.8 27B の AWQ INT4 ビルドも載っています。BroadNet が自社のフリートをどう説明しているかは、GPU ハードウェアとサービングの記事を参照してください。

よくある質問

vLLM は API プロバイダーですか?

いいえ。vLLM は自分のハードウェアで動かすソフトウェアです。直接使う場合、GPU、スケーリング、アップグレードはすべて自分で運用することになります。

OpenAI SDK の接続先を vLLM サーバーにできますか?

できます。vLLM は OpenAI 互換サーバーを提供するので、SDK のベース URL を自分のサーバーに設定し、チャット補完のリクエストを送ります。モデルにはチャットテンプレートが必要で、ないとチャットのリクエストは失敗します。

BroadNet Inference は vLLM で動いていますか?

BroadNet は公開 API をどのエンジンで提供しているかを明らかにしていません。vLLM の研究実装(Uno in vLLM)を公開しており、ラボ構成のひとつとして AMD ROCm 向けにパッチを当てた vLLM ビルドを挙げています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く