BroadRouter

vLLM

Mis à jour

vLLM est une bibliothèque open source d’inférence et de serving de LLM, développée à l’origine au Sky Computing Lab de UC Berkeley. Elle gère la mémoire du cache KV avec PagedAttention, regroupe en continu les requêtes entrantes (continuous batching), prend en charge de nombreux formats de quantification et expose un serveur HTTP compatible OpenAI.

Aussi appelé : serveur vLLM, moteur d’inférence vLLM, moteur de serving LLM, vLLM server, vLLM serve

Quand on auto-héberge un modèle open-weight sur un serveur GPU, vLLM fait partie des premiers moteurs qu’on essaie.

Comment ça marche

La documentation du projet présente vLLM comme « a fast and easy-to-use library for LLM inference and serving » (traduction : « une bibliothèque rapide et simple d’emploi pour l’inférence et le serving de LLM »), « Originally developed in the Sky Computing Lab at UC Berkeley » (traduction : « développée à l’origine au Sky Computing Lab de UC Berkeley »). Ses idées clés :

  • PagedAttention. L’article de 2023 à l’origine de vLLM gère la mémoire du cache KV avec une méthode « inspired by the classical virtual memory and paging techniques in operating systems » (traduction : « inspirée des techniques classiques de mémoire virtuelle et de pagination des systèmes d’exploitation »). Il rapporte « near-zero waste in KV cache memory » (traduction : « un gaspillage quasi nul de la mémoire du cache KV ») et un débit 2 à 4 fois supérieur à FasterTransformer et Orca à latence comparable.
  • Batching continu. Les requêtes entrantes sont regroupées dynamiquement au lieu d’attendre un lot fixe. La documentation cite à côté le chunked prefill et le prefix caching ; voir prefill et decode.
  • De nombreux formats. Pour la quantification, la documentation liste FP8, INT8, INT4, GPTQ/AWQ, GGUF et d’autres.
  • Matériel. GPU NVIDIA et AMD et plusieurs familles de CPU, avec des plugins pour d’autres accélérateurs.
  • Un serveur compatible OpenAI. Lancez-le avec vllm serve et appelez-le comme une API compatible OpenAI.

Un appel client minimal vers votre propre serveur :

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Le serveur a besoin d’un chat template pour le modèle. La documentation de serving prévient : « Without a chat template, the server will not be able to process chat and all chat requests will error. » (traduction : « Sans chat template, le serveur ne pourra pas traiter le chat et toutes les requêtes de chat échoueront. ») Vous pouvez en fournir un avec --chat-template.

Pourquoi c’est important

  • Référence pour l’auto-hébergement. Pour comparer un prix d’API avec l’exploitation de vos propres GPU, vLLM est un moteur de mesure courant. Notre comparatif des coûts auto-hébergement ou API conseille de tester vos vrais prompts à une concurrence réelle avec vLLM ou SGLang.
  • Le serving change les résultats. Les mêmes poids peuvent être plus rapides ou plus lents, et obtenir d’autres scores, selon la version du moteur, la quantification et les réglages.
  • Un vocabulaire commun. Des termes comme PagedAttention, chunked prefill et décodage spéculatif se comprennent mieux quand on sait où vLLM les utilise.

Sur BroadNet Inference

BroadNet ne dit pas quel moteur sert son API publique ; cette page n’en affirme donc aucun. Ce que BroadNet a publié : une prépublication de septembre 2026, Uno in vLLM, qui ajoute à vLLM l’adaptateur d’auto-brouillon (self-drafting) Uno d’IFM et rapporte 2,58 fois le débit de vLLM seul avec un flux et 1,74 fois avec 32, sur une H100 avec Qwen3-8B. Son code est public dans le dépôt vllm-uno de BroadNet. Le catalogue de BroadNet mentionne aussi, parmi les configurations de labo, un build AWQ INT4 de Qwen3.8 27B sur son vLLM patché pour AMD ROCm. Pour la façon dont BroadNet décrit sa flotte, voir son article sur le matériel GPU et le serving.

Questions fréquentes

vLLM est-il un fournisseur d’API ?

Non. vLLM est un logiciel que vous faites tourner sur votre propre matériel. L’utiliser directement signifie gérer vous-même les GPU, la montée en charge et les mises à jour.

Puis-je pointer le SDK OpenAI vers un serveur vLLM ?

Oui. vLLM expose un serveur compatible OpenAI : vous réglez la base URL du SDK sur votre serveur et envoyez des requêtes de chat completion. Le modèle a besoin d’un chat template, sinon les requêtes de chat échouent.

BroadNet Inference tourne-t-il sur vLLM ?

BroadNet ne dit pas quel moteur sert son API publique. Il a publié une implémentation de recherche sur vLLM (Uno in vLLM) et mentionne un build vLLM patché pour AMD ROCm parmi ses configurations de labo.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity