Quand on auto-héberge un modèle open-weight sur un serveur GPU, vLLM fait partie des premiers moteurs qu’on essaie.
Comment ça marche
La documentation du projet présente vLLM comme « a fast and easy-to-use library for LLM inference and serving » (traduction : « une bibliothèque rapide et simple d’emploi pour l’inférence et le serving de LLM »), « Originally developed in the Sky Computing Lab at UC Berkeley » (traduction : « développée à l’origine au Sky Computing Lab de UC Berkeley »). Ses idées clés :
- PagedAttention. L’article de 2023 à l’origine de vLLM gère la mémoire du cache KV avec une méthode « inspired by the classical virtual memory and paging techniques in operating systems » (traduction : « inspirée des techniques classiques de mémoire virtuelle et de pagination des systèmes d’exploitation »). Il rapporte « near-zero waste in KV cache memory » (traduction : « un gaspillage quasi nul de la mémoire du cache KV ») et un débit 2 à 4 fois supérieur à FasterTransformer et Orca à latence comparable.
- Batching continu. Les requêtes entrantes sont regroupées dynamiquement au lieu d’attendre un lot fixe. La documentation cite à côté le chunked prefill et le prefix caching ; voir prefill et decode.
- De nombreux formats. Pour la quantification, la documentation liste FP8, INT8, INT4, GPTQ/AWQ, GGUF et d’autres.
- Matériel. GPU NVIDIA et AMD et plusieurs familles de CPU, avec des plugins pour d’autres accélérateurs.
- Un serveur compatible OpenAI. Lancez-le avec
vllm serveet appelez-le comme une API compatible OpenAI.
Un appel client minimal vers votre propre serveur :
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
Le serveur a besoin d’un chat template pour le modèle. La documentation de serving prévient : « Without a chat template, the server will not be able to process chat and all chat requests will error. » (traduction : « Sans chat template, le serveur ne pourra pas traiter le chat et toutes les requêtes de chat échoueront. ») Vous pouvez en fournir un avec --chat-template.
Pourquoi c’est important
- Référence pour l’auto-hébergement. Pour comparer un prix d’API avec l’exploitation de vos propres GPU, vLLM est un moteur de mesure courant. Notre comparatif des coûts auto-hébergement ou API conseille de tester vos vrais prompts à une concurrence réelle avec vLLM ou SGLang.
- Le serving change les résultats. Les mêmes poids peuvent être plus rapides ou plus lents, et obtenir d’autres scores, selon la version du moteur, la quantification et les réglages.
- Un vocabulaire commun. Des termes comme PagedAttention, chunked prefill et décodage spéculatif se comprennent mieux quand on sait où vLLM les utilise.
Sur BroadNet Inference
BroadNet ne dit pas quel moteur sert son API publique ; cette page n’en affirme donc aucun. Ce que BroadNet a publié : une prépublication de septembre 2026, Uno in vLLM, qui ajoute à vLLM l’adaptateur d’auto-brouillon (self-drafting) Uno d’IFM et rapporte 2,58 fois le débit de vLLM seul avec un flux et 1,74 fois avec 32, sur une H100 avec Qwen3-8B. Son code est public dans le dépôt vllm-uno de BroadNet. Le catalogue de BroadNet mentionne aussi, parmi les configurations de labo, un build AWQ INT4 de Qwen3.8 27B sur son vLLM patché pour AMD ROCm. Pour la façon dont BroadNet décrit sa flotte, voir son article sur le matériel GPU et le serving.