Quando alguém hospeda por conta própria um modelo open-weight em um servidor com GPU, o vLLM é um dos primeiros motores que se testa.
Como funciona
A documentação do projeto descreve o vLLM como “a fast and easy-to-use library for LLM inference and serving” (tradução: uma biblioteca rápida e fácil de usar para inferência e serving de LLMs), “Originally developed in the Sky Computing Lab at UC Berkeley” (tradução: desenvolvida originalmente no Sky Computing Lab da UC Berkeley). As ideias centrais:
- PagedAttention. O artigo de 2023 por trás do vLLM gerencia a memória do KV cache com um método “inspired by the classical virtual memory and paging techniques in operating systems” (tradução: inspirado nas técnicas clássicas de memória virtual e paginação dos sistemas operacionais). Ele relata “near-zero waste in KV cache memory” (tradução: desperdício quase zero na memória do KV cache) e de 2 a 4 vezes o throughput do FasterTransformer e do Orca com latência parecida.
- Continuous batching. As requisições que chegam são agrupadas em batches de forma dinâmica, em vez de esperar um batch fixo. A documentação lista junto o chunked prefill e o prefix caching; veja prefill e decode.
- Muitos formatos. Para quantização, a documentação lista FP8, INT8, INT4, GPTQ/AWQ, GGUF e outros.
- Hardware. GPUs NVIDIA e AMD e várias famílias de CPU, com plugins para outros aceleradores.
- Um servidor compatível com OpenAI. Você o inicia com
vllm servee o chama como uma API compatível com OpenAI.
Uma chamada mínima do cliente para o seu próprio servidor:
from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": "Hello"}])
O servidor precisa de um chat template para o modelo. A documentação de serving avisa: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (tradução: sem um chat template, o servidor não conseguirá processar chat e todas as requisições de chat darão erro.) Você pode passar um com --chat-template.
Por que isso importa
- Referência para self-hosting. Se você compara o preço de uma API com rodar as suas próprias GPUs, o vLLM é um motor comum para fazer a medição. O nosso guia de custo de self-hosting vs API sugere testar os seus prompts reais, com a concorrência real, no vLLM ou no SGLang.
- O serving muda os resultados. Os mesmos pesos podem ser mais rápidos ou mais lentos, e pontuar diferente, dependendo da versão do motor, da quantização e das configurações.
- Um vocabulário comum. Termos como PagedAttention, chunked prefill e speculative decoding ficam mais fáceis de acompanhar quando você sabe onde o vLLM os usa.
Na BroadNet Inference
A BroadNet não diz qual motor serve a sua API pública, então esta página não afirma nenhum. O que a BroadNet publicou: um preprint de setembro de 2026, Uno in vLLM, que adiciona ao vLLM o adapter de self-drafting Uno, da IFM, e relata 2,58 vezes o throughput do vLLM puro com um stream e 1,74 vez com 32, em uma H100 com Qwen3-8B. O código é público no repositório vllm-uno da BroadNet. O catálogo da BroadNet também lista, entre as configurações de laboratório, um build AWQ INT4 do Qwen3.8 27B no seu vLLM com patches para AMD ROCm. Para ver como a BroadNet descreve a sua frota, leia o post sobre hardware de GPU e serving.