BroadRouter

Uno no vLLM: o que o estudo de serving da BroadNet mediu

Pela equipe da BroadNet Inference · 4 min de leitura · Publicado em

Uno no vLLM é um preprint da BroadNet de setembro de 2026 (DOI 10.5281/zenodo.22652610). Ele adiciona ao vLLM o Uno, um adapter que permite a um modelo rascunhar os próprios tokens. Em uma H100 com Qwen3-8B, a BroadNet mediu 2,58 vezes o throughput do vLLM simples com um stream, 2,20 vezes com oito e 1,74 vez com 32, a menos de 3% da implementação de referência.

Uno no vLLM é um preprint da área de pesquisa da BroadNet, publicado no Zenodo em 8 de setembro de 2026 com o DOI 10.5281/zenodo.22652610. Ele descreve uma implementação nativa no vLLM do Uno, um método de speculative decoding desenvolvido pela IFM, e mede quanto mais rápido ele serve em comparação com o vLLM simples. O registro no Zenodo lista Mohammad Al Zubaidi como autor.

Esta página resume o que o artigo diz, como mediu e o que ele diz e não diz a você. Os números são da BroadNet; não os reproduzimos.

Que problema o Uno resolve?

Um modelo de linguagem normalmente gera um token por passagem forward. O speculative decoding acelera isso adivinhando vários tokens adiante e verificando-os em uma única passagem do modelo completo. A maioria dos métodos usa um modelo de rascunho separado e menor. O Uno, em vez disso, acopla um adapter treinado ao próprio modelo, então o modelo rascunha os próprios tokens e depois os verifica com os pesos originais. Veja speculative decoding para a ideia geral.

A pergunta do artigo é prática: essa aceleração sobrevive dentro de um motor de serving de produção, com batching, cache e muitas requisições ao mesmo tempo?

O que a BroadNet construiu?

O post no blog da BroadNet deixa claro o crédito: o método é “Uno, developed by IFM and collaborators” (tradução: “Uno, desenvolvido pela IFM e colaboradores”), e a contribuição da BroadNet é “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (tradução: “a integração nativa ao vLLM, a engenharia que faz seus caminhos de execução funcionarem juntos e a avaliação de serving”). O resumo lista as peças de execução: roteamento condicional do adapter, estado key/value completo do rascunho, agendamento assíncrono, replay de CUDA graph, computação do adapter sobreposta e reuso de linhas-semente.

O código é público no repositório vllm-uno da BroadNet, que o propôs ao vLLM upstream como pull request 55947.

Como foi medido?

O teste principal é controlado:

  • Hardware e modelo: uma NVIDIA H100, Qwen3-8B em bfloat16, com o adapter Uno publicado para o Qwen3-8B.
  • Carga de trabalho: oito prompts de matemática, repetidos em ciclo para preencher lotes maiores, cada um gerando até 512 tokens, com prefix caching desligado.
  • Linha de base: vLLM autorregressivo comum (“vLLM simples”) na mesma configuração.
  • Concorrência: 1, 8 e 32 streams simultâneos.

Uma segunda comparação, separada, liga o prefix caching e usa as configurações de serving escolhidas pela BroadNet, para comparar com a implementação de referência em SGLang.

O que o estudo encontrou?

Medição Resultado relatado pela BroadNet
Throughput vs vLLM simples, 1 stream 2,58x
Throughput vs vLLM simples, 8 streams 2,20x
Throughput vs vLLM simples, 32 streams 1,74x
Diferença para a implementação de referência em SGLang menos de 3% com 1, 8 e 32 streams
Configurações de produção, 32 streams 7.657 tokens/s, contra 7.505 do SGLang (2,0% à frente)
Latência do primeiro token a quente, ablação dentro do vLLM 25% menor com dois processos de API em vez de um

O destaque para planejamento de capacidade é a última linha do primeiro bloco: 74% mais saída por segundo com 32 streams simultâneos, na mesma GPU. É o que o blog da BroadNet chama de “the central payoff” (tradução: “o ganho central”), porque uma aceleração que some sob carga pouco ajuda uma API compartilhada.

Uma release posterior (v0.2.0, no Model Runner V2 do vLLM) é descrita no blog da BroadNet com saída de stream único de 2,1 a 2,4 vezes em Blackwell, de 1,7 a 1,9 vez em Ampere e de 2,6 vezes em Hopper. São hardware e versões diferentes dos da tabela principal do artigo, e por isso os números diferem.

Quais são os limites?

  • Um modelo, uma carga de trabalho. O resultado controlado é do Qwen3-8B em prompts de matemática. Código, chat ou documentos longos podem aceitar menos tokens rascunhados.
  • Os ganhos encolhem com a carga. A tendência de 2,58x para 1,74x tem o formato esperado: quando a GPU está ocupada, sobra menos computação livre para rascunhar.
  • Um preprint. O artigo está depositado no Zenodo, sem revisão por pares. O arquivo anexo traz o inventário de evidências e os dados das figuras, o que permite que outros o confiram.
  • Autorrelatado. A BroadNet executou as duas variantes. A concordância de 3% com a implementação de referência é a verificação que o próprio artigo faz sobre isso.

Por que isso importa se você só chama uma API?

O throughput por GPU define quanto um provedor pode cobrar e com que rapidez ele responde sob carga. O catálogo da BroadNet relata que ela mede métodos de drafting na concorrência real antes de escolher um, e que descartou o EAGLE3 depois que ele custou 69% do throughput com 32 requisições simultâneas. O estudo seguinte com o Gemma 4 26B aplica o mesmo método ao modelo mixture of experts que a BroadNet vende como Gemma 4 VL 26B. Para ver como isso se encaixa nas escolhas de serving mais amplas da BroadNet, leia o hardware de GPU da BroadNet e sua abordagem de serving.

Se você roda seus próprios servidores vLLM, a lição prática é fazer benchmark de qualquer método de drafting na concorrência que você realmente usa, não com um stream só.

Perguntas frequentes

O que é o Uno?

O Uno é um método de speculative decoding desenvolvido pela IFM e colaboradores. Um pequeno adapter treinado permite ao modelo propor vários tokens de uma vez, e os próprios pesos do modelo os verificam em seguida. Não há um modelo de rascunho separado.

A aceleração é sem perdas?

A BroadNet afirma isso para a sua release: sempre que o vLLM simples reproduz a própria saída, o Uno iguala os tokens greedy, e os testes de distribuição amostrada passam. O speculative decoding verifica cada token rascunhado com o modelo completo, então a qualidade da saída não deve mudar; confira isso nos seus próprios prompts.

O Uno ajuda com alta concorrência?

Menos do que com baixa concorrência. No teste controlado do artigo, o ganho caiu de 2,58x com um stream para 1,74x com 32. O catálogo da BroadNet também relata que outro método, o EAGLE3, custou 69% do throughput com 32 requisições simultâneas, então métodos de drafting precisam ser testados na sua carga real.

Posso rodar por conta própria?

Sim. A BroadNet publica a implementação no repositório vllm-uno, com imagem de contêiner, versões fixadas e um registro de validação para cada release, e a propôs ao vLLM como pull request 55947.

A BroadNet Inference usa o Uno nos modelos da API?

A BroadNet não diz isso. Seu catálogo lista drafters de multi-token prediction (k=2) em produção para o Gemma 4 26B. O Uno é um resultado de pesquisa que a BroadNet publica; pergunte à BroadNet se precisar dele em um endpoint privado.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity