BroadRouter

Uno en vLLM: qué midió el estudio de serving de BroadNet

Por el equipo de BroadNet Inference · 4 min de lectura · Publicado

Uno en vLLM es un preprint de BroadNet de septiembre de 2026 (DOI 10.5281/zenodo.22652610). Añade a vLLM Uno, un adaptador que permite a un modelo redactar sus propios tokens como borrador. En una H100 con Qwen3-8B, BroadNet midió 2.58 veces el rendimiento de vLLM normal con un stream, 2.20 veces con ocho y 1.74 veces con 32, a menos de un 3 % de la implementación de referencia.

Uno en vLLM es un preprint del área de investigación de BroadNet, publicado en Zenodo el 8 de septiembre de 2026 con el DOI 10.5281/zenodo.22652610. Presenta una implementación nativa en vLLM de Uno, un método de decodificación especulativa desarrollado por IFM, y mide cuánto más rápido sirve que vLLM normal. Su registro en Zenodo indica como autor a Mohammad Al Zubaidi.

Esta página resume lo que dice el artículo, cómo lo midió y qué le dice y qué no. Las cifras son de BroadNet; no las hemos reproducido.

¿Qué problema aborda Uno?

Un modelo de lenguaje normalmente genera un token por cada pasada hacia adelante. La decodificación especulativa acelera esto adivinando varios tokens por adelantado y comprobándolos en una sola pasada del modelo completo. La mayoría de los métodos usan un modelo de borrador separado y más pequeño. Uno, en cambio, añade un adaptador entrenado al propio modelo, de modo que el modelo redacta sus propios tokens y luego los verifica con sus pesos originales. Consulte decodificación especulativa para la idea general.

La pregunta del artículo es práctica: ¿esa aceleración sobrevive dentro de un motor de serving de producción, con batching, caché y muchas solicitudes a la vez?

¿Qué construyó BroadNet?

El artículo del blog de BroadNet es claro con el crédito: “Uno, developed by IFM and collaborators” (Traducción: Uno, desarrollado por IFM y colaboradores) es el método, y la aportación de BroadNet es “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Traducción: la integración nativa en vLLM, la ingeniería que hace que sus rutas de ejecución funcionen juntas y la evaluación de serving). El resumen enumera las piezas de ejecución: enrutamiento condicional del adaptador, estado completo de claves y valores del borrador, planificación asíncrona, reproducción de CUDA graphs, cálculo superpuesto del adaptador y reutilización de filas semilla.

El código es público en el repositorio vllm-uno de BroadNet, y BroadNet lo ha propuesto al proyecto vLLM como pull request 55947.

¿Cómo se midió?

La prueba principal es controlada:

  • Hardware y modelo: una NVIDIA H100, Qwen3-8B en bfloat16, con el adaptador Uno publicado para Qwen3-8B.
  • Carga de trabajo: ocho prompts de matemáticas, repetidos en ciclo para llenar lotes mayores, cada uno generando hasta 512 tokens, con la caché de prefijos desactivada.
  • Línea base: vLLM autorregresivo convencional (“plain vLLM”, es decir, vLLM normal) con la misma configuración.
  • Concurrencia: 1, 8 y 32 streams simultáneos.

Una segunda comparación, separada, activa la caché de prefijos y usa los ajustes de serving elegidos por BroadNet, para compararse con la implementación de referencia de SGLang.

¿Qué encontró el estudio?

Medición Resultado informado por BroadNet
Rendimiento frente a vLLM normal, 1 stream 2.58x
Rendimiento frente a vLLM normal, 8 streams 2.20x
Rendimiento frente a vLLM normal, 32 streams 1.74x
Diferencia con la implementación de referencia de SGLang menos del 3 % con 1, 8 y 32 streams
Ajustes de producción, 32 streams 7,657 tokens/s, frente a 7,505 de SGLang (2.0 % por delante)
Latencia del primer token en caliente, ablación dentro de vLLM 25 % menor con dos procesos de API en lugar de uno

El dato clave para planificar capacidad es la última fila del primer bloque: un 74 % más de salida por segundo con 32 streams concurrentes, desde la misma GPU. Es lo que el blog de BroadNet llama “the central payoff” (Traducción: el beneficio central), porque una aceleración que desaparece bajo carga aporta poco a una API compartida.

Una versión posterior (v0.2.0, sobre el Model Runner V2 de vLLM) se describe en el blog de BroadNet con 2.1 a 2.4 veces más salida en un solo stream en Blackwell, 1.7 a 1.9 veces en Ampere y 2.6 veces en Hopper. Son hardware y versiones distintos de los de la tabla principal del artículo, por eso las cifras difieren.

¿Cuáles son los límites?

  • Un modelo, una carga de trabajo. El resultado controlado es Qwen3-8B con prompts de matemáticas. El código, el chat o los documentos largos pueden aceptar menos tokens de borrador.
  • Las mejoras se reducen con la carga. La tendencia de 2.58x a 1.74x es la forma esperada: cuando la GPU está ocupada, se agota el cómputo sobrante para el borrador.
  • Un preprint. El artículo está depositado en Zenodo, sin revisión por pares. Su archivo complementario contiene el inventario de evidencias y los datos de las figuras, que es lo que permite a otros comprobarlo.
  • Autoinformado. BroadNet ejecutó ambas variantes. La coincidencia dentro del 3 % con la implementación de referencia es la propia comprobación del artículo al respecto.

¿Por qué importa si usted solo llama a una API?

El rendimiento por GPU determina lo que un proveedor puede cobrar y qué tan rápido responde bajo carga. El catálogo de BroadNet informa que mide los métodos de borrador con concurrencia real antes de elegir uno, y que descartó EAGLE3 después de que costara el 69 % del rendimiento con 32 solicitudes concurrentes. El estudio posterior sobre Gemma 4 26B aplica el mismo método al modelo de mezcla de expertos que BroadNet vende como Gemma 4 VL 26B. Para ver cómo encaja esto en las decisiones de serving más amplias de BroadNet, consulte el hardware GPU de BroadNet y su enfoque de serving.

Si usted ejecuta sus propios servidores vLLM, la lección práctica es medir cualquier método de borrador con la concurrencia que realmente usa, no con un solo stream.

Preguntas frecuentes

¿Qué es Uno?

Uno es un método de decodificación especulativa desarrollado por IFM y colaboradores. Un pequeño adaptador entrenado permite al modelo proponer varios tokens a la vez, y luego los propios pesos del modelo los verifican. No hay un modelo de borrador separado.

¿La aceleración es sin pérdida?

BroadNet lo afirma para su versión: siempre que vLLM normal reproduce su propia salida, Uno coincide con sus tokens en decodificación greedy, y sus pruebas de distribución muestreada pasan. La decodificación especulativa verifica cada token del borrador con el modelo completo, así que la calidad de la salida no debería cambiar; compruébelo con sus propios prompts.

¿Uno ayuda con alta concurrencia?

Menos que con baja concurrencia. En la prueba controlada del artículo, la mejora bajó de 2.58x con un stream a 1.74x con 32. El catálogo de BroadNet informa además que otro método, EAGLE3, costó el 69 % del rendimiento con 32 solicitudes concurrentes, así que los métodos de borrador deben probarse con su carga real.

¿Puedo ejecutarlo yo mismo?

Sí. BroadNet publica la implementación en su repositorio vllm-uno, con una imagen de contenedor, versiones fijadas y un registro de validación para cada versión, y la ha propuesto a vLLM como pull request 55947.

¿BroadNet Inference usa Uno en los modelos de su API?

BroadNet no lo dice. Su catálogo indica drafters de predicción de varios tokens (k=2) en producción para Gemma 4 26B. Uno es un resultado de investigación que BroadNet publica; consulte a BroadNet si lo necesita en un endpoint privado.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity