BroadRouter

Uno en Gemma 4 26B: el estudio de BroadNet sobre mezcla de expertos

Por el equipo de BroadNet Inference · 3 min de lectura · Publicado · Actualizado

El preprint de BroadNet de septiembre de 2026 (DOI 10.5281/zenodo.22820511) entrena el primer adaptador Uno para un modelo de mezcla de expertos, Gemma 4 26B A4B, servido a 4 bits. El adaptador decodifica 1.166 veces más rápido que la decodificación normal en una carga de producción de 72 prompts, por detrás de dos drafters separados con 1.474 y 1.553, pero supera al drafter de producción con unos 10,500 tokens de contexto.

El segundo preprint de Uno de BroadNet aplica por primera vez el autoborrador (self-drafting) a un modelo de mezcla de expertos. Publicado en Zenodo el 18 de septiembre de 2026 con el DOI 10.5281/zenodo.22820511, sirve Gemma 4 26B A4B a 4 bits y entrena para él un adaptador Uno. El objetivo es el mismo modelo base que BroadNet Gemma 4 VL 26B en BroadNet Inference.

Da continuación al estudio de serving de Uno en vLLM, que probó un modelo denso de 8B. Las cifras de abajo son de BroadNet; no las hemos reproducido.

¿Cuál era la pregunta?

La decodificación especulativa redacta varios tokens como borrador y los verifica en una sola pasada. En un modelo de mezcla de expertos hay una preocupación adicional: las filas del borrador pueden enrutarse a expertos distintos, así que redactar cuatro tokens podría leer muchos más pesos de expertos que generar uno. El artículo se pregunta si esa «dispersión entre expertos» (expert fan-out) hace que el autoborrador sea demasiado caro, y cuándo el autoborrador supera a un drafter separado.

¿Cómo lo probó BroadNet?

Según el resumen del artículo y la descripción del método de BroadNet:

  • Modelo: Gemma 4 26B A4B, con unos 4B de parámetros activos por token, con pesos de 4 bits.
  • Hardware: GPU de la clase de 24 GB, una secuencia a la vez.
  • Carga de trabajo: 72 prompts del tráfico de producción de BroadNet; cada aceleración se divide entre una ejecución con decodificación normal en la misma sesión.
  • Contexto largo: un conjunto aparte de cinco prompts de unos 10,500 tokens.
  • Adaptador: rango 16, entrenado con 965 filas a través del mismo checkpoint de 4 bits con el que se sirve, en una sola GPU de 24 GB, sin pesos de precisión completa en el proceso.

¿Qué encontró?

Cómo se decodificó Gemma 4 26B A4B Aceleración frente a la decodificación normal
Decodificación normal 1.000
Adaptador piloto Uno, ancho 4 1.166
Drafter de predicción de varios tokens, ancho 2 1.474
Drafter por bloques, ancho 8 1.553
Uno con unos 10,500 tokens de contexto 1.089 (drafter MTP: 1.011)

Otros resultados que informa BroadNet:

  • El entrenamiento ayudó. La proporción aceptada subió del 42.4 % al 48.9 % en 1,500 actualizaciones, y un corpus mayor de 2,000 filas, entrenado con la misma receta, aceptó 0.49 tokens de borrador más por paso de verificación que la ejecución de referencia equivalente.
  • La dispersión entre expertos es real, pero barata. Cuatro filas de borrador tocaron 22 expertos distintos frente a los 8 de una sola fila; aun así, todo el costo relacionado con las filas quedó acotado en 0.53 pasos de un ciclo de unos 2.4. BroadNet concluye que el costo del enrutamiento “worth under a fifth of a cycle” (Traducción: equivale a menos de una quinta parte de un ciclo) en esta clase de hardware.
  • Sin pérdida. BroadNet construyó una comprobación para un perfil cuya salida normal no se reproduce a sí misma entre sesiones, e informa que Uno queda “as close to plain as plain is to itself” (Traducción: tan cerca de la salida normal como la salida normal lo está de sí misma).
  • Cinco idiomas. El artículo ofrece lo que llama la primera medición de la aceptación de este adaptador en cinco idiomas.

¿Qué significa en la práctica?

La regla del propio artículo es sencilla: si existe un buen drafter pequeño para su modelo, úselo; el autoborrador se gana su lugar con contexto largo y en modelos que no tienen drafter. Eso coincide con lo que BroadNet dice que ejecuta: su catálogo indica Gemma 4 26B en producción con un drafter de predicción de varios tokens (k=2), con “90%+ acceptance on structured prompts” (Traducción: más del 90 % de aceptación en prompts estructurados).

¿Cuánto aporta un drafter en producción? El catálogo de BroadNet informa que la predicción de varios tokens añadió un 48.8 % en una RTX 3090, y su página de Gemma 4 VL 26B indica unos 136 tokens por segundo en un solo stream con la decodificación especulativa activada. Ambas son mediciones propias de BroadNet, con la configuración de serving que describe su página del modelo, así que la velocidad que usted obtenga a través de la API depende también de la carga y de la longitud de su prompt y de la respuesta.

Para quien compra una API, lo útil es el método, no el adaptador. BroadNet dice que cada modelo que sirve pasa por este cálculo antes de llegar a un cliente: medir el costo de un ciclo de borrador y luego elegir el drafter que gane con la carga de trabajo real. La misma disciplina la llevó a descartar EAGLE3 para el serving saturado.

¿Cuáles son los límites?

  • Solo un stream. Una secuencia a la vez, una ejecución por variante. El serving por lotes se comporta de otra manera, como mostró el estudio del modelo denso.
  • Un solo modelo. Los resultados son para Gemma 4 26B A4B a 4 bits en tarjetas de la clase de 24 GB.
  • Un preprint. Versión 2.3 en Zenodo, sin revisión por pares, con un archivo de evidencias adjunto.

La versión v0.3.0 de vllm-uno incluye el perfil de serving, una imagen de contenedor y el registro de validación, de modo que las cifras pueden comprobarse. Para probar el modelo servido, el playground en el navegador de BroadNet ejecuta Gemma 4 sin necesidad de cuenta.

Preguntas frecuentes

¿Qué es un modelo de mezcla de expertos?

Un modelo cuyas capas contienen muchas subredes expertas, de las que solo unas pocas se ejecutan para cada token. Gemma 4 26B A4B tiene 26B de parámetros en total y unos 4B activos por token, y por eso es barato de servir para su tamaño.

¿Por qué aquí el adaptador Uno es más lento que los otros drafters?

El artículo lo explica como algo estructural: un ciclo de autoborrador cuesta dos pasadas hacia adelante del modelo completo, mientras que un drafter separado sustituye una de ellas por una red pequeña. Por eso, cuando existe un drafter pequeño dedicado, normalmente gana.

¿Cuándo compensa el autoborrador?

Según el artículo, con contexto largo, donde el borrador más ancho confirma más tokens por ciclo (1.089x frente a 1.011x con unos 10,500 tokens), y en modelos que no tienen ningún drafter pequeño.

¿Usa BroadNet este adaptador en su API de Gemma 4?

La página del modelo de BroadNet dice que su versión de Gemma 4 26B se sirve con decodificación especulativa de predicción de varios tokens (k=2). El adaptador Uno se publica como resultado de investigación; BroadNet no dice que atienda con él el tráfico de la API.

¿Puedo descargar el adaptador?

Sí. BroadNet lo publica en Hugging Face como Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, con el perfil de serving y la imagen de contenedor en la versión v0.3.0 de vllm-uno.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity