BroadRouter

Mixture of experts (MoE, mezcla de expertos)

Actualizado

Mixture of experts (MoE, mezcla de expertos) es un diseño de red neuronal en el que una capa contiene muchas subredes expertas y un router aprendido envía cada token solo a unas pocas. Un modelo de lenguaje MoE tiene un número total de parámetros grande, pero usa un pequeño subconjunto activo por token.

También llamado: mixture of experts, mezcla de expertos, MoE, MoE disperso, modelo mixture of experts, parámetros activos, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Un modelo denso ejecuta todos sus pesos para cada token. Un modelo mixture of experts ejecuta solo los pocos expertos que elige su router.

Cómo funciona

Shazeer et al. introdujeron en 2017 la capa MoE con compuerta dispersa: hasta miles de subredes feed-forward, con “a trainable gating network” (traducción: una red de compuerta entrenable) que elige “a sparse combination of these experts” (traducción: una combinación dispersa de estos expertos) para cada entrada. En un transformer moderno, el bloque feed-forward de algunas capas se convierte en un conjunto de expertos. Para cada token, el router puntúa a los expertos y envía el token a los mejores. Algunos diseños añaden un experto compartido que usan todos los tokens.

Dos fichas de modelo muestran las cifras:

Modelo Parámetros totales Activos por token Expertos
Gemma 4 26B A4B (Google) 25.2B 3.8B 8 activos de 128, más 1 compartido
DeepSeek V4.1 Flash (DeepSeek) 552B de backbone 8B en prefill, 16B en decode 6 enrutados de 384, más 1 compartido

La ficha de Google dice que el modelo 26B A4B “runs almost as fast as a 4B-parameter model.” (traducción: funciona casi tan rápido como un modelo de 4B parámetros).

Por qué importa

  • La velocidad y el precio por token dependen de los parámetros activos, porque ese es el cómputo que necesita cada token. Así es como un modelo MoE puede ser grande y aun así barato de servir.
  • La memoria depende de los parámetros totales. Todos los expertos deben estar en la memoria de la GPU, así que un modelo MoE necesita tanto espacio para pesos como un modelo denso del mismo tamaño total. La cuantización es una forma habitual de hacerlos caber.
  • La calidad no sigue con claridad ninguna de las dos cifras. Compare modelos en su propia tarea, no por número de parámetros.

En BroadNet Inference

BroadNet sirve BroadNet Gemma 4 VL 26B con el ID de modelo broadnet/gemma-4-26b-a4b y lo describe como basado en Gemma 4 de Google. Su catálogo de modelos indica que la versión de producción es Gemma 4 26B A4B con pesos AWQ de 4 bits y predicción multitoken. Cuesta $0.10 de entrada y $0.22 de salida por 1M de tokens, y es el modelo de la clave por hora. Consulte Gemma 4 VL 26B.

DeepSeek V4.1 Flash es el modelo de BroadNet con contexto de 1,048,576 tokens y el único incluido en los planes de tarifa plana. Su diseño MoE lo documenta DeepSeek, no BroadNet. Para comparar los modelos abiertos como categoría, consulte modelos de pesos abiertos y modelos de pesos abiertos frente a cerrados.

Preguntas frecuentes

¿Qué significa A4B en Gemma 4 26B A4B?

La ficha del modelo de Google dice que la "A" significa parámetros activos. El modelo tiene 25.2B parámetros en total, pero activa unos 3.8B por token.

¿DeepSeek V4.1 Flash es un modelo mixture of experts?

Sí. La ficha de DeepSeek lo describe como un modelo MoE multimodal con 552B parámetros de backbone, 1 experto compartido y 384 expertos enrutados por capa MoE, y 6 expertos enrutados activos por token.

¿Un modelo MoE necesita menos memoria?

No. Hay que cargar todos los expertos, porque cualquier token puede enrutarse a cualquiera de ellos. MoE ahorra cómputo por token, no memoria para los pesos.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity