BroadRouter

Mixture of experts (MoE)

Atualizado em

Mixture of experts (MoE) é uma arquitetura de rede neural em que uma camada contém muitas sub-redes especialistas e um roteador aprendido envia cada token para apenas algumas delas. Um modelo de linguagem MoE tem um número total de parâmetros grande, mas usa um pequeno subconjunto ativo para cada token.

Também chamado de: MoE, mixture of experts, mistura de especialistas, modelo MoE, LLM MoE, parâmetros ativos, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Um modelo denso executa todos os pesos para cada token. Um modelo mixture of experts executa só os poucos especialistas que o roteador escolhe.

Como funciona

Shazeer et al. apresentaram a camada MoE com gating esparso em 2017: até milhares de sub-redes feed-forward, com “a trainable gating network” (tradução: uma rede de gating treinável) escolhendo “a sparse combination of these experts” (tradução: uma combinação esparsa desses especialistas) para cada entrada. Em um transformer moderno, o bloco feed-forward de algumas camadas vira um conjunto de especialistas. Para cada token, o roteador pontua os especialistas e envia o token para os primeiros colocados. Algumas arquiteturas adicionam um especialista compartilhado usado por todos os tokens.

Dois model cards mostram os números:

Modelo Parâmetros totais Ativos por token Especialistas
Gemma 4 26B A4B (Google) 25,2B 3,8B 8 ativos de 128, mais 1 compartilhado
DeepSeek V4.1 Flash (DeepSeek) 552B de backbone 8B no prefill, 16B no decode 6 roteados de 384, mais 1 compartilhado

O card do Google diz que o modelo 26B A4B “runs almost as fast as a 4B-parameter model.” (tradução: roda quase tão rápido quanto um modelo de 4B parâmetros).

Por que importa

  • Velocidade e preço por token acompanham os parâmetros ativos, já que essa é a computação que cada token exige. É assim que um modelo MoE pode ser grande e ainda barato de servir.
  • A memória acompanha os parâmetros totais. Todo especialista precisa ficar na memória da GPU, então um modelo MoE precisa de tanto espaço para os pesos quanto um modelo denso do mesmo tamanho total. A quantização é uma forma comum de fazê-los caber.
  • A qualidade não acompanha claramente nenhum dos dois números. Compare modelos na sua própria tarefa, não pela contagem de parâmetros.

Na BroadNet Inference

A BroadNet serve o BroadNet Gemma 4 VL 26B com o ID de modelo broadnet/gemma-4-26b-a4b e o descreve como baseado no Gemma 4 do Google. O catálogo de modelos dela lista a build de produção como Gemma 4 26B A4B com pesos AWQ de 4 bits e multi-token prediction. Ele custa $0.10 de entrada e $0.22 de saída por 1M de tokens, e é o modelo por trás da chave por hora. Veja Gemma 4 VL 26B.

O DeepSeek V4.1 Flash é o modelo da BroadNet com contexto de 1.048.576 tokens e o único modelo dos planos de preço fixo. A arquitetura MoE dele é documentada pela DeepSeek, não pela BroadNet. Para comparar modelos abertos como categoria, veja modelos open-weight e modelos open-weight vs. fechados.

Perguntas frequentes

O que significa A4B em Gemma 4 26B A4B?

O model card do Google diz que o "A" vem de parâmetros ativos. O modelo tem 25,2B parâmetros no total, mas ativa cerca de 3,8B por token.

O DeepSeek V4.1 Flash é um modelo mixture of experts?

Sim. O model card da DeepSeek o descreve como um modelo MoE multimodal com 552B parâmetros de backbone, 1 especialista compartilhado e 384 especialistas roteados por camada MoE, e 6 especialistas roteados ativos por token.

Um modelo MoE precisa de menos memória?

Não. Todos os especialistas precisam estar carregados, porque qualquer token pode ser roteado para qualquer um deles. O MoE economiza computação por token, não memória para os pesos.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity