BroadRouter

Uno no Gemma 4 26B: o estudo da BroadNet com mixture of experts

Pela equipe da BroadNet Inference · 3 min de leitura · Publicado em · Atualizado em

O preprint da BroadNet de setembro de 2026 (DOI 10.5281/zenodo.22820511) treina o primeiro adapter Uno para um modelo mixture of experts, o Gemma 4 26B A4B, servido em 4 bits. O adapter decodifica 1,166 vez mais rápido que a decodificação simples em 72 prompts de produção, atrás de dois drafters separados com 1,474 e 1,553, mas supera o drafter de produção com cerca de 10.500 tokens de contexto.

O segundo preprint da BroadNet sobre o Uno aplica pela primeira vez o self-drafting a um modelo mixture of experts. Publicado no Zenodo em 18 de setembro de 2026 com o DOI 10.5281/zenodo.22820511, ele serve o Gemma 4 26B A4B em 4 bits e treina um adapter Uno para ele. O alvo é o mesmo modelo base do BroadNet Gemma 4 VL 26B na BroadNet Inference.

Ele dá sequência ao estudo do Uno no serving com vLLM, que testou um modelo denso de 8B. Os números abaixo são da BroadNet; não os reproduzimos.

Qual era a pergunta?

O speculative decoding rascunha vários tokens e os verifica em uma única passagem. Em um modelo mixture of experts há uma preocupação extra: as linhas do rascunho podem ser roteadas para especialistas diferentes, então rascunhar quatro tokens poderia ler muito mais pesos de especialistas do que gerar um. O artigo pergunta se esse “expert fan-out” deixa o self-drafting caro demais, e quando o self-drafting vence um drafter separado.

Como a BroadNet testou?

Segundo o resumo do artigo e a descrição de métodos da BroadNet:

  • Modelo: Gemma 4 26B A4B, cerca de 4B de parâmetros ativos por token, com pesos em 4 bits.
  • Hardware: GPUs da classe de 24 GB, uma sequência por vez.
  • Carga de trabalho: 72 prompts do tráfego de produção da BroadNet; cada aceleração é dividida por uma execução com decodificação simples na mesma sessão.
  • Contexto longo: um conjunto separado de cinco prompts com cerca de 10.500 tokens.
  • Adapter: rank 16, treinado em 965 linhas usando o mesmo checkpoint em 4 bits com que é servido, em uma única GPU de 24 GB, sem pesos em precisão total no processo.

O que o estudo encontrou?

Como o Gemma 4 26B A4B foi decodificado Aceleração sobre a decodificação simples
Decodificação simples 1,000
Adapter piloto Uno, largura 4 1,166
Drafter de multi-token prediction, largura 2 1,474
Drafter de blocos, largura 8 1,553
Uno com cerca de 10.500 tokens de contexto 1,089 (drafter MTP: 1,011)

Outros resultados relatados pela BroadNet:

  • O treinamento ajudou. A parcela aceita subiu de 42,4% para 48,9% em 1.500 atualizações, e um corpus maior, de 2.000 linhas, treinado com a mesma receita, fez aceitar 0,49 token de rascunho a mais por passo de verificação do que a execução âncora equivalente.
  • O expert fan-out é real, mas barato. Quatro linhas de rascunho tocaram 22 especialistas distintos contra 8 de uma linha só, mas todo o custo ligado às linhas ficou limitado a 0,53 passo em um ciclo de cerca de 2,4. A BroadNet conclui que o custo de roteamento vale “under a fifth of a cycle” (tradução: “menos de um quinto de ciclo”) nessa classe de hardware.
  • Sem perdas. A BroadNet criou uma verificação para um perfil cuja saída simples não se reproduz igual entre sessões, e relata o Uno “as close to plain as plain is to itself” (tradução: “tão perto da decodificação simples quanto a decodificação simples está de si mesma”).
  • Cinco idiomas. O artigo traz o que chama de primeira medição da aceitação desse adapter em cinco idiomas.

O que isso significa na prática?

A regra do próprio artigo é simples: se existe um bom drafter pequeno para o seu modelo, use-o; o self-drafting se justifica com contexto longo e em modelos que não têm drafter. Isso bate com o que a BroadNet diz usar: seu catálogo lista o Gemma 4 26B em produção com um drafter de multi-token prediction (k=2), com “90%+ acceptance on structured prompts” (tradução: “mais de 90% de aceitação em prompts estruturados”).

Quanto um drafter acrescenta em produção? O catálogo da BroadNet relata que a multi-token prediction acrescentou 48,8% em uma RTX 3090, e a página do Gemma 4 VL 26B informa cerca de 136 tokens por segundo em um único stream com speculative decoding ligado. Ambas são medições da própria BroadNet, na configuração de serving descrita na página do modelo, então a velocidade que você obtém pela API também depende da carga e do tamanho do seu prompt e da resposta.

Para quem compra uma API, a parte útil é o método, não o adapter. A BroadNet diz que todo modelo que serve passa por essa conta antes de chegar a um cliente: medir o custo de um ciclo de rascunho e depois escolher o drafter que vence na carga real. A mesma disciplina a levou a descartar o EAGLE3 para serving saturado.

Quais são os limites?

  • Só stream único. Uma sequência por vez, uma execução por variante. O serving em lote se comporta de outro jeito, como mostrou o estudo com o modelo denso.
  • Um modelo só. Os resultados valem para o Gemma 4 26B A4B em 4 bits em placas da classe de 24 GB.
  • Um preprint. Versão 2.3 no Zenodo, sem revisão por pares, com um arquivo de evidências anexo.

A release v0.3.0 do vllm-uno traz o perfil de serving, uma imagem de contêiner e o registro de validação, então os números podem ser conferidos. Para testar o próprio modelo servido, o playground no navegador da BroadNet roda o Gemma 4 sem conta.

Perguntas frequentes

O que é um modelo mixture of experts?

Um modelo cujas camadas contêm muitas sub-redes especialistas, das quais só algumas rodam para cada token. O Gemma 4 26B A4B tem 26B de parâmetros no total e cerca de 4B ativos por token, e é por isso que sai barato servi-lo para o tamanho que tem.

Por que aqui o adapter Uno é mais lento que os outros drafters?

O artigo explica isso como algo estrutural: um ciclo de self-drafting custa duas passagens forward do modelo completo, enquanto um drafter separado substitui uma delas por uma rede pequena. Por isso, quando existe um drafter pequeno dedicado, ele costuma vencer.

Quando o self-drafting compensa?

Segundo o artigo, com contexto longo, em que o rascunho mais largo confirma mais tokens por ciclo (1,089x contra 1,011x com cerca de 10.500 tokens), e em modelos que não têm nenhum drafter pequeno.

A BroadNet usa esse adapter na sua API do Gemma 4?

A página do modelo da BroadNet diz que sua build do Gemma 4 26B é servida com speculative decoding por multi-token prediction (k=2). O adapter Uno foi publicado como artefato de pesquisa; a BroadNet não diz que o usa para servir o tráfego da API.

Posso baixar o adapter?

Sim. A BroadNet o publica no Hugging Face como Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, com o perfil de serving e a imagem de contêiner na release v0.3.0 do vllm-uno.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity