---
title: "Uno di Gemma 4 26B MoE: studi BroadNet dan DOI | BroadRouter"
description: "BroadNet melatih adapter self-drafting Uno pertama untuk model mixture-of-experts, Gemma 4 26B A4B. Apa yang diukur, kapan self-drafting menguntungkan, dan DOI."
url: https://broadrouter.com/id/blog/uno-mixture-of-experts-gemma-4-study/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (diperbarui 2026-11-16).

# Uno di Gemma 4 26B: studi mixture-of-experts dari BroadNet

Oleh tim BroadNet Inference · 3 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Preprint BroadNet bulan September 2026 (DOI 10.5281/zenodo.22820511) melatih adapter Uno pertama untuk model mixture-of-experts, Gemma 4 26B A4B, yang di-serve dalam 4-bit. Adapter ini melakukan decoding 1,166 kali lebih cepat daripada decoding biasa pada workload produksi 72 prompt, di belakang dua drafter terpisah dengan 1,474 dan 1,553, tetapi mengungguli drafter produksi pada context sekitar 10.500 token.

## Poin penting

-   Preprint di Zenodo, DOI 10.5281/zenodo.22820511, versi 2.3, 18 September 2026, CC BY 4.0. Belum melalui peer review.
-   Target: Gemma 4 26B A4B, basis BroadNet Gemma 4 VL 26B, di-serve dengan bobot 4-bit.
-   Adapter rank 16 yang dilatih dengan 965 baris menaikkan draft yang diterima dari 42,4% menjadi 48,9%.
-   Percepatan dibanding decoding biasa: 1,166x untuk adapter Uno, 1,474x untuk drafter multi-token prediction, 1,553x untuk block drafter.
-   Pada context sekitar 10.500 token, adapter ini mengungguli drafter produksi, 1,089x berbanding 1,011x.

**Di halaman ini**

1.  Apa pertanyaannya?
2.  Bagaimana BroadNet mengujinya?
3.  Apa temuannya?
4.  Apa artinya dalam praktik?
5.  Apa batasannya?

Preprint Uno kedua dari BroadNet menerapkan self-drafting ke model [mixture-of-experts](https://broadrouter.com/id/glossary/mixture-of-experts/) untuk pertama kalinya. Diterbitkan di Zenodo pada 18 September 2026 dengan DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), studi ini men-serve Gemma 4 26B A4B dalam 4-bit dan melatih adapter Uno untuknya. Targetnya adalah model basis yang sama dengan [BroadNet Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) di BroadNet Inference.

Studi ini melanjutkan [studi serving Uno di vLLM](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/), yang menguji model dense 8B. Angka-angka di bawah berasal dari BroadNet; kami belum mereproduksinya.

## Apa pertanyaannya?

Speculative decoding membuat draft beberapa token lalu memverifikasinya dalam satu pass. Pada model mixture-of-experts ada kekhawatiran tambahan: baris draft bisa diarahkan ke expert yang berbeda-beda, sehingga membuat draft empat token mungkin membaca bobot expert jauh lebih banyak daripada menghasilkan satu token. Paper ini menanyakan apakah “expert fan-out” itu membuat self-drafting terlalu mahal, dan kapan self-drafting mengalahkan drafter terpisah.

## Bagaimana BroadNet mengujinya?

Dari abstrak paper dan baris metode BroadNet:

-   **Model:** Gemma 4 26B A4B, sekitar 4B parameter aktif per token, dengan bobot 4-bit.
-   **Hardware:** GPU kelas 24 GB, satu sequence dalam satu waktu.
-   **Workload:** 72 prompt dari trafik produksi BroadNet; setiap percepatan dibagi dengan run decoding biasa di sesi yang sama.
-   **Context panjang:** set terpisah berisi lima prompt dengan sekitar 10.500 token.
-   **Adapter:** rank 16, dilatih dengan 965 baris melalui checkpoint 4-bit yang sama dengan yang dipakai untuk serving, di satu GPU 24 GB, tanpa bobot full-precision dalam prosesnya.

## Apa temuannya?

| Cara Gemma 4 26B A4B di-decode | Percepatan dibanding decoding biasa |
| --- | --- |
| Decoding biasa | 1,000 |
| Adapter pilot Uno, lebar 4 | 1,166 |
| Drafter multi-token prediction, lebar 2 | 1,474 |
| Block drafter, lebar 8 | 1,553 |
| Uno pada context sekitar 10.500 token | 1,089 (drafter MTP: 1,011) |

Hasil lain yang dilaporkan BroadNet:

-   **Pelatihan membantu.** Porsi yang diterima naik dari 42,4% menjadi 48,9% selama 1.500 update, dan korpus yang lebih besar berisi 2.000 baris, yang dilatih dengan resep yang sama, menghasilkan 0,49 token draft lebih banyak yang diterima per langkah verifikasi dibanding run pembanding yang setara.
-   **Expert fan-out itu nyata, tetapi murah.** Empat baris draft menyentuh 22 expert berbeda, dibanding 8 untuk satu baris, namun seluruh biaya terkait baris dibatasi 0,53 langkah dalam siklus sekitar 2,4 langkah. BroadNet menyimpulkan biaya routing itu “worth under a fifth of a cycle” (Terjemahan BroadRouter: bernilai kurang dari seperlima siklus) di kelas hardware ini.
-   **Lossless.** BroadNet membuat pengecekan untuk profil yang output biasanya tidak mereproduksi dirinya sendiri antarsesi, dan melaporkan Uno “as close to plain as plain is to itself” (Terjemahan BroadRouter: sedekat decoding biasa dengan dirinya sendiri).
-   **Lima bahasa.** Paper ini memberikan apa yang disebutnya pengukuran pertama acceptance adapter ini di lima bahasa.

## Apa artinya dalam praktik?

Aturan paper ini sederhana: jika ada drafter kecil yang bagus untuk model Anda, pakailah; self-drafting layak dipakai pada context panjang dan pada model yang tidak punya drafter. Itu sejalan dengan apa yang BroadNet katakan dijalankannya: katalognya mencantumkan Gemma 4 26B di produksi dengan drafter multi-token prediction (k=2), dengan “90%+ acceptance on structured prompts” (Terjemahan BroadRouter: acceptance di atas 90% pada prompt terstruktur).

Seberapa besar tambahan dari drafter di produksi? Katalog BroadNet melaporkan multi-token prediction menambah 48,8% di RTX 3090, dan halaman Gemma 4 VL 26B-nya menyebut sekitar 136 token per detik pada satu stream dengan speculative decoding aktif. Keduanya adalah pengukuran BroadNet sendiri pada konfigurasi serving yang dijelaskan di halaman modelnya, jadi kecepatan yang Anda dapat lewat API juga bergantung pada beban dan panjang prompt serta jawaban Anda.

Bagi pembeli API, bagian yang berguna adalah metodenya, bukan adapternya. BroadNet menyatakan setiap model yang di-serve-nya melewati perhitungan ini sebelum sampai ke pelanggan: ukur biaya satu siklus draft, lalu pilih drafter yang menang pada workload sebenarnya. Disiplin yang sama membuatnya [mencoret EAGLE3](https://broadrouter.com/id/blog/models-broadnet-ruled-out/) untuk serving yang jenuh.

## Apa batasannya?

-   **Hanya single-stream.** Satu sequence dalam satu waktu, satu run per arm. Serving batch berperilaku berbeda, seperti yang ditunjukkan studi model dense.
-   **Satu model.** Hasilnya berlaku untuk Gemma 4 26B A4B dalam 4-bit pada kartu kelas 24 GB.
-   **Preprint.** Versi 2.3 di Zenodo, belum melalui peer review, dengan arsip bukti pendamping terlampir.

Rilis v0.3.0 dari [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) menyertakan profil serving, container image, dan catatan validasi, sehingga angka-angkanya bisa dicek. Untuk mencoba model yang di-serve itu sendiri, [playground browser](https://broadrouter.com/id/guides/try-broadnet-inference-playground/) BroadNet menjalankan Gemma 4 tanpa akun.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/)

Speculative decoding adalah teknik inferensi di mana model draft yang kecil dan cepat mengusulkan beberapa token berikutnya, lalu model target yang besar memverifikasinya dalam satu forward pass dan menyimpan token yang diterima. Teknik ini mempercepat generasi tanpa mengubah distribusi output.

[Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/)

Mixture of experts (MoE) adalah desain jaringan saraf di mana satu layer berisi banyak sub-jaringan expert dan sebuah router yang dilatih mengirim setiap token hanya ke beberapa di antaranya. Model bahasa MoE punya jumlah parameter total yang besar, tetapi hanya memakai subset aktif yang kecil untuk setiap token.

[Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/)

Token per detik (TPS) adalah laju model bahasa menghasilkan token output, biasanya diukur untuk satu permintaan setelah token pertamanya tiba. Angka ini menentukan seberapa cepat balasan mengalir setelah dimulai. Jika dijumlahkan di semua permintaan bersamaan, ia menjadi throughput sistem; waktu tunggu sebelum token pertama diukur terpisah.

[vLLM](https://broadrouter.com/id/glossary/vllm/)

vLLM adalah library open-source untuk inferensi dan serving LLM, awalnya dikembangkan di Sky Computing Lab UC Berkeley. Ia mengelola memori KV cache dengan PagedAttention, mem-batch request yang masuk secara kontinu, mendukung banyak format kuantisasi, dan menyediakan server HTTP yang kompatibel dengan OpenAI.

## Pertanyaan umum

### Apa itu model mixture-of-experts?

Model yang lapisannya berisi banyak sub-jaringan expert, dan hanya beberapa di antaranya yang berjalan untuk setiap token. Gemma 4 26B A4B punya total 26B parameter dengan sekitar 4B yang aktif per token, sehingga murah untuk di-serve dibanding ukurannya.

### Mengapa adapter Uno lebih lambat daripada drafter lain di sini?

Paper ini menjelaskannya sebagai masalah struktural: satu siklus self-drafting memerlukan dua forward pass model penuh, sedangkan drafter terpisah mengganti salah satunya dengan jaringan kecil. Jadi drafter kecil khusus biasanya menang jika tersedia.

### Kapan self-drafting menguntungkan?

Menurut paper ini, pada context panjang, ketika draft yang lebih lebar meng-commit lebih banyak token per siklus (1,089x berbanding 1,011x pada sekitar 10.500 token), dan untuk model yang sama sekali tidak punya drafter kecil.

### Apakah BroadNet memakai adapter ini untuk API Gemma 4-nya?

Halaman model BroadNet menyebutkan build Gemma 4 26B-nya di-serve dengan speculative decoding multi-token prediction (k=2). Adapter Uno dipublikasikan sebagai artefak riset; BroadNet tidak menyatakan memakainya untuk melayani trafik API.

### Bisakah saya mengunduh adapternya?

Bisa. BroadNet memublikasikannya di Hugging Face sebagai Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, dengan profil serving dan container image di rilis vllm-uno v0.3.0.

## Baca juga

-   [Uno di vLLM: apa yang diukur studi serving BroadNet](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Model yang dievaluasi lalu dicoret BroadNet, dan alasannya](https://broadrouter.com/id/blog/models-broadnet-ruled-out/)
-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Jadikan review manusia bagian dari workflow AI dokumen Anda](https://broadrouter.com/id/blog/document-review-queues/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, preprint Zenodo v2.3, 2026-09-18 (record diakses 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog BroadNet, Uno for vLLM now runs mixture-of-experts models (17 September 2026; diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: temuan utama (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/research)
-   [Rilis vllm-uno v0.3.0 (diakses 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Halaman model BroadNet Gemma 4 VL 26B: konfigurasi serving (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
