---
title: "Uno pada Gemma 4 26B MoE: kajian BroadNet dan DOI | BroadRouter"
description: "BroadNet melatih penyesuai Uno self-drafting pertama untuk model mixture-of-experts, Gemma 4 26B A4B. Apa yang diukur, bila ia berbaloi, dan DOInya."
url: https://broadrouter.com/ms/blog/uno-mixture-of-experts-gemma-4-study/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (dikemas kini 2026-11-16).

# Uno pada Gemma 4 26B: kajian mixture-of-experts BroadNet

Oleh pasukan BroadNet Inference · 3 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

Pracetak BroadNet September 2026 (DOI 10.5281/zenodo.22820511) melatih penyesuai Uno pertama untuk model mixture-of-experts, Gemma 4 26B A4B, yang disajikan pada 4-bit. Penyesuai itu menyahkod 1.166 kali lebih pantas daripada penyahkodan biasa pada beban kerja pengeluaran 72 prompt, di belakang dua pendraf berasingan pada 1.474 dan 1.553, tetapi mendahului pendraf pengeluaran pada kira-kira 10,500 token konteks.

## Perkara utama

-   Pracetak di Zenodo, DOI 10.5281/zenodo.22820511, versi 2.3, 18 September 2026, CC BY 4.0. Belum disemak rakan sebaya.
-   Sasaran: Gemma 4 26B A4B, asas BroadNet Gemma 4 VL 26B, disajikan dengan pemberat 4-bit.
-   Penyesuai rank-16 yang dilatih pada 965 baris menaikkan draf yang diterima daripada 42.4% kepada 48.9%.
-   Peningkatan kelajuan berbanding penyahkodan biasa: 1.166x untuk penyesuai Uno, 1.474x untuk pendraf multi-token-prediction, 1.553x untuk pendraf blok.
-   Pada kira-kira 10,500 token konteks, penyesuai mendahului pendraf pengeluaran, 1.089x berbanding 1.011x.

**Dalam halaman ini**

1.  Apakah soalannya?
2.  Bagaimanakah BroadNet mengujinya?
3.  Apakah dapatannya?
4.  Apakah maksudnya secara praktikal?
5.  Apakah hadnya?

Pracetak Uno kedua BroadNet menggunakan self-drafting pada model [mixture-of-experts](https://broadrouter.com/ms/glossary/mixture-of-experts/) buat kali pertama. Diterbitkan di Zenodo pada 18 September 2026 di bawah DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), ia menyajikan Gemma 4 26B A4B pada 4-bit dan melatih penyesuai Uno untuknya. Sasarannya ialah model asas yang sama dengan [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) di BroadNet Inference.

Ia menyusuli [kajian penyajian Uno dalam vLLM](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/), yang menguji model padat 8B. Angka di bawah ialah angka BroadNet; kami belum menghasilkannya semula.

## Apakah soalannya?

Speculative decoding mendraf beberapa token dan mengesahkannya dalam satu laluan. Pada model mixture-of-experts terdapat kebimbangan tambahan: baris draf boleh dihalakan ke pakar yang berbeza, jadi mendraf empat token mungkin membaca jauh lebih banyak pemberat pakar berbanding menjana satu. Kertas itu bertanya sama ada “expert fan-out” itu menjadikan self-drafting terlalu mahal, dan bilakah self-drafting mengatasi pendraf berasingan.

## Bagaimanakah BroadNet mengujinya?

Daripada abstrak kertas dan baris kaedah BroadNet:

-   **Model:** Gemma 4 26B A4B, kira-kira 4B parameter aktif bagi setiap token, dengan pemberat 4-bit.
-   **Perkakasan:** GPU kelas 24 GB, satu jujukan pada satu masa.
-   **Beban kerja:** 72 prompt daripada trafik pengeluaran BroadNet; setiap peningkatan kelajuan dibahagi dengan larian penyahkodan biasa dalam sesi yang sama.
-   **Konteks panjang:** set berasingan lima prompt pada kira-kira 10,500 token.
-   **Penyesuai:** rank 16, dilatih pada 965 baris melalui checkpoint 4-bit yang sama tempat ia disajikan, pada satu GPU 24 GB, tanpa pemberat ketepatan penuh dalam gelung.

## Apakah dapatannya?

| Cara Gemma 4 26B A4B dinyahkod | Peningkatan kelajuan berbanding penyahkodan biasa |
| --- | --- |
| Penyahkodan biasa | 1.000 |
| Penyesuai perintis Uno, lebar 4 | 1.166 |
| Pendraf multi-token-prediction, lebar 2 | 1.474 |
| Pendraf blok, lebar 8 | 1.553 |
| Uno pada kira-kira 10,500 token konteks | 1.089 (pendraf MTP: 1.011) |

Keputusan lain yang dilaporkan BroadNet:

-   **Latihan membantu.** Bahagian yang diterima meningkat daripada 42.4% kepada 48.9% sepanjang 1,500 kemas kini, dan korpus 2,000 baris yang lebih besar, dilatih dengan resipi yang sama, menerima 0.49 lebih banyak token draf bagi setiap langkah pengesahan berbanding larian anchor yang sepadan.
-   **Expert fan-out itu nyata tetapi murah.** Empat baris draf menyentuh 22 pakar berbeza berbanding 8 bagi satu baris, namun keseluruhan kos berkaitan baris terhad kepada 0.53 langkah dalam kitaran kira-kira 2.4. BroadNet menyimpulkan kos penghalaan itu “worth under a fifth of a cycle” (Terjemahan: bernilai kurang daripada satu perlima kitaran) pada kelas perkakasan ini.
-   **Tanpa kehilangan.** BroadNet membina semakan untuk profil yang output biasanya tidak berulang sama merentas sesi, dan melaporkan Uno “as close to plain as plain is to itself” (Terjemahan: sedekat dengan biasa sebagaimana biasa dengan dirinya sendiri).
-   **Lima bahasa.** Kertas itu memberikan apa yang disebutnya ukuran pertama penerimaan penyesuai ini merentas lima bahasa.

## Apakah maksudnya secara praktikal?

Peraturan kertas itu sendiri mudah: jika pendraf kecil yang baik wujud untuk model anda, gunakannya; self-drafting berbaloi pada konteks panjang dan pada model yang tiada pendraf. Itu sepadan dengan apa yang BroadNet katakan ia jalankan: katalognya menyenaraikan Gemma 4 26B dalam pengeluaran dengan pendraf multi-token-prediction (k=2), dengan “90%+ acceptance on structured prompts” (Terjemahan: penerimaan 90%+ pada prompt berstruktur).

Berapa banyak pendraf menambah dalam pengeluaran? Katalog BroadNet melaporkan multi-token prediction menambah 48.8% pada RTX 3090, dan halaman Gemma 4 VL 26Bnya memberikan kira-kira 136 token sesaat pada satu strim dengan speculative decoding dihidupkan. Kedua-duanya ukuran BroadNet sendiri, pada konfigurasi penyajian yang diterangkan oleh halaman modelnya, jadi kelajuan anda melalui API juga bergantung pada beban dan panjang prompt serta jawapan anda.

Bagi pembeli API, bahagian yang berguna ialah kaedahnya, bukan penyesuainya. BroadNet menyatakan setiap model yang disajikannya melalui aritmetik ini sebelum sampai kepada pelanggan: ukur kos satu kitaran draf, kemudian pilih pendraf yang menang pada beban kerja sebenar. Disiplin yang sama menyebabkannya [menolak EAGLE3](https://broadrouter.com/ms/blog/models-broadnet-ruled-out/) untuk penyajian tepu.

## Apakah hadnya?

-   **Satu strim sahaja.** Satu jujukan pada satu masa, satu larian bagi setiap lengan. Penyajian kelompok berkelakuan berbeza, seperti yang ditunjukkan oleh kajian model padat.
-   **Satu model.** Keputusan adalah untuk Gemma 4 26B A4B pada 4-bit pada kad kelas 24 GB.
-   **Pracetak.** Versi 2.3 di Zenodo, belum disemak rakan sebaya, dengan arkib bukti pengiring dilampirkan.

Keluaran v0.3.0 [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) membawa profil penyajian, imej bekas dan rekod pengesahan, jadi angka itu boleh disemak. Untuk mencuba model yang disajikan itu sendiri, [playground dalam pelayar](https://broadrouter.com/ms/guides/try-broadnet-inference-playground/) BroadNet menjalankan Gemma 4 tanpa akaun.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/)

Speculative decoding ialah teknik inferens di mana model draf yang kecil dan pantas mencadangkan beberapa token seterusnya, dan model sasaran yang besar mengesahkannya dalam satu forward pass, lalu mengekalkan token yang diterima. Ia mempercepat penjanaan tanpa mengubah taburan output.

[Mixture of experts (MoE, campuran pakar)](https://broadrouter.com/ms/glossary/mixture-of-experts/)

Mixture of experts (MoE) ialah reka bentuk rangkaian neural di mana satu lapisan mengandungi banyak subrangkaian pakar dan penghala yang dipelajari menghantar setiap token kepada hanya beberapa daripadanya. Model bahasa MoE mempunyai jumlah parameter yang besar tetapi menggunakan subset aktif yang kecil bagi setiap token.

[Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/)

Token sesaat (TPS) ialah kadar model bahasa menjana token output, biasanya diukur bagi satu permintaan selepas token pertamanya tiba. Ia menentukan sepantas mana jawapan distrim sebaik bermula. Apabila dijumlahkan merentas semua permintaan serentak, ia menjadi daya pemprosesan sistem; masa menunggu sebelum token pertama diukur secara berasingan.

[vLLM](https://broadrouter.com/ms/glossary/vllm/)

vLLM ialah pustaka sumber terbuka untuk inferens dan penyajian LLM, yang mula-mula dibangunkan di Sky Computing Lab, UC Berkeley. Ia mengurus memori KV cache dengan PagedAttention, mengumpulkan permintaan masuk secara berterusan, menyokong banyak format kuantisasi dan menyediakan pelayan HTTP yang serasi OpenAI.

## Soalan lazim

### Apakah itu model mixture-of-experts?

Model yang lapisannya mengandungi banyak sub-rangkaian pakar, dan hanya beberapa daripadanya berjalan bagi setiap token. Gemma 4 26B A4B mempunyai 26B parameter keseluruhan dan kira-kira 4B aktif bagi setiap token, sebab itu ia murah untuk disajikan berbanding saiznya.

### Mengapakah penyesuai Uno lebih perlahan daripada pendraf lain di sini?

Kertas itu menerangkannya sebagai struktur: satu kitaran self-drafting memerlukan dua laluan hadapan model penuh, manakala pendraf berasingan menggantikan salah satunya dengan rangkaian kecil. Jadi pendraf kecil khusus biasanya menang apabila ia wujud.

### Bilakah self-drafting berbaloi?

Menurut kertas itu, pada konteks panjang, di mana draf yang lebih lebar memasukkan lebih banyak token setiap kitaran (1.089x berbanding 1.011x pada kira-kira 10,500 token), dan untuk model yang tiada pendraf kecil langsung.

### Adakah BroadNet menggunakan penyesuai ini untuk API Gemma 4nya?

Halaman model BroadNet menyatakan binaan Gemma 4 26Bnya disajikan dengan speculative decoding multi-token-prediction (k=2). Penyesuai Uno diterbitkan sebagai artifak penyelidikan; BroadNet tidak menyatakan ia menyajikan trafik API dengannya.

### Bolehkah saya memuat turun penyesuai itu?

Ya. BroadNet menerbitkannya di Hugging Face sebagai Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, dengan profil penyajian dan imej bekas dalam keluaran vllm-uno v0.3.0.

## Teruskan membaca

-   [Uno dalam vLLM: apa yang diukur oleh kajian penyajian BroadNet](https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Model yang dinilai dan ditolak oleh BroadNet, dan sebabnya](https://broadrouter.com/ms/blog/models-broadnet-ruled-out/)
-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Jadikan semakan manusia sebahagian aliran kerja AI dokumen anda](https://broadrouter.com/ms/blog/document-review-queues/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, pracetak Zenodo v2.3, 2026-09-18 (rekod diambil 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog BroadNet, Uno for vLLM now runs mixture-of-experts models (17 September 2026; diambil 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: dapatan utama (diambil 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/research)
-   [Keluaran vllm-uno v0.3.0 (diambil 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Halaman model BroadNet Gemma 4 VL 26B: konfigurasi penyajian (diambil 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
