BroadRouter

Uno pada Gemma 4 26B: kajian mixture-of-experts BroadNet

Oleh pasukan BroadNet Inference · 3 minit bacaan · Diterbitkan · Dikemas kini

Pracetak BroadNet September 2026 (DOI 10.5281/zenodo.22820511) melatih penyesuai Uno pertama untuk model mixture-of-experts, Gemma 4 26B A4B, yang disajikan pada 4-bit. Penyesuai itu menyahkod 1.166 kali lebih pantas daripada penyahkodan biasa pada beban kerja pengeluaran 72 prompt, di belakang dua pendraf berasingan pada 1.474 dan 1.553, tetapi mendahului pendraf pengeluaran pada kira-kira 10,500 token konteks.

Pracetak Uno kedua BroadNet menggunakan self-drafting pada model mixture-of-experts buat kali pertama. Diterbitkan di Zenodo pada 18 September 2026 di bawah DOI 10.5281/zenodo.22820511, ia menyajikan Gemma 4 26B A4B pada 4-bit dan melatih penyesuai Uno untuknya. Sasarannya ialah model asas yang sama dengan BroadNet Gemma 4 VL 26B di BroadNet Inference.

Ia menyusuli kajian penyajian Uno dalam vLLM, yang menguji model padat 8B. Angka di bawah ialah angka BroadNet; kami belum menghasilkannya semula.

Apakah soalannya?

Speculative decoding mendraf beberapa token dan mengesahkannya dalam satu laluan. Pada model mixture-of-experts terdapat kebimbangan tambahan: baris draf boleh dihalakan ke pakar yang berbeza, jadi mendraf empat token mungkin membaca jauh lebih banyak pemberat pakar berbanding menjana satu. Kertas itu bertanya sama ada “expert fan-out” itu menjadikan self-drafting terlalu mahal, dan bilakah self-drafting mengatasi pendraf berasingan.

Bagaimanakah BroadNet mengujinya?

Daripada abstrak kertas dan baris kaedah BroadNet:

  • Model: Gemma 4 26B A4B, kira-kira 4B parameter aktif bagi setiap token, dengan pemberat 4-bit.
  • Perkakasan: GPU kelas 24 GB, satu jujukan pada satu masa.
  • Beban kerja: 72 prompt daripada trafik pengeluaran BroadNet; setiap peningkatan kelajuan dibahagi dengan larian penyahkodan biasa dalam sesi yang sama.
  • Konteks panjang: set berasingan lima prompt pada kira-kira 10,500 token.
  • Penyesuai: rank 16, dilatih pada 965 baris melalui checkpoint 4-bit yang sama tempat ia disajikan, pada satu GPU 24 GB, tanpa pemberat ketepatan penuh dalam gelung.

Apakah dapatannya?

Cara Gemma 4 26B A4B dinyahkod Peningkatan kelajuan berbanding penyahkodan biasa
Penyahkodan biasa 1.000
Penyesuai perintis Uno, lebar 4 1.166
Pendraf multi-token-prediction, lebar 2 1.474
Pendraf blok, lebar 8 1.553
Uno pada kira-kira 10,500 token konteks 1.089 (pendraf MTP: 1.011)

Keputusan lain yang dilaporkan BroadNet:

  • Latihan membantu. Bahagian yang diterima meningkat daripada 42.4% kepada 48.9% sepanjang 1,500 kemas kini, dan korpus 2,000 baris yang lebih besar, dilatih dengan resipi yang sama, menerima 0.49 lebih banyak token draf bagi setiap langkah pengesahan berbanding larian anchor yang sepadan.
  • Expert fan-out itu nyata tetapi murah. Empat baris draf menyentuh 22 pakar berbeza berbanding 8 bagi satu baris, namun keseluruhan kos berkaitan baris terhad kepada 0.53 langkah dalam kitaran kira-kira 2.4. BroadNet menyimpulkan kos penghalaan itu “worth under a fifth of a cycle” (Terjemahan: bernilai kurang daripada satu perlima kitaran) pada kelas perkakasan ini.
  • Tanpa kehilangan. BroadNet membina semakan untuk profil yang output biasanya tidak berulang sama merentas sesi, dan melaporkan Uno “as close to plain as plain is to itself” (Terjemahan: sedekat dengan biasa sebagaimana biasa dengan dirinya sendiri).
  • Lima bahasa. Kertas itu memberikan apa yang disebutnya ukuran pertama penerimaan penyesuai ini merentas lima bahasa.

Apakah maksudnya secara praktikal?

Peraturan kertas itu sendiri mudah: jika pendraf kecil yang baik wujud untuk model anda, gunakannya; self-drafting berbaloi pada konteks panjang dan pada model yang tiada pendraf. Itu sepadan dengan apa yang BroadNet katakan ia jalankan: katalognya menyenaraikan Gemma 4 26B dalam pengeluaran dengan pendraf multi-token-prediction (k=2), dengan “90%+ acceptance on structured prompts” (Terjemahan: penerimaan 90%+ pada prompt berstruktur).

Berapa banyak pendraf menambah dalam pengeluaran? Katalog BroadNet melaporkan multi-token prediction menambah 48.8% pada RTX 3090, dan halaman Gemma 4 VL 26Bnya memberikan kira-kira 136 token sesaat pada satu strim dengan speculative decoding dihidupkan. Kedua-duanya ukuran BroadNet sendiri, pada konfigurasi penyajian yang diterangkan oleh halaman modelnya, jadi kelajuan anda melalui API juga bergantung pada beban dan panjang prompt serta jawapan anda.

Bagi pembeli API, bahagian yang berguna ialah kaedahnya, bukan penyesuainya. BroadNet menyatakan setiap model yang disajikannya melalui aritmetik ini sebelum sampai kepada pelanggan: ukur kos satu kitaran draf, kemudian pilih pendraf yang menang pada beban kerja sebenar. Disiplin yang sama menyebabkannya menolak EAGLE3 untuk penyajian tepu.

Apakah hadnya?

  • Satu strim sahaja. Satu jujukan pada satu masa, satu larian bagi setiap lengan. Penyajian kelompok berkelakuan berbeza, seperti yang ditunjukkan oleh kajian model padat.
  • Satu model. Keputusan adalah untuk Gemma 4 26B A4B pada 4-bit pada kad kelas 24 GB.
  • Pracetak. Versi 2.3 di Zenodo, belum disemak rakan sebaya, dengan arkib bukti pengiring dilampirkan.

Keluaran v0.3.0 vllm-uno membawa profil penyajian, imej bekas dan rekod pengesahan, jadi angka itu boleh disemak. Untuk mencuba model yang disajikan itu sendiri, playground dalam pelayar BroadNet menjalankan Gemma 4 tanpa akaun.

Soalan lazim

Apakah itu model mixture-of-experts?

Model yang lapisannya mengandungi banyak sub-rangkaian pakar, dan hanya beberapa daripadanya berjalan bagi setiap token. Gemma 4 26B A4B mempunyai 26B parameter keseluruhan dan kira-kira 4B aktif bagi setiap token, sebab itu ia murah untuk disajikan berbanding saiznya.

Mengapakah penyesuai Uno lebih perlahan daripada pendraf lain di sini?

Kertas itu menerangkannya sebagai struktur: satu kitaran self-drafting memerlukan dua laluan hadapan model penuh, manakala pendraf berasingan menggantikan salah satunya dengan rangkaian kecil. Jadi pendraf kecil khusus biasanya menang apabila ia wujud.

Bilakah self-drafting berbaloi?

Menurut kertas itu, pada konteks panjang, di mana draf yang lebih lebar memasukkan lebih banyak token setiap kitaran (1.089x berbanding 1.011x pada kira-kira 10,500 token), dan untuk model yang tiada pendraf kecil langsung.

Adakah BroadNet menggunakan penyesuai ini untuk API Gemma 4nya?

Halaman model BroadNet menyatakan binaan Gemma 4 26Bnya disajikan dengan speculative decoding multi-token-prediction (k=2). Penyesuai Uno diterbitkan sebagai artifak penyelidikan; BroadNet tidak menyatakan ia menyajikan trafik API dengannya.

Bolehkah saya memuat turun penyesuai itu?

Ya. BroadNet menerbitkannya di Hugging Face sebagai Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, dengan profil penyajian dan imej bekas dalam keluaran vllm-uno v0.3.0.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity