Preprint Uno kedua dari BroadNet menerapkan self-drafting ke model mixture-of-experts untuk pertama kalinya. Diterbitkan di Zenodo pada 18 September 2026 dengan DOI 10.5281/zenodo.22820511, studi ini men-serve Gemma 4 26B A4B dalam 4-bit dan melatih adapter Uno untuknya. Targetnya adalah model basis yang sama dengan BroadNet Gemma 4 VL 26B di BroadNet Inference.
Studi ini melanjutkan studi serving Uno di vLLM, yang menguji model dense 8B. Angka-angka di bawah berasal dari BroadNet; kami belum mereproduksinya.
Apa pertanyaannya?
Speculative decoding membuat draft beberapa token lalu memverifikasinya dalam satu pass. Pada model mixture-of-experts ada kekhawatiran tambahan: baris draft bisa diarahkan ke expert yang berbeda-beda, sehingga membuat draft empat token mungkin membaca bobot expert jauh lebih banyak daripada menghasilkan satu token. Paper ini menanyakan apakah “expert fan-out” itu membuat self-drafting terlalu mahal, dan kapan self-drafting mengalahkan drafter terpisah.
Bagaimana BroadNet mengujinya?
Dari abstrak paper dan baris metode BroadNet:
- Model: Gemma 4 26B A4B, sekitar 4B parameter aktif per token, dengan bobot 4-bit.
- Hardware: GPU kelas 24 GB, satu sequence dalam satu waktu.
- Workload: 72 prompt dari trafik produksi BroadNet; setiap percepatan dibagi dengan run decoding biasa di sesi yang sama.
- Context panjang: set terpisah berisi lima prompt dengan sekitar 10.500 token.
- Adapter: rank 16, dilatih dengan 965 baris melalui checkpoint 4-bit yang sama dengan yang dipakai untuk serving, di satu GPU 24 GB, tanpa bobot full-precision dalam prosesnya.
Apa temuannya?
| Cara Gemma 4 26B A4B di-decode | Percepatan dibanding decoding biasa |
|---|---|
| Decoding biasa | 1,000 |
| Adapter pilot Uno, lebar 4 | 1,166 |
| Drafter multi-token prediction, lebar 2 | 1,474 |
| Block drafter, lebar 8 | 1,553 |
| Uno pada context sekitar 10.500 token | 1,089 (drafter MTP: 1,011) |
Hasil lain yang dilaporkan BroadNet:
- Pelatihan membantu. Porsi yang diterima naik dari 42,4% menjadi 48,9% selama 1.500 update, dan korpus yang lebih besar berisi 2.000 baris, yang dilatih dengan resep yang sama, menghasilkan 0,49 token draft lebih banyak yang diterima per langkah verifikasi dibanding run pembanding yang setara.
- Expert fan-out itu nyata, tetapi murah. Empat baris draft menyentuh 22 expert berbeda, dibanding 8 untuk satu baris, namun seluruh biaya terkait baris dibatasi 0,53 langkah dalam siklus sekitar 2,4 langkah. BroadNet menyimpulkan biaya routing itu “worth under a fifth of a cycle” (Terjemahan BroadRouter: bernilai kurang dari seperlima siklus) di kelas hardware ini.
- Lossless. BroadNet membuat pengecekan untuk profil yang output biasanya tidak mereproduksi dirinya sendiri antarsesi, dan melaporkan Uno “as close to plain as plain is to itself” (Terjemahan BroadRouter: sedekat decoding biasa dengan dirinya sendiri).
- Lima bahasa. Paper ini memberikan apa yang disebutnya pengukuran pertama acceptance adapter ini di lima bahasa.
Apa artinya dalam praktik?
Aturan paper ini sederhana: jika ada drafter kecil yang bagus untuk model Anda, pakailah; self-drafting layak dipakai pada context panjang dan pada model yang tidak punya drafter. Itu sejalan dengan apa yang BroadNet katakan dijalankannya: katalognya mencantumkan Gemma 4 26B di produksi dengan drafter multi-token prediction (k=2), dengan “90%+ acceptance on structured prompts” (Terjemahan BroadRouter: acceptance di atas 90% pada prompt terstruktur).
Seberapa besar tambahan dari drafter di produksi? Katalog BroadNet melaporkan multi-token prediction menambah 48,8% di RTX 3090, dan halaman Gemma 4 VL 26B-nya menyebut sekitar 136 token per detik pada satu stream dengan speculative decoding aktif. Keduanya adalah pengukuran BroadNet sendiri pada konfigurasi serving yang dijelaskan di halaman modelnya, jadi kecepatan yang Anda dapat lewat API juga bergantung pada beban dan panjang prompt serta jawaban Anda.
Bagi pembeli API, bagian yang berguna adalah metodenya, bukan adapternya. BroadNet menyatakan setiap model yang di-serve-nya melewati perhitungan ini sebelum sampai ke pelanggan: ukur biaya satu siklus draft, lalu pilih drafter yang menang pada workload sebenarnya. Disiplin yang sama membuatnya mencoret EAGLE3 untuk serving yang jenuh.
Apa batasannya?
- Hanya single-stream. Satu sequence dalam satu waktu, satu run per arm. Serving batch berperilaku berbeda, seperti yang ditunjukkan studi model dense.
- Satu model. Hasilnya berlaku untuk Gemma 4 26B A4B dalam 4-bit pada kartu kelas 24 GB.
- Preprint. Versi 2.3 di Zenodo, belum melalui peer review, dengan arsip bukti pendamping terlampir.
Rilis v0.3.0 dari vllm-uno menyertakan profil serving, container image, dan catatan validasi, sehingga angka-angkanya bisa dicek. Untuk mencoba model yang di-serve itu sendiri, playground browser BroadNet menjalankan Gemma 4 tanpa akun.
