BroadRouter

Uno di vLLM: apa yang diukur studi serving BroadNet

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan

Uno di vLLM adalah preprint BroadNet bulan September 2026 (DOI 10.5281/zenodo.22652610). Preprint ini menambahkan Uno, adapter yang membuat model bisa membuat draft token-nya sendiri, ke vLLM. Di H100 dengan Qwen3-8B, BroadNet mengukur throughput 2,58 kali vLLM biasa pada satu stream, 2,20 kali pada delapan, dan 1,74 kali pada 32, dalam selisih 3% dari implementasi referensi.

Uno di vLLM adalah preprint dari divisi riset BroadNet, terbit di Zenodo pada 8 September 2026 dengan DOI 10.5281/zenodo.22652610. Preprint ini melaporkan implementasi native vLLM untuk Uno, metode speculative decoding yang dikembangkan IFM, dan mengukur seberapa cepat serving-nya dibanding vLLM biasa. Record Zenodo-nya mencantumkan Mohammad Al Zubaidi sebagai penulis.

Halaman ini merangkum isi paper, cara pengukurannya, serta apa yang bisa dan tidak bisa disimpulkan darinya. Angka-angkanya berasal dari BroadNet; kami belum mereproduksinya.

Masalah apa yang ditangani Uno?

Model bahasa biasanya menghasilkan satu token per forward pass. Speculative decoding mempercepatnya dengan menebak beberapa token ke depan lalu mengeceknya dalam satu pass model penuh. Sebagian besar metode memakai model draft terpisah yang lebih kecil. Uno justru memasang adapter terlatih ke model itu sendiri, sehingga model membuat draft token-nya sendiri lalu memverifikasinya dengan bobot aslinya. Lihat speculative decoding untuk gambaran umumnya.

Pertanyaan paper ini praktis: apakah percepatan itu bertahan di dalam serving engine produksi, dengan batching, caching, dan banyak permintaan sekaligus?

Apa yang dibangun BroadNet?

Postingan blog BroadNet jelas soal kredit: metodenya adalah “Uno, developed by IFM and collaborators” (Terjemahan BroadRouter: Uno, dikembangkan oleh IFM dan kolaboratornya), dan kontribusi BroadNet adalah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan BroadRouter: integrasi native vLLM, rekayasa yang membuat jalur eksekusinya bekerja bersama, dan evaluasi serving). Abstraknya mendaftar komponen eksekusinya: routing adapter kondisional, state key/value draft yang lengkap, penjadwalan asinkron, replay CUDA graph, komputasi adapter yang tumpang tindih, dan penggunaan ulang seed row.

Kodenya terbuka di repositori vllm-uno milik BroadNet, dan BroadNet sudah mengusulkannya ke upstream vLLM sebagai pull request 55947.

Bagaimana cara mengukurnya?

Uji utamanya terkontrol:

  • Hardware dan model: satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan adapter Uno Qwen3-8B yang sudah dipublikasikan.
  • Workload: delapan prompt matematika, diulang untuk mengisi batch yang lebih besar, masing-masing menghasilkan hingga 512 token, dengan prefix caching mati.
  • Baseline: vLLM autoregresif biasa (“vLLM biasa”) dengan setup yang sama.
  • Konkurensi: 1, 8, dan 32 stream bersamaan.

Perbandingan kedua yang terpisah menyalakan prefix caching dan memakai pengaturan serving pilihan BroadNet, untuk dibandingkan dengan implementasi referensi SGLang.

Apa temuan studinya?

Pengukuran Hasil yang dilaporkan BroadNet
Throughput vs vLLM biasa, 1 stream 2,58x
Throughput vs vLLM biasa, 8 stream 2,20x
Throughput vs vLLM biasa, 32 stream 1,74x
Selisih dari implementasi referensi SGLang dalam 3% pada 1, 8, dan 32 stream
Pengaturan produksi, 32 stream 7.657 token/detik, dibanding 7.505 untuk SGLang (unggul 2,0%)
Latensi token pertama (warm), ablasi di dalam vLLM 25% lebih rendah dengan dua proses API, bukan satu

Poin utama untuk perencanaan kapasitas ada di baris terakhir blok pertama: output per detik 74% lebih banyak pada 32 stream bersamaan, dari GPU yang sama. Itulah yang disebut blog BroadNet “the central payoff” (Terjemahan BroadRouter: hasil utamanya), karena percepatan yang hilang saat beban naik tidak banyak berguna bagi API bersama.

Rilis berikutnya (v0.2.0, di Model Runner V2 milik vLLM) dijelaskan di blog BroadNet dengan output single-stream 2,1 hingga 2,4 kali di Blackwell, 1,7 hingga 1,9 kali di Ampere, dan 2,6 kali di Hopper. Hardware dan versinya berbeda dari tabel utama paper, itulah sebabnya angkanya berbeda.

Apa batasannya?

  • Satu model, satu workload. Hasil terkontrolnya adalah Qwen3-8B pada prompt matematika. Kode, chat, atau dokumen panjang bisa menerima lebih sedikit token draft.
  • Keuntungan menyusut seiring beban. Tren dari 2,58x ke 1,74x adalah pola yang diharapkan: saat GPU sibuk, sisa komputasi untuk drafting habis.
  • Preprint. Paper ini disimpan di Zenodo, belum melalui peer review. Arsip pendampingnya memuat inventaris bukti dan data gambar, dan itulah yang memungkinkan pihak lain mengeceknya.
  • Dilaporkan sendiri. BroadNet menjalankan kedua arm. Kesesuaian 3% dengan implementasi referensi adalah pengecekan paper itu sendiri atas hal ini.

Mengapa ini penting jika Anda hanya memanggil API?

Throughput per GPU menentukan berapa yang bisa ditagih provider dan seberapa cepat ia menjawab saat beban tinggi. Katalog BroadNet melaporkan bahwa ia mengukur metode drafting pada konkurensi nyata sebelum memilih, dan mencoret EAGLE3 setelah metode itu memangkas 69% throughput pada 32 permintaan bersamaan. Studi lanjutan di Gemma 4 26B menerapkan metode yang sama pada model mixture-of-experts yang dijual BroadNet sebagai Gemma 4 VL 26B. Untuk melihat kaitannya dengan pilihan serving BroadNet yang lebih luas, lihat hardware GPU dan pendekatan serving BroadNet.

Jika Anda menjalankan server vLLM sendiri, pelajaran praktisnya adalah melakukan benchmark metode drafting apa pun pada konkurensi yang benar-benar Anda jalankan, bukan pada satu stream.

Pertanyaan umum

Apa itu Uno?

Uno adalah metode speculative decoding yang dikembangkan IFM dan kolaboratornya. Adapter kecil yang sudah dilatih membuat model bisa mengusulkan beberapa token sekaligus, lalu bobot model itu sendiri memverifikasinya. Tidak ada model draft terpisah.

Apakah percepatannya lossless?

BroadNet menyatakan demikian untuk rilisnya: setiap kali vLLM biasa mereproduksi output-nya sendiri, Uno cocok dengan token greedy-nya, dan uji distribusi hasil sampling-nya lolos. Speculative decoding memverifikasi setiap token draft dengan model penuh, jadi kualitas output seharusnya tidak berubah; cek ini dengan prompt Anda sendiri.

Apakah Uno membantu pada konkurensi tinggi?

Lebih sedikit dibanding pada konkurensi rendah. Dalam uji terkontrol paper ini, keuntungannya turun dari 2,58x pada satu stream menjadi 1,74x pada 32. Katalog BroadNet juga melaporkan metode lain, EAGLE3, memangkas 69% throughput pada 32 permintaan bersamaan, jadi metode drafting perlu diuji pada beban Anda yang sebenarnya.

Bisakah saya menjalankannya sendiri?

Bisa. BroadNet memublikasikan implementasinya di repositori vllm-uno, dengan container image, versi yang dipatok, dan catatan validasi untuk setiap rilis, serta sudah mengusulkannya ke vLLM sebagai pull request 55947.

Apakah BroadNet Inference memakai Uno untuk model API-nya?

BroadNet tidak menyatakan demikian. Katalognya mencantumkan drafter multi-token prediction (k=2) di produksi untuk Gemma 4 26B. Uno adalah hasil riset yang dipublikasikan BroadNet; tanyakan ke BroadNet jika Anda membutuhkannya di endpoint privat.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity