BroadRouter

Uno dalam vLLM: apa yang diukur oleh kajian penyajian BroadNet

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan

Uno in vLLM ialah pracetak BroadNet September 2026 (DOI 10.5281/zenodo.22652610). Ia menambah Uno, penyesuai yang membolehkan model mendraf tokennya sendiri, ke dalam vLLM. Pada H100 dengan Qwen3-8B, BroadNet mengukur 2.58 kali daya pemprosesan vLLM biasa pada satu strim, 2.20 kali pada lapan dan 1.74 kali pada 32, dalam lingkungan 3% daripada pelaksanaan rujukan.

Uno in vLLM ialah pracetak daripada cabang penyelidikan BroadNet, diterbitkan di Zenodo pada 8 September 2026 di bawah DOI 10.5281/zenodo.22652610. Ia melaporkan pelaksanaan vLLM asli bagi Uno, kaedah speculative decoding yang dibangunkan oleh IFM, dan mengukur sejauh mana lebih pantas ia menyajikan berbanding vLLM biasa. Rekod Zenodonya menyenaraikan Mohammad Al Zubaidi sebagai pengarang.

Halaman ini meringkaskan apa yang dikatakan kertas itu, bagaimana ia diukur, dan apa yang ia beritahu dan tidak beritahu anda. Angka itu angka BroadNet; kami belum menghasilkannya semula.

Apakah masalah yang ditangani Uno?

Model bahasa biasanya menjana satu token bagi setiap laluan hadapan. Speculative decoding mempercepatkannya dengan meneka beberapa token ke hadapan dan menyemaknya dalam satu laluan model penuh. Kebanyakan kaedah menggunakan model draf berasingan yang lebih kecil. Uno pula melampirkan penyesuai terlatih pada model itu sendiri, jadi model mendraf tokennya sendiri dan kemudian mengesahkannya dengan pemberat asalnya. Lihat speculative decoding untuk idea umumnya.

Soalan kertas itu praktikal: adakah peningkatan kelajuan itu bertahan dalam enjin penyajian pengeluaran, dengan pengelompokan, cache dan banyak permintaan serentak?

Apakah yang dibina BroadNet?

Catatan blog BroadNet jelas tentang penghargaan: kaedahnya ialah “Uno, developed by IFM and collaborators” (Terjemahan: Uno, dibangunkan oleh IFM dan rakan kolaborasi), dan sumbangan BroadNet ialah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan: integrasi vLLM asli, kejuruteraan yang membolehkan laluan pelaksanaannya berfungsi bersama, dan penilaian penyajian). Abstrak menyenaraikan bahagian pelaksanaan: penghalaan penyesuai bersyarat, keadaan key/value draf yang lengkap, penjadualan tak segerak, main semula graf CUDA, pengiraan penyesuai bertindih dan penggunaan semula baris benih.

Kodnya terbuka dalam repositori vllm-uno BroadNet, dan BroadNet telah mencadangkannya kepada vLLM upstream sebagai pull request 55947.

Bagaimanakah ia diukur?

Ujian utama adalah terkawal:

  • Perkakasan dan model: satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan penyesuai Uno Qwen3-8B yang diterbitkan.
  • Beban kerja: lapan prompt matematik, diulang untuk mengisi kelompok yang lebih besar, setiap satu menjana sehingga 512 token, dengan prefix caching dimatikan.
  • Garis dasar: vLLM autoregresif biasa (“vLLM biasa”) pada persediaan yang sama.
  • Keserentakan: 1, 8 dan 32 strim serentak.

Perbandingan kedua yang berasingan menghidupkan prefix caching dan menggunakan tetapan penyajian pilihan BroadNet, untuk dibandingkan dengan pelaksanaan rujukan SGLang.

Apakah dapatan kajian itu?

Ukuran Keputusan yang dilaporkan BroadNet
Daya pemprosesan vs vLLM biasa, 1 strim 2.58x
Daya pemprosesan vs vLLM biasa, 8 strim 2.20x
Daya pemprosesan vs vLLM biasa, 32 strim 1.74x
Jurang dengan pelaksanaan rujukan SGLang dalam lingkungan 3% pada 1, 8 dan 32 strim
Tetapan pengeluaran, 32 strim 7,657 token/s, berbanding 7,505 bagi SGLang (2.0% di hadapan)
Kependaman token pertama (warm), ablasi dalam vLLM 25% lebih rendah dengan dua proses API dan bukannya satu

Yang paling penting untuk perancangan kapasiti ialah baris terakhir blok pertama: 74% lebih banyak output sesaat pada 32 strim serentak, daripada GPU yang sama. Itulah yang disebut blog BroadNet sebagai “the central payoff” (Terjemahan: pulangan utama), kerana peningkatan kelajuan yang hilang di bawah beban tidak banyak membantu API yang dikongsi.

Keluaran kemudian (v0.2.0, pada Model Runner V2 vLLM) diterangkan di blog BroadNet dengan output satu strim 2.1 hingga 2.4 kali pada Blackwell, 1.7 hingga 1.9 kali pada Ampere dan 2.6 kali pada Hopper. Itu perkakasan dan versi yang berbeza daripada jadual utama kertas, sebab itu angkanya berbeza.

Apakah hadnya?

  • Satu model, satu beban kerja. Keputusan terkawal ialah Qwen3-8B pada prompt matematik. Kod, chat atau dokumen panjang mungkin menerima lebih sedikit token yang didraf.
  • Peningkatan mengecil dengan beban. Trend daripada 2.58x kepada 1.74x ialah bentuk yang dijangka: apabila GPU sibuk, pengiraan lebihan untuk mendraf habis.
  • Pracetak. Kertas itu didepositkan di Zenodo, belum disemak rakan sebaya. Arkib pengiringnya menyimpan inventori bukti dan data rajah, yang membolehkan orang lain menyemaknya.
  • Dilaporkan sendiri. BroadNet menjalankan kedua-dua lengan. Persetujuan 3% dengan pelaksanaan rujukan ialah semakan kertas itu sendiri terhadap perkara itu.

Mengapakah ia penting jika anda hanya memanggil API?

Daya pemprosesan setiap GPU menentukan berapa yang boleh dicaj penyedia dan sepantas mana ia menjawab di bawah beban. Katalog BroadNet melaporkan ia mengukur kaedah mendraf pada keserentakan sebenar sebelum memilih satu, dan ia menolak EAGLE3 selepas kaedah itu mengurangkan 69% daya pemprosesan pada 32 permintaan serentak. Kajian susulan pada Gemma 4 26B menggunakan kaedah yang sama pada model mixture-of-experts yang dijual BroadNet sebagai Gemma 4 VL 26B. Untuk bagaimana ini sesuai dengan pilihan penyajian BroadNet yang lebih luas, lihat perkakasan GPU dan pendekatan penyajian BroadNet.

Jika anda menjalankan pelayan vLLM sendiri, pengajaran praktikalnya ialah menanda aras sebarang kaedah mendraf pada keserentakan yang benar-benar anda jalankan, bukan pada satu strim.

Soalan lazim

Apakah itu Uno?

Uno ialah kaedah speculative decoding yang dibangunkan oleh IFM dan rakan kolaborasi. Penyesuai kecil yang dilatih membolehkan model mencadangkan beberapa token serentak, dan pemberat model itu sendiri kemudian mengesahkannya. Tiada model draf berasingan.

Adakah peningkatan kelajuan itu tanpa kehilangan?

BroadNet menyatakan begitu untuk keluarannya: setiap kali vLLM biasa menghasilkan semula outputnya sendiri, Uno sepadan dengan token greedynya, dan ujian taburan bersampelnya lulus. Speculative decoding mengesahkan setiap token yang didraf dengan model penuh, jadi kualiti output tidak sepatutnya berubah; semak ini pada prompt anda sendiri.

Adakah Uno membantu pada keserentakan tinggi?

Kurang berbanding pada keserentakan rendah. Dalam ujian terkawal kertas itu, peningkatan jatuh daripada 2.58x pada satu strim kepada 1.74x pada 32. Katalog BroadNet juga melaporkan kaedah lain, EAGLE3, mengurangkan 69% daya pemprosesan pada 32 permintaan serentak, jadi kaedah mendraf perlu diuji pada beban sebenar anda.

Bolehkah saya menjalankannya sendiri?

Ya. BroadNet menerbitkan pelaksanaannya dalam repositori vllm-uno, dengan imej bekas, versi yang dipin dan rekod pengesahan bagi setiap keluaran, dan telah mencadangkannya kepada vLLM sebagai pull request 55947.

Adakah BroadNet Inference menggunakan Uno untuk model APInya?

BroadNet tidak menyatakan begitu. Katalognya menyenaraikan pendraf multi-token-prediction (k=2) dalam pengeluaran untuk Gemma 4 26B. Uno ialah hasil penyelidikan yang diterbitkan BroadNet; tanya BroadNet jika anda memerlukannya pada endpoint persendirian.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity