---
title: "Uno dalam vLLM: kajian penyajian BroadNet, DOI, keputusan"
description: "BroadNet membina penyesuai Uno self-drafting dalam vLLM dan mengukurnya pada H100: 2.58x daya pemprosesan biasa pada satu strim, 1.74x pada 32. Kaedah, DOI dan had."
url: https://broadrouter.com/ms/blog/uno-in-vllm-serving-study/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (dikemas kini 2026-11-15).

# Uno dalam vLLM: apa yang diukur oleh kajian penyajian BroadNet

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-15

Uno in vLLM ialah pracetak BroadNet September 2026 (DOI 10.5281/zenodo.22652610). Ia menambah Uno, penyesuai yang membolehkan model mendraf tokennya sendiri, ke dalam vLLM. Pada H100 dengan Qwen3-8B, BroadNet mengukur 2.58 kali daya pemprosesan vLLM biasa pada satu strim, 2.20 kali pada lapan dan 1.74 kali pada 32, dalam lingkungan 3% daripada pelaksanaan rujukan.

## Perkara utama

-   Kertas itu pracetak di Zenodo, DOI 10.5281/zenodo.22652610, diterbitkan 8 September 2026 di bawah CC BY 4.0. Ia belum disemak rakan sebaya.
-   Uno ialah kaedah IFM; sumbangan BroadNet ialah integrasi vLLM asli dan ukuran penyajian.
-   Pada beban kerja matematik terkawal dengan H100 dan Qwen3-8B: 2.58x vLLM biasa pada 1 strim, 2.20x pada 8, 1.74x pada 32.
-   Dengan tetapan pengeluaran, 7,657 token sesaat pada 32 strim, berbanding 7,505 bagi rujukan SGLang.
-   Peningkatan itu untuk satu model, satu beban kerja dan tetapan tertentu. Ukur pada trafik anda sendiri sebelum bergantung padanya.

**Dalam halaman ini**

1.  Apakah masalah yang ditangani Uno?
2.  Apakah yang dibina BroadNet?
3.  Bagaimanakah ia diukur?
4.  Apakah dapatan kajian itu?
5.  Apakah hadnya?
6.  Mengapakah ia penting jika anda hanya memanggil API?

Uno in vLLM ialah pracetak daripada cabang penyelidikan BroadNet, diterbitkan di Zenodo pada 8 September 2026 di bawah DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). Ia melaporkan pelaksanaan vLLM asli bagi Uno, kaedah speculative decoding yang dibangunkan oleh IFM, dan mengukur sejauh mana lebih pantas ia menyajikan berbanding vLLM biasa. Rekod Zenodonya menyenaraikan Mohammad Al Zubaidi sebagai pengarang.

Halaman ini meringkaskan apa yang dikatakan kertas itu, bagaimana ia diukur, dan apa yang ia beritahu dan tidak beritahu anda. Angka itu angka BroadNet; kami belum menghasilkannya semula.

## Apakah masalah yang ditangani Uno?

Model bahasa biasanya menjana satu token bagi setiap laluan hadapan. Speculative decoding mempercepatkannya dengan meneka beberapa token ke hadapan dan menyemaknya dalam satu laluan model penuh. Kebanyakan kaedah menggunakan model draf berasingan yang lebih kecil. Uno pula melampirkan penyesuai terlatih pada model itu sendiri, jadi model mendraf tokennya sendiri dan kemudian mengesahkannya dengan pemberat asalnya. Lihat [speculative decoding](https://broadrouter.com/ms/glossary/speculative-decoding/) untuk idea umumnya.

Soalan kertas itu praktikal: adakah peningkatan kelajuan itu bertahan dalam enjin penyajian pengeluaran, dengan pengelompokan, cache dan banyak permintaan serentak?

## Apakah yang dibina BroadNet?

Catatan blog BroadNet jelas tentang penghargaan: kaedahnya ialah “Uno, developed by IFM and collaborators” (Terjemahan: Uno, dibangunkan oleh IFM dan rakan kolaborasi), dan sumbangan BroadNet ialah “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (Terjemahan: integrasi vLLM asli, kejuruteraan yang membolehkan laluan pelaksanaannya berfungsi bersama, dan penilaian penyajian). Abstrak menyenaraikan bahagian pelaksanaan: penghalaan penyesuai bersyarat, keadaan key/value draf yang lengkap, penjadualan tak segerak, main semula graf CUDA, pengiraan penyesuai bertindih dan penggunaan semula baris benih.

Kodnya terbuka dalam [repositori vllm-uno](https://github.com/brntech/vllm-uno) BroadNet, dan BroadNet telah mencadangkannya kepada vLLM upstream sebagai pull request 55947.

## Bagaimanakah ia diukur?

Ujian utama adalah terkawal:

-   **Perkakasan dan model:** satu NVIDIA H100, Qwen3-8B dalam bfloat16, dengan penyesuai Uno Qwen3-8B yang diterbitkan.
-   **Beban kerja:** lapan prompt matematik, diulang untuk mengisi kelompok yang lebih besar, setiap satu menjana sehingga 512 token, dengan prefix caching dimatikan.
-   **Garis dasar:** vLLM autoregresif biasa (“vLLM biasa”) pada persediaan yang sama.
-   **Keserentakan:** 1, 8 dan 32 strim serentak.

Perbandingan kedua yang berasingan menghidupkan prefix caching dan menggunakan tetapan penyajian pilihan BroadNet, untuk dibandingkan dengan pelaksanaan rujukan SGLang.

## Apakah dapatan kajian itu?

| Ukuran | Keputusan yang dilaporkan BroadNet |
| --- | --- |
| Daya pemprosesan vs vLLM biasa, 1 strim | 2.58x |
| Daya pemprosesan vs vLLM biasa, 8 strim | 2.20x |
| Daya pemprosesan vs vLLM biasa, 32 strim | 1.74x |
| Jurang dengan pelaksanaan rujukan SGLang | dalam lingkungan 3% pada 1, 8 dan 32 strim |
| Tetapan pengeluaran, 32 strim | 7,657 token/s, berbanding 7,505 bagi SGLang (2.0% di hadapan) |
| Kependaman token pertama (warm), ablasi dalam vLLM | 25% lebih rendah dengan dua proses API dan bukannya satu |

Yang paling penting untuk perancangan kapasiti ialah baris terakhir blok pertama: 74% lebih banyak output sesaat pada 32 strim serentak, daripada GPU yang sama. Itulah yang disebut blog BroadNet sebagai “the central payoff” (Terjemahan: pulangan utama), kerana peningkatan kelajuan yang hilang di bawah beban tidak banyak membantu API yang dikongsi.

Keluaran kemudian (v0.2.0, pada Model Runner V2 vLLM) diterangkan di blog BroadNet dengan output satu strim 2.1 hingga 2.4 kali pada Blackwell, 1.7 hingga 1.9 kali pada Ampere dan 2.6 kali pada Hopper. Itu perkakasan dan versi yang berbeza daripada jadual utama kertas, sebab itu angkanya berbeza.

## Apakah hadnya?

-   **Satu model, satu beban kerja.** Keputusan terkawal ialah Qwen3-8B pada prompt matematik. Kod, chat atau dokumen panjang mungkin menerima lebih sedikit token yang didraf.
-   **Peningkatan mengecil dengan beban.** Trend daripada 2.58x kepada 1.74x ialah bentuk yang dijangka: apabila GPU sibuk, pengiraan lebihan untuk mendraf habis.
-   **Pracetak.** Kertas itu didepositkan di Zenodo, belum disemak rakan sebaya. Arkib pengiringnya menyimpan inventori bukti dan data rajah, yang membolehkan orang lain menyemaknya.
-   **Dilaporkan sendiri.** BroadNet menjalankan kedua-dua lengan. Persetujuan 3% dengan pelaksanaan rujukan ialah semakan kertas itu sendiri terhadap perkara itu.

## Mengapakah ia penting jika anda hanya memanggil API?

Daya pemprosesan setiap GPU menentukan berapa yang boleh dicaj penyedia dan sepantas mana ia menjawab di bawah beban. Katalog BroadNet melaporkan ia mengukur kaedah mendraf pada keserentakan sebenar sebelum memilih satu, dan ia menolak EAGLE3 selepas kaedah itu mengurangkan 69% daya pemprosesan pada 32 permintaan serentak. [Kajian susulan pada Gemma 4 26B](https://broadrouter.com/ms/blog/uno-mixture-of-experts-gemma-4-study/) menggunakan kaedah yang sama pada model mixture-of-experts yang dijual BroadNet sebagai [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/). Untuk bagaimana ini sesuai dengan pilihan penyajian BroadNet yang lebih luas, lihat [perkakasan GPU dan pendekatan penyajian BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/).

Jika anda menjalankan pelayan vLLM sendiri, pengajaran praktikalnya ialah menanda aras sebarang kaedah mendraf pada keserentakan yang benar-benar anda jalankan, bukan pada satu strim.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[vLLM](https://broadrouter.com/ms/glossary/vllm/)

vLLM ialah pustaka sumber terbuka untuk inferens dan penyajian LLM, yang mula-mula dibangunkan di Sky Computing Lab, UC Berkeley. Ia mengurus memori KV cache dengan PagedAttention, mengumpulkan permintaan masuk secara berterusan, menyokong banyak format kuantisasi dan menyediakan pelayan HTTP yang serasi OpenAI.

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/)

Daya pemprosesan (throughput), dalam penyajian LLM, ialah jumlah kerja yang disiapkan sistem bagi setiap unit masa merentas semua permintaan serentak, biasanya diukur sebagai token output sesaat atau permintaan sesaat. Ia berbeza daripada kelajuan setiap strim, iaitu sepantas mana satu permintaan menerima tokennya.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Speculative decoding (penyahkodan spekulatif)](https://broadrouter.com/ms/glossary/speculative-decoding/)

Speculative decoding ialah teknik inferens di mana model draf yang kecil dan pantas mencadangkan beberapa token seterusnya, dan model sasaran yang besar mengesahkannya dalam satu forward pass, lalu mengekalkan token yang diterima. Ia mempercepat penjanaan tanpa mengubah taburan output.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/)

Masa ke token pertama (TTFT) ialah masa dari penghantaran permintaan kepada model bahasa sehingga token output pertama tiba. Ia termasuk masa rangkaian, giliran menunggu di pelayan dan prefill, iaitu langkah model membaca seluruh prompt, jadi ia meningkat dengan panjang prompt dan beban.

## Soalan lazim

### Apakah itu Uno?

Uno ialah kaedah speculative decoding yang dibangunkan oleh IFM dan rakan kolaborasi. Penyesuai kecil yang dilatih membolehkan model mencadangkan beberapa token serentak, dan pemberat model itu sendiri kemudian mengesahkannya. Tiada model draf berasingan.

### Adakah peningkatan kelajuan itu tanpa kehilangan?

BroadNet menyatakan begitu untuk keluarannya: setiap kali vLLM biasa menghasilkan semula outputnya sendiri, Uno sepadan dengan token greedynya, dan ujian taburan bersampelnya lulus. Speculative decoding mengesahkan setiap token yang didraf dengan model penuh, jadi kualiti output tidak sepatutnya berubah; semak ini pada prompt anda sendiri.

### Adakah Uno membantu pada keserentakan tinggi?

Kurang berbanding pada keserentakan rendah. Dalam ujian terkawal kertas itu, peningkatan jatuh daripada 2.58x pada satu strim kepada 1.74x pada 32. Katalog BroadNet juga melaporkan kaedah lain, EAGLE3, mengurangkan 69% daya pemprosesan pada 32 permintaan serentak, jadi kaedah mendraf perlu diuji pada beban sebenar anda.

### Bolehkah saya menjalankannya sendiri?

Ya. BroadNet menerbitkan pelaksanaannya dalam repositori vllm-uno, dengan imej bekas, versi yang dipin dan rekod pengesahan bagi setiap keluaran, dan telah mencadangkannya kepada vLLM sebagai pull request 55947.

### Adakah BroadNet Inference menggunakan Uno untuk model APInya?

BroadNet tidak menyatakan begitu. Katalognya menyenaraikan pendraf multi-token-prediction (k=2) dalam pengeluaran untuk Gemma 4 26B. Uno ialah hasil penyelidikan yang diterbitkan BroadNet; tanya BroadNet jika anda memerlukannya pada endpoint persendirian.

## Teruskan membaca

-   [Uno pada Gemma 4 26B: kajian mixture-of-experts BroadNet](https://broadrouter.com/ms/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/)
-   [Model yang dinilai dan ditolak oleh BroadNet, dan sebabnya](https://broadrouter.com/ms/blog/models-broadnet-ruled-out/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Jadikan semakan manusia sebahagian aliran kerja AI dokumen anda](https://broadrouter.com/ms/blog/document-review-queues/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, pracetak Zenodo v1.0, 2026-09-08 (rekod diambil 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: kertas yang diterbitkan dan dapatan utama (diambil 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/research)
-   [Blog BroadNet, Bringing Uno to vLLM (8 September 2026; diambil 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Repositori vllm-uno, BroadNet (diambil 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, repositori projek Uno (diambil 2026-11-15)](https://github.com/ifm-ai/uno)
