BroadRouter

Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet

Ng BroadNet Inference team · 4 minutong basa · Nailathala

Ang Uno in vLLM ay preprint ng BroadNet noong Setyembre 2026 (DOI 10.5281/zenodo.22652610). Idinaragdag nito sa vLLM ang Uno, isang adapter na nagpapa-draft sa model ng sarili nitong token. Sa H100 na may Qwen3-8B, sinukat ng BroadNet ang 2.58 beses ng throughput ng plain vLLM sa isang stream, 2.20 beses sa walo at 1.74 beses sa 32, na nasa loob ng 3% ng reference implementation.

Ang Uno in vLLM ay preprint mula sa research arm ng BroadNet, na inilathala sa Zenodo noong 8 Setyembre 2026 sa ilalim ng DOI 10.5281/zenodo.22652610. Iniuulat nito ang native na vLLM implementation ng Uno, isang speculative-decoding na paraan na binuo ng IFM, at sinusukat kung gaano ito kabilis mag-serve kumpara sa plain vLLM. Nakalista sa Zenodo record nito si Mohammad Al Zubaidi bilang may-akda.

Binubuod ng page na ito kung ano ang sinasabi ng paper, paano ito sinukat, at ano ang sinasabi at hindi sinasabi nito sa iyo. Sa BroadNet ang mga numero; hindi pa namin ito na-reproduce.

Anong problema ang tinutugunan ng Uno?

Karaniwang isang token kada forward pass ang ginagawa ng language model. Pinapabilis ito ng speculative decoding sa pamamagitan ng paghula ng ilang token nang maaga at pag-check sa mga ito sa isang pass ng buong model. Karamihan ng paraan ay gumagamit ng hiwalay at mas maliit na draft model. Sa halip, nagkakabit ang Uno ng sinanay na adapter sa mismong model, kaya ang model ang nagda-draft ng sarili nitong token at saka bine-verify ang mga ito gamit ang orihinal nitong weights. Tingnan ang speculative decoding para sa pangkalahatang ideya.

Praktikal ang tanong ng paper: nananatili ba ang speed-up na iyon sa loob ng isang production serving engine, na may batching, caching at maraming request nang sabay?

Ano ang binuo ng BroadNet?

Malinaw ang blog post ng BroadNet tungkol sa kredito: ang paraan ay “Uno, developed by IFM and collaborators” (salin: Uno, na binuo ng IFM at mga katuwang), at ang ambag ng BroadNet ay “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (salin: ang native na vLLM integration, ang engineering na nagpapagana nang magkakasama sa mga execution path nito, at ang serving evaluation). Inililista ng abstract ang mga bahagi ng execution: conditional adapter routing, kumpletong draft key/value state, asynchronous scheduling, CUDA graph replay, overlapping adapter computation at seed-row reuse.

Pampubliko ang code sa vllm-uno repository ng BroadNet, at iminungkahi na ito ng BroadNet sa upstream ng vLLM bilang pull request 55947.

Paano ito sinukat?

Kontrolado ang pangunahing test:

  • Hardware at model: isang NVIDIA H100, Qwen3-8B sa bfloat16, kasama ang inilathalang Qwen3-8B Uno adapter.
  • Workload: walong math prompt, inuulit-ulit para punuin ang mas malalaking batch, bawat isa ay nagge-generate ng hanggang 512 token, na naka-off ang prefix caching.
  • Baseline: ordinaryong autoregressive na vLLM (“plain vLLM”) sa parehong setup.
  • Concurrency: 1, 8 at 32 sabay-sabay na stream.

Ang ikalawa at hiwalay na paghahambing ay nag-o-on ng prefix caching at gumagamit ng mga piniling serving setting ng BroadNet, para ikumpara sa SGLang reference implementation.

Ano ang natuklasan ng pag-aaral?

Sukat Resultang iniulat ng BroadNet
Throughput vs plain vLLM, 1 stream 2.58x
Throughput vs plain vLLM, 8 stream 2.20x
Throughput vs plain vLLM, 32 stream 1.74x
Agwat sa SGLang reference implementation nasa loob ng 3% sa 1, 8 at 32 stream
Production settings, 32 stream 7,657 token/s, laban sa 7,505 ng SGLang (2.0% na lamang)
Warm first-token latency, ablation sa loob ng vLLM 25% na mas mababa gamit ang dalawang API process sa halip na isa

Ang pinakamahalaga para sa capacity planning ay ang huling row ng unang bahagi: 74% na mas maraming output kada segundo sa 32 sabay na stream, mula sa parehong GPU. Iyan ang tinatawag ng blog ng BroadNet na “the central payoff” (salin: ang pangunahing pakinabang), dahil kakaunti ang naitutulong sa shared na API ng speed-up na nawawala kapag may load.

Inilalarawan sa blog ng BroadNet ang isang mas bagong release (v0.2.0, sa Model Runner V2 ng vLLM) na may 2.1 hanggang 2.4 beses na single-stream output sa Blackwell, 1.7 hanggang 1.9 beses sa Ampere at 2.6 beses sa Hopper. Iba ang hardware at mga bersyon ng mga iyon kaysa sa pangunahing table ng paper, kaya magkakaiba ang mga numero.

Ano ang mga limitasyon?

  • Isang model, isang workload. Qwen3-8B sa mga math prompt ang kontroladong resulta. Puwedeng mas kaunting na-draft na token ang matanggap sa code, chat o mahahabang dokumento.
  • Lumiliit ang pagtaas kapag may load. Inaasahang hugis ang trend mula 2.58x papuntang 1.74x: kapag abala ang GPU, nauubos ang ekstrang compute para sa drafting.
  • Isang preprint. Naka-deposit sa Zenodo ang paper, hindi pa peer-reviewed. Nasa companion archive nito ang evidence inventory at ang data ng mga figure, na nagbibigay-daan sa iba na suriin ito.
  • Sariling ulat. Ang BroadNet ang nagpatakbo ng dalawang arm. Ang 3% na pagkakatugma sa reference implementation ang sariling check ng paper diyan.

Bakit ito mahalaga kung tumatawag ka lang sa API?

Ang throughput kada GPU ang nagtatakda kung magkano ang kayang singilin ng provider at gaano kabilis itong sumagot kapag may load. Iniulat ng catalogue ng BroadNet na sinusukat nito ang mga drafting method sa totoong concurrency bago pumili, at hindi nito ginamit ang EAGLE3 matapos itong magpabawas ng 69% ng throughput sa 32 sabay na request. Inilalapat ng kasunod na pag-aaral sa Gemma 4 26B ang parehong paraan sa mixture-of-experts model na ibinebenta ng BroadNet bilang Gemma 4 VL 26B. Para sa kung paano ito umaangkop sa mas malawak na mga desisyon ng BroadNet sa serving, tingnan ang GPU hardware at serving approach ng BroadNet.

Kung nagpapatakbo ka ng sarili mong vLLM server, ang praktikal na aral ay i-benchmark ang anumang drafting method sa concurrency na talagang pinapatakbo mo, hindi sa isang stream.

Mga tanong

Ano ang Uno?

Ang Uno ay speculative-decoding na paraan na binuo ng IFM at mga katuwang nito. Hinahayaan ng maliit na sinanay na adapter ang model na magmungkahi ng ilang token nang sabay, at saka bine-verify ng sariling weights ng model ang mga ito. Walang hiwalay na draft model.

Lossless ba ang speed-up?

Iyan ang sinasabi ng BroadNet para sa release nito: tuwing nauulit ng plain vLLM ang sarili nitong output, tumutugma ang Uno sa greedy token nito, at pumapasa ang mga sampled-distribution test nito. Bine-verify ng speculative decoding ang bawat na-draft na token gamit ang buong model, kaya hindi dapat magbago ang kalidad ng output; suriin ito sa sarili mong mga prompt.

Nakakatulong ba ang Uno sa mataas na concurrency?

Mas kaunti kaysa sa mababang concurrency. Sa kontroladong test ng paper, bumaba ang pagtaas mula 2.58x sa isang stream papuntang 1.74x sa 32. Iniulat din ng catalogue ng BroadNet na ang isa pang paraan, ang EAGLE3, ay nagpabawas ng 69% ng throughput sa 32 sabay na request, kaya kailangang subukan ang mga drafting method sa totoong load mo.

Puwede ko ba itong patakbuhin mismo?

Oo. Inilalathala ng BroadNet ang implementation sa vllm-uno repository nito, na may container image, naka-pin na mga bersyon at validation record para sa bawat release, at iminungkahi na nito ito sa vLLM bilang pull request 55947.

Ginagamit ba ng BroadNet Inference ang Uno para sa mga API model nito?

Hindi iyon sinasabi ng BroadNet. Naglilista ang catalogue nito ng mga multi-token-prediction drafter (k=2) sa production para sa Gemma 4 26B. Research result na inilalathala ng BroadNet ang Uno; magtanong sa BroadNet kung kailangan mo ito sa isang private endpoint.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity