---
title: "Uno в vLLM: исследование BroadNet, DOI и результаты | BroadRouter"
description: "BroadNet встроила самодрафтовый адаптер Uno в vLLM и измерила его на H100: 2,58x пропускной способности на одном потоке, 1,74x на 32. Метод, DOI и ограничения."
url: https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (обновлён 2026-11-15).

# Uno в vLLM: что измерило исследование инференса BroadNet

Команда BroadNet Inference · 4 мин чтения · Опубликовано 2026-11-15

Uno in vLLM — препринт BroadNet от сентября 2026 года (DOI 10.5281/zenodo.22652610). Он добавляет в vLLM Uno — адаптер, с которым модель сама пишет черновик своих токенов. На H100 с Qwen3-8B BroadNet намерила 2,58x пропускной способности обычного vLLM на одном потоке, 2,20x на восьми и 1,74x на 32, в пределах 3% от эталонной реализации.

## Главное

-   Статья — препринт на Zenodo, DOI 10.5281/zenodo.22652610, опубликован 8 сентября 2026 года под CC BY 4.0. Рецензирование не проходил.
-   Uno — метод IFM; вклад BroadNet — нативная интеграция в vLLM и измерения в инференсе.
-   На контролируемой нагрузке с математическими задачами на H100 и Qwen3-8B: 2,58x обычного vLLM на 1 потоке, 2,20x на 8, 1,74x на 32.
-   С продакшен-настройками — 7657 токенов в секунду на 32 потоках против 7505 у эталонной реализации SGLang.
-   Прирост получен для одной модели, одной нагрузки и конкретных настроек. Прежде чем на него полагаться, измерьте на своём трафике.

**На этой странице**

1.  Какую задачу решает Uno?
2.  Что построила BroadNet?
3.  Как проводились измерения?
4.  Что показало исследование?
5.  Каковы ограничения?
6.  Почему это важно, если вы просто вызываете API?

Uno in vLLM — препринт исследовательского подразделения BroadNet, опубликованный на Zenodo 8 сентября 2026 года под DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610). В нём описана нативная реализация в vLLM метода спекулятивного декодирования Uno, разработанного IFM, и измерено, насколько быстрее она работает по сравнению с обычным vLLM. Автором в записи Zenodo указан Мохаммад Аль Зубайди (Mohammad Al Zubaidi).

На этой странице — что говорит статья, как проводились измерения и что они сообщают, а что нет. Числа — данные BroadNet; мы их не воспроизводили.

## Какую задачу решает Uno?

Языковая модель обычно генерирует один токен за прямой проход. Спекулятивное декодирование ускоряет это: оно угадывает несколько токенов вперёд и проверяет их за один проход полной модели. Большинство методов используют отдельную, меньшую черновую модель. Uno вместо этого подключает к самой модели обученный адаптер, так что модель сама пишет черновик своих токенов, а затем проверяет его исходными весами. Общая идея описана в статье глоссария [спекулятивное декодирование](https://broadrouter.com/ru/glossary/speculative-decoding/).

Вопрос статьи практический: сохраняется ли это ускорение внутри продакшен-движка инференса — с батчингом, кэшированием и множеством одновременных запросов?

## Что построила BroadNet?

Пост в блоге BroadNet чётко распределяет заслуги: метод — это «Uno, developed by IFM and collaborators» (перевод: «Uno, разработанный IFM и соавторами»), а вклад BroadNet — «the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation» (перевод: «нативная интеграция в vLLM, инженерная работа, благодаря которой его пути выполнения работают вместе, и оценка в инференсе»). Аннотация перечисляет составные части выполнения: условную маршрутизацию через адаптер, полное состояние key/value для черновика, асинхронное планирование, повторное воспроизведение CUDA graph, перекрытие вычислений адаптера и повторное использование seed-строк.

Код открыт в [репозитории vllm-uno](https://github.com/brntech/vllm-uno) BroadNet, и BroadNet предложила его в основной vLLM как pull request 55947.

## Как проводились измерения?

Основной тест — контролируемый:

-   **Оборудование и модель:** один NVIDIA H100, Qwen3-8B в bfloat16 с опубликованным адаптером Uno для Qwen3-8B.
-   **Нагрузка:** восемь математических промптов, повторяемых по кругу для заполнения больших батчей, каждый генерирует до 512 токенов, кэширование префиксов выключено.
-   **База сравнения:** обычный авторегрессионный vLLM («plain vLLM») на той же конфигурации.
-   **Параллельность:** 1, 8 и 32 одновременных потока.

Второе, отдельное сравнение включает кэширование префиксов и использует выбранные BroadNet настройки инференса, чтобы сравнить результат с эталонной реализацией в SGLang.

## Что показало исследование?

| Измерение | Результат по данным BroadNet |
| --- | --- |
| Пропускная способность относительно обычного vLLM, 1 поток | 2,58x |
| Пропускная способность относительно обычного vLLM, 8 потоков | 2,20x |
| Пропускная способность относительно обычного vLLM, 32 потока | 1,74x |
| Отставание от эталонной реализации в SGLang | в пределах 3% на 1, 8 и 32 потоках |
| Продакшен-настройки, 32 потока | 7657 токенов/с против 7505 у SGLang (на 2,0% больше) |
| Задержка первого токена на прогретой системе, абляция внутри vLLM | на 25% ниже с двумя процессами API вместо одного |

Главное для планирования мощностей — последняя строка первого блока: на 74% больше вывода в секунду при 32 параллельных потоках на том же GPU. Именно это блог BroadNet называет «the central payoff» (перевод: «главная отдача»), потому что ускорение, которое исчезает под нагрузкой, мало что даёт общему API.

Более поздний релиз (v0.2.0, на Model Runner V2 в vLLM) описан в блоге BroadNet с выводом на одном потоке в 2,1–2,4 раза больше на Blackwell, в 1,7–1,9 раза на Ampere и в 2,6 раза на Hopper. Это другое оборудование и другие версии, чем в основной таблице статьи, поэтому числа отличаются.

## Каковы ограничения?

-   **Одна модель, одна нагрузка.** Контролируемый результат — это Qwen3-8B на математических промптах. Код, чат или длинные документы могут давать меньше принятых токенов черновика.
-   **Прирост падает с нагрузкой.** Снижение с 2,58x до 1,74x — ожидаемая форма кривой: когда GPU занят, свободных вычислений для черновика не остаётся.
-   **Препринт.** Статья размещена на Zenodo и не прошла рецензирование. В сопутствующем архиве лежат перечень доказательств и данные для графиков — именно это позволяет другим её проверить.
-   **Собственные данные.** Оба варианта запускала BroadNet. Совпадение с эталонной реализацией в пределах 3% — собственная проверка статьи на этот счёт.

## Почему это важно, если вы просто вызываете API?

Пропускная способность одного GPU определяет, сколько провайдер может брать за запросы и как быстро он отвечает под нагрузкой. Каталог BroadNet сообщает, что она измеряет черновые методы при реальной параллельности, прежде чем выбрать один, и что отказалась от EAGLE3, после того как он отнял 69% пропускной способности при 32 параллельных запросах. [Продолжение исследования на Gemma 4 26B](https://broadrouter.com/ru/blog/uno-mixture-of-experts-gemma-4-study/) применяет тот же метод к модели mixture-of-experts, которую BroadNet продаёт как [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/). Как это вписывается в общие решения BroadNet по инференсу, читайте в статье [GPU и подход BroadNet к инференсу](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/).

Если вы держите собственные серверы vLLM, практический вывод такой: тестируйте любой черновой метод при той параллельности, с которой реально работаете, а не на одном потоке.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[vLLM](https://broadrouter.com/ru/glossary/vllm/)

vLLM — это библиотека с открытым кодом для инференса и сервинга LLM, изначально созданная в Sky Computing Lab Калифорнийского университета в Беркли. Она управляет памятью KV-кэша с помощью PagedAttention, непрерывно батчит входящие запросы, поддерживает многие форматы квантизации и предоставляет OpenAI-совместимый HTTP-сервер.

[Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/)

Спекулятивное декодирование — это техника инференса, при которой небольшая быстрая черновая модель предлагает несколько следующих токенов, а большая целевая модель проверяет их за один прямой проход и оставляет принятые. Генерация ускоряется, а распределение выходных токенов не меняется.

[Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/)

Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.

[Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/)

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

## Вопросы и ответы

### Что такое Uno?

Uno — метод спекулятивного декодирования, разработанный IFM и соавторами. Небольшой обученный адаптер позволяет модели предлагать сразу несколько токенов, а затем собственные веса модели их проверяют. Отдельной черновой модели нет.

### Ускорение действительно без потерь качества?

BroadNet утверждает это для своего релиза: когда обычный vLLM воспроизводит собственный вывод, Uno совпадает с его жадными токенами, а тесты на распределение при сэмплировании проходят. Спекулятивное декодирование проверяет каждый токен черновика полной моделью, так что качество вывода меняться не должно; проверьте это на своих промптах.

### Помогает ли Uno при высокой параллельности?

Меньше, чем при низкой. В контролируемом тесте статьи прирост упал с 2,58x на одном потоке до 1,74x на 32. Каталог BroadNet также сообщает, что другой метод, EAGLE3, отнимал 69% пропускной способности при 32 параллельных запросах, так что черновые методы нужно тестировать на вашей реальной нагрузке.

### Можно ли запустить его самому?

Да. BroadNet публикует реализацию в своём репозитории vllm-uno с образом контейнера, зафиксированными версиями и записью валидации для каждого релиза, а также предложила её в vLLM как pull request 55947.

### Использует ли BroadNet Inference Uno для моделей в своём API?

BroadNet этого не говорит. В её каталоге для Gemma 4 26B в продакшене указаны драфтеры с предсказанием нескольких токенов (k=2). Uno — исследовательский результат, который BroadNet публикует; если он нужен вам на приватном эндпоинте, спросите BroadNet.

## Читайте также

-   [Uno на Gemma 4 26B: исследование BroadNet по mixture-of-experts](https://broadrouter.com/ru/blog/uno-mixture-of-experts-gemma-4-study/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/)
-   [Какие модели BroadNet протестировала и отбраковала и почему](https://broadrouter.com/ru/blog/models-broadnet-ruled-out/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Ручная проверка в распознавании документов с помощью ИИ](https://broadrouter.com/ru/blog/document-review-queues/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Источники**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, препринт Zenodo v1.0, 2026-09-08 (запись получена 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: опубликованные статьи и ключевые результаты (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/research)
-   [Блог BroadNet, Bringing Uno to vLLM (8 сентября 2026; дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [Репозиторий vllm-uno, BroadNet (дата обращения 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, репозиторий проекта Uno (дата обращения 2026-11-15)](https://github.com/ifm-ai/uno)
