Uno in vLLM — препринт исследовательского подразделения BroadNet, опубликованный на Zenodo 8 сентября 2026 года под DOI 10.5281/zenodo.22652610. В нём описана нативная реализация в vLLM метода спекулятивного декодирования Uno, разработанного IFM, и измерено, насколько быстрее она работает по сравнению с обычным vLLM. Автором в записи Zenodo указан Мохаммад Аль Зубайди (Mohammad Al Zubaidi).
На этой странице — что говорит статья, как проводились измерения и что они сообщают, а что нет. Числа — данные BroadNet; мы их не воспроизводили.
Какую задачу решает Uno?
Языковая модель обычно генерирует один токен за прямой проход. Спекулятивное декодирование ускоряет это: оно угадывает несколько токенов вперёд и проверяет их за один проход полной модели. Большинство методов используют отдельную, меньшую черновую модель. Uno вместо этого подключает к самой модели обученный адаптер, так что модель сама пишет черновик своих токенов, а затем проверяет его исходными весами. Общая идея описана в статье глоссария спекулятивное декодирование.
Вопрос статьи практический: сохраняется ли это ускорение внутри продакшен-движка инференса — с батчингом, кэшированием и множеством одновременных запросов?
Что построила BroadNet?
Пост в блоге BroadNet чётко распределяет заслуги: метод — это «Uno, developed by IFM and collaborators» (перевод: «Uno, разработанный IFM и соавторами»), а вклад BroadNet — «the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation» (перевод: «нативная интеграция в vLLM, инженерная работа, благодаря которой его пути выполнения работают вместе, и оценка в инференсе»). Аннотация перечисляет составные части выполнения: условную маршрутизацию через адаптер, полное состояние key/value для черновика, асинхронное планирование, повторное воспроизведение CUDA graph, перекрытие вычислений адаптера и повторное использование seed-строк.
Код открыт в репозитории vllm-uno BroadNet, и BroadNet предложила его в основной vLLM как pull request 55947.
Как проводились измерения?
Основной тест — контролируемый:
- Оборудование и модель: один NVIDIA H100, Qwen3-8B в bfloat16 с опубликованным адаптером Uno для Qwen3-8B.
- Нагрузка: восемь математических промптов, повторяемых по кругу для заполнения больших батчей, каждый генерирует до 512 токенов, кэширование префиксов выключено.
- База сравнения: обычный авторегрессионный vLLM («plain vLLM») на той же конфигурации.
- Параллельность: 1, 8 и 32 одновременных потока.
Второе, отдельное сравнение включает кэширование префиксов и использует выбранные BroadNet настройки инференса, чтобы сравнить результат с эталонной реализацией в SGLang.
Что показало исследование?
| Измерение | Результат по данным BroadNet |
|---|---|
| Пропускная способность относительно обычного vLLM, 1 поток | 2,58x |
| Пропускная способность относительно обычного vLLM, 8 потоков | 2,20x |
| Пропускная способность относительно обычного vLLM, 32 потока | 1,74x |
| Отставание от эталонной реализации в SGLang | в пределах 3% на 1, 8 и 32 потоках |
| Продакшен-настройки, 32 потока | 7657 токенов/с против 7505 у SGLang (на 2,0% больше) |
| Задержка первого токена на прогретой системе, абляция внутри vLLM | на 25% ниже с двумя процессами API вместо одного |
Главное для планирования мощностей — последняя строка первого блока: на 74% больше вывода в секунду при 32 параллельных потоках на том же GPU. Именно это блог BroadNet называет «the central payoff» (перевод: «главная отдача»), потому что ускорение, которое исчезает под нагрузкой, мало что даёт общему API.
Более поздний релиз (v0.2.0, на Model Runner V2 в vLLM) описан в блоге BroadNet с выводом на одном потоке в 2,1–2,4 раза больше на Blackwell, в 1,7–1,9 раза на Ampere и в 2,6 раза на Hopper. Это другое оборудование и другие версии, чем в основной таблице статьи, поэтому числа отличаются.
Каковы ограничения?
- Одна модель, одна нагрузка. Контролируемый результат — это Qwen3-8B на математических промптах. Код, чат или длинные документы могут давать меньше принятых токенов черновика.
- Прирост падает с нагрузкой. Снижение с 2,58x до 1,74x — ожидаемая форма кривой: когда GPU занят, свободных вычислений для черновика не остаётся.
- Препринт. Статья размещена на Zenodo и не прошла рецензирование. В сопутствующем архиве лежат перечень доказательств и данные для графиков — именно это позволяет другим её проверить.
- Собственные данные. Оба варианта запускала BroadNet. Совпадение с эталонной реализацией в пределах 3% — собственная проверка статьи на этот счёт.
Почему это важно, если вы просто вызываете API?
Пропускная способность одного GPU определяет, сколько провайдер может брать за запросы и как быстро он отвечает под нагрузкой. Каталог BroadNet сообщает, что она измеряет черновые методы при реальной параллельности, прежде чем выбрать один, и что отказалась от EAGLE3, после того как он отнял 69% пропускной способности при 32 параллельных запросах. Продолжение исследования на Gemma 4 26B применяет тот же метод к модели mixture-of-experts, которую BroadNet продаёт как Gemma 4 VL 26B. Как это вписывается в общие решения BroadNet по инференсу, читайте в статье GPU и подход BroadNet к инференсу.
Если вы держите собственные серверы vLLM, практический вывод такой: тестируйте любой черновой метод при той параллельности, с которой реально работаете, а не на одном потоке.
