BroadRouter

Uno в vLLM: что измерило исследование инференса BroadNet

Команда BroadNet Inference · 4 мин чтения · Опубликовано

Uno in vLLM — препринт BroadNet от сентября 2026 года (DOI 10.5281/zenodo.22652610). Он добавляет в vLLM Uno — адаптер, с которым модель сама пишет черновик своих токенов. На H100 с Qwen3-8B BroadNet намерила 2,58x пропускной способности обычного vLLM на одном потоке, 2,20x на восьми и 1,74x на 32, в пределах 3% от эталонной реализации.

Uno in vLLM — препринт исследовательского подразделения BroadNet, опубликованный на Zenodo 8 сентября 2026 года под DOI 10.5281/zenodo.22652610. В нём описана нативная реализация в vLLM метода спекулятивного декодирования Uno, разработанного IFM, и измерено, насколько быстрее она работает по сравнению с обычным vLLM. Автором в записи Zenodo указан Мохаммад Аль Зубайди (Mohammad Al Zubaidi).

На этой странице — что говорит статья, как проводились измерения и что они сообщают, а что нет. Числа — данные BroadNet; мы их не воспроизводили.

Какую задачу решает Uno?

Языковая модель обычно генерирует один токен за прямой проход. Спекулятивное декодирование ускоряет это: оно угадывает несколько токенов вперёд и проверяет их за один проход полной модели. Большинство методов используют отдельную, меньшую черновую модель. Uno вместо этого подключает к самой модели обученный адаптер, так что модель сама пишет черновик своих токенов, а затем проверяет его исходными весами. Общая идея описана в статье глоссария спекулятивное декодирование.

Вопрос статьи практический: сохраняется ли это ускорение внутри продакшен-движка инференса — с батчингом, кэшированием и множеством одновременных запросов?

Что построила BroadNet?

Пост в блоге BroadNet чётко распределяет заслуги: метод — это «Uno, developed by IFM and collaborators» (перевод: «Uno, разработанный IFM и соавторами»), а вклад BroadNet — «the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation» (перевод: «нативная интеграция в vLLM, инженерная работа, благодаря которой его пути выполнения работают вместе, и оценка в инференсе»). Аннотация перечисляет составные части выполнения: условную маршрутизацию через адаптер, полное состояние key/value для черновика, асинхронное планирование, повторное воспроизведение CUDA graph, перекрытие вычислений адаптера и повторное использование seed-строк.

Код открыт в репозитории vllm-uno BroadNet, и BroadNet предложила его в основной vLLM как pull request 55947.

Как проводились измерения?

Основной тест — контролируемый:

  • Оборудование и модель: один NVIDIA H100, Qwen3-8B в bfloat16 с опубликованным адаптером Uno для Qwen3-8B.
  • Нагрузка: восемь математических промптов, повторяемых по кругу для заполнения больших батчей, каждый генерирует до 512 токенов, кэширование префиксов выключено.
  • База сравнения: обычный авторегрессионный vLLM («plain vLLM») на той же конфигурации.
  • Параллельность: 1, 8 и 32 одновременных потока.

Второе, отдельное сравнение включает кэширование префиксов и использует выбранные BroadNet настройки инференса, чтобы сравнить результат с эталонной реализацией в SGLang.

Что показало исследование?

Измерение Результат по данным BroadNet
Пропускная способность относительно обычного vLLM, 1 поток 2,58x
Пропускная способность относительно обычного vLLM, 8 потоков 2,20x
Пропускная способность относительно обычного vLLM, 32 потока 1,74x
Отставание от эталонной реализации в SGLang в пределах 3% на 1, 8 и 32 потоках
Продакшен-настройки, 32 потока 7657 токенов/с против 7505 у SGLang (на 2,0% больше)
Задержка первого токена на прогретой системе, абляция внутри vLLM на 25% ниже с двумя процессами API вместо одного

Главное для планирования мощностей — последняя строка первого блока: на 74% больше вывода в секунду при 32 параллельных потоках на том же GPU. Именно это блог BroadNet называет «the central payoff» (перевод: «главная отдача»), потому что ускорение, которое исчезает под нагрузкой, мало что даёт общему API.

Более поздний релиз (v0.2.0, на Model Runner V2 в vLLM) описан в блоге BroadNet с выводом на одном потоке в 2,1–2,4 раза больше на Blackwell, в 1,7–1,9 раза на Ampere и в 2,6 раза на Hopper. Это другое оборудование и другие версии, чем в основной таблице статьи, поэтому числа отличаются.

Каковы ограничения?

  • Одна модель, одна нагрузка. Контролируемый результат — это Qwen3-8B на математических промптах. Код, чат или длинные документы могут давать меньше принятых токенов черновика.
  • Прирост падает с нагрузкой. Снижение с 2,58x до 1,74x — ожидаемая форма кривой: когда GPU занят, свободных вычислений для черновика не остаётся.
  • Препринт. Статья размещена на Zenodo и не прошла рецензирование. В сопутствующем архиве лежат перечень доказательств и данные для графиков — именно это позволяет другим её проверить.
  • Собственные данные. Оба варианта запускала BroadNet. Совпадение с эталонной реализацией в пределах 3% — собственная проверка статьи на этот счёт.

Почему это важно, если вы просто вызываете API?

Пропускная способность одного GPU определяет, сколько провайдер может брать за запросы и как быстро он отвечает под нагрузкой. Каталог BroadNet сообщает, что она измеряет черновые методы при реальной параллельности, прежде чем выбрать один, и что отказалась от EAGLE3, после того как он отнял 69% пропускной способности при 32 параллельных запросах. Продолжение исследования на Gemma 4 26B применяет тот же метод к модели mixture-of-experts, которую BroadNet продаёт как Gemma 4 VL 26B. Как это вписывается в общие решения BroadNet по инференсу, читайте в статье GPU и подход BroadNet к инференсу.

Если вы держите собственные серверы vLLM, практический вывод такой: тестируйте любой черновой метод при той параллельности, с которой реально работаете, а не на одном потоке.

Вопросы и ответы

Что такое Uno?

Uno — метод спекулятивного декодирования, разработанный IFM и соавторами. Небольшой обученный адаптер позволяет модели предлагать сразу несколько токенов, а затем собственные веса модели их проверяют. Отдельной черновой модели нет.

Ускорение действительно без потерь качества?

BroadNet утверждает это для своего релиза: когда обычный vLLM воспроизводит собственный вывод, Uno совпадает с его жадными токенами, а тесты на распределение при сэмплировании проходят. Спекулятивное декодирование проверяет каждый токен черновика полной моделью, так что качество вывода меняться не должно; проверьте это на своих промптах.

Помогает ли Uno при высокой параллельности?

Меньше, чем при низкой. В контролируемом тесте статьи прирост упал с 2,58x на одном потоке до 1,74x на 32. Каталог BroadNet также сообщает, что другой метод, EAGLE3, отнимал 69% пропускной способности при 32 параллельных запросах, так что черновые методы нужно тестировать на вашей реальной нагрузке.

Можно ли запустить его самому?

Да. BroadNet публикует реализацию в своём репозитории vllm-uno с образом контейнера, зафиксированными версиями и записью валидации для каждого релиза, а также предложила её в vLLM как pull request 55947.

Использует ли BroadNet Inference Uno для моделей в своём API?

BroadNet этого не говорит. В её каталоге для Gemma 4 26B в продакшене указаны драфтеры с предсказанием нескольких токенов (k=2). Uno — исследовательский результат, который BroadNet публикует; если он нужен вам на приватном эндпоинте, спросите BroadNet.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity