Во втором препринте BroadNet про Uno самодрафтинг впервые применён к модели mixture-of-experts. Работа опубликована на Zenodo 18 сентября 2026 года под DOI 10.5281/zenodo.22820511: в ней Gemma 4 26B A4B запускается в 4-битном формате и для неё обучается адаптер Uno. Целевая модель — та же базовая модель, что у BroadNet Gemma 4 VL 26B в BroadNet Inference.
Это продолжение исследования Uno в инференсе на vLLM, где тестировалась плотная модель на 8B. Числа ниже — данные BroadNet; мы их не воспроизводили.
Какой вопрос ставился?
Спекулятивное декодирование набрасывает черновик из нескольких токенов и проверяет его за один проход. У модели mixture-of-experts есть дополнительный повод для беспокойства: строки черновика могут маршрутизироваться к разным экспертам, и черновик из четырёх токенов может прочитать гораздо больше весов экспертов, чем генерация одного. Статья выясняет, не делает ли этот «expert fan-out» (разброс по экспертам) самодрафтинг слишком дорогим и когда самодрафтинг выигрывает у отдельного драфтера.
Как BroadNet это проверяла?
По аннотации статьи и описанию методов от BroadNet:
- Модель: Gemma 4 26B A4B, около 4B активных параметров на токен, 4-битные веса.
- Оборудование: GPU класса 24 ГБ, одна последовательность за раз.
- Нагрузка: 72 промпта из продакшен-трафика BroadNet; каждое ускорение делится на результат обычного декодирования в той же сессии.
- Длинный контекст: отдельный набор из пяти промптов примерно по 10 500 токенов.
- Адаптер: ранг 16, обучен на 965 строках через тот же 4-битный чекпойнт, на котором работает в инференсе, на одном GPU на 24 ГБ, без весов полной точности в цикле.
Что получилось?
| Как декодировалась Gemma 4 26B A4B | Ускорение относительно обычного декодирования |
|---|---|
| Обычное декодирование | 1,000 |
| Пилотный адаптер Uno, ширина 4 | 1,166 |
| Драфтер с предсказанием нескольких токенов, ширина 2 | 1,474 |
| Блочный драфтер, ширина 8 | 1,553 |
| Uno при контексте около 10 500 токенов | 1,089 (драфтер MTP: 1,011) |
Другие результаты, о которых сообщает BroadNet:
- Обучение помогло. Доля принятых токенов выросла с 42,4% до 48,9% за 1500 обновлений, а корпус побольше, на 2000 строк, обученный по тому же рецепту, давал на 0,49 принятого токена черновика больше за шаг проверки, чем сопоставимый опорный прогон.
- Разброс по экспертам реален, но дёшев. Четыре строки черновика задействовали 22 разных эксперта против 8 у одной строки, но вся стоимость, связанная со строками, не превысила 0,53 шага в цикле примерно из 2,4. BroadNet делает вывод, что маршрутизация стоит «worth under a fifth of a cycle» (перевод: «меньше пятой части цикла») на оборудовании этого класса.
- Без потерь. BroadNet построила проверку для профиля, чей обычный вывод не воспроизводится сам по себе между сессиями, и сообщает, что Uno «as close to plain as plain is to itself» (перевод: «так же близок к обычному декодированию, как обычное декодирование — к самому себе»).
- Пять языков. Статья приводит, по её словам, первое измерение доли принятия этого адаптера на пяти языках.
Что это значит на практике?
Правило самой статьи простое: если для вашей модели есть хороший маленький драфтер, используйте его; самодрафтинг оправдывает себя на длинном контексте и на моделях без драфтера. Это совпадает с тем, что, по словам BroadNet, она использует сама: в её каталоге Gemma 4 26B работает в продакшене с драфтером на основе предсказания нескольких токенов (k=2) и «90%+ acceptance on structured prompts» (перевод: «90%+ принятия на структурированных промптах»).
Сколько драфтер даёт в продакшене? Каталог BroadNet сообщает, что предсказание нескольких токенов добавило 48,8% на RTX 3090, а страница Gemma 4 VL 26B указывает около 136 токенов в секунду на одном потоке со спекулятивным декодированием. Оба числа — собственные измерения BroadNet на конфигурации инференса, описанной на странице модели, так что ваша скорость через API зависит ещё и от нагрузки, и от длины промпта и ответа.
Покупателю API полезен здесь метод, а не адаптер. BroadNet говорит, что каждая модель, которую она обслуживает, проходит через этот расчёт, прежде чем попасть к клиенту: измерить стоимость одного цикла черновика, затем выбрать драфтер, который выигрывает на реальной нагрузке. Та же дисциплина привела её к решению отказаться от EAGLE3 для инференса под полной нагрузкой.
Каковы ограничения?
- Только один поток. Одна последовательность за раз, один прогон на вариант. Пакетный инференс ведёт себя иначе, как показало исследование плотной модели.
- Одна модель. Результаты относятся к Gemma 4 26B A4B в 4-битном формате на картах класса 24 ГБ.
- Препринт. Версия 2.3 на Zenodo, рецензирование не проходил, к нему приложен архив с данными.
Релиз v0.3.0 vllm-uno содержит профиль инференса, образ контейнера и запись валидации, так что числа можно проверить. Попробовать саму модель можно в браузерной песочнице BroadNet: там Gemma 4 работает без аккаунта.
