Большая модель пишет один токен за прямой проход. Спекулятивное декодирование позволяет ей подтверждать за проход сразу несколько токенов.
Как это работает
Leviathan и др. исходят из простого факта: “decoding K tokens takes K serial runs of the model.” (перевод: «декодирование K токенов требует K последовательных прогонов модели».) Решение они заимствуют у спекулятивного выполнения в процессорах:
- Черновая модель, гораздо меньше и быстрее, угадывает несколько следующих токенов.
- Целевая модель оценивает все эти догадки за один прямой проход. Как замечают Chen и др., оценка короткой последовательности токенов стоит примерно столько же, сколько генерация одного.
- Модифицированный шаг выборки с отклонением (rejection sampling) оставляет самую длинную цепочку догадок, с которой согласна целевая модель, а затем сэмплирует один собственный токен.
- Всё повторяется с новой позиции.
Если черновик часто угадывает, каждый дорогой проход даёт несколько токенов. Если ошибается, вы почти ничего не теряете: целевая модель всё равно выдаёт как минимум один токен. Руководство Hugging Face добавляет, что метод работает лучше всего, когда черновая модель “significantly smaller” (перевод: «значительно меньше») и использует тот же токенизатор.
Есть варианты без отдельной черновой модели. То же руководство описывает слои multi-token prediction (MTP), где кандидатов набрасывают дополнительные головы в основном чекпоинте. В карточке модели DeepSeek V4.1 Flash указана собственная схема DeepSeek — “DSpark speculative decoding” (спекулятивное декодирование DSpark) — как часть архитектуры.
Почему это важно
Для клиента API спекулятивное декодирование выражается в более высокой скорости в токенах в секунду на запрос, что сокращает общую задержку на длинных ответах. Время до первого токена оно не сокращает: там основное время уходит на чтение промпта.
Выигрыш неравномерный. Предсказуемый текст — правки кода, JSON, шаблонный текст — легко набросать черновиком. Творческий текст с высокой температурой сложнее, и догадок выживает меньше. Под высокой нагрузкой дополнительная проверка конкурирует с другими запросами, поэтому провайдер может настраивать её либо на скорость для одного пользователя, либо на общую пропускную способность.
Кроме того, это выбор на стороне сервера. Включить его стандартным запросом chat completions нельзя.
В BroadNet Inference
Справочник API BroadNet не упоминает спекулятивное декодирование. В её каталоге моделей указано, что продакшен-сборка Gemma 4 26B A4B, доступная в API как BroadNet Gemma 4 VL 26B, работает с MTP (k=2), что каталог описывает как разновидность спекулятивного декодирования. На странице модели BroadNet оценивает скорость этой сборки примерно в 136 токенов в секунду на одном потоке. Каталог также сообщает, что EAGLE3 снизил пропускную способность на 69 % при 32 одновременных запросах, поэтому BroadNet оставила черновики MTP; кроме того, BroadNet опубликовала два исследования Uno, самочерновикового адаптера: Uno в vLLM и Uno на Gemma 4 26B. Для тарифов с фиксированной ценой, которые работают на DeepSeek V4.1 Flash, страница тарифов BroadNet указывает типичную скорость около 100 токенов в секунду. Скорость вывода в своих задачах измеряйте через стриминг; как это сделать, показано в руководстве по задержке LLM.