Запрос к чату выполняет две разные работы: прочитать промпт, а затем написать ответ. Инженеры инференса называют их prefill и decode, и на GPU они ведут себя совсем по-разному.
Как это работает
- Prefill. Модель читает все токены промпта за один параллельный проход и сохраняет ключи и значения внимания для каждого токена в KV-кэше. Пока ничего не возвращается.
- Decode. Модель генерирует один токен, добавляет его ключи и значения в кэш и повторяет, пока не остановится или не упрётся в
max_tokens.
Статья о Sarathi-Serve описывает контраст прямо: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (перевод: «итерации prefill имеют высокую задержку, но полностью загружают вычислительные ресурсы GPU благодаря параллельной обработке входного промпта»), тогда как “decode iterations have low latency but also low compute utilization.” (перевод: «итерации decode имеют низкую задержку, но и низкую загрузку вычислительных ресурсов».)
Две фазы соответствуют двум показателям задержки, которые ощущают пользователи. Статья о DistServe называет их: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (перевод: «время до первого токена (TTFT) для фазы prefill и время на выходной токен (TPOT) каждого запроса для фазы декодирования».)
Пример: запрос с промптом на 20 000 токенов и ответом на 300 токенов сначала выполняет prefill всех 20 000 токенов, и только потом в потоке появляется первый токен, а затем идут 300 последовательных шагов decode. Если сократить промпт вдвое, ждать первого токена придётся меньше, но скорость прихода 300 токенов не изменится.
Почему это важно
- Время до первого токена зависит от размера промпта. Длинные системные промпты, документы и списки инструментов — всё это добавляет работы на prefill. Кэшированные префиксы позволяют пропустить её часть, поэтому вход из кэша может ускорить старт длинных промптов.
- Токены в секунду — показатель decode. Скорость вывода зависит от того, как быстро выполняется каждый шаг decode; повысить её пытается спекулятивное декодирование.
- Фазы мешают друг другу. Когда сервер выполняет обе на одном GPU, большой prefill может приостановить decode у других пользователей. DistServe сообщает о “strong prefill-decoding interferences” (перевод: «сильных взаимных помехах prefill и decode») и разносит фазы по разным GPU. Sarathi-Serve вместо этого “splits a prefill request into near equal sized chunks” (перевод: «делит запрос prefill на почти равные части») и планирует их “without pausing ongoing decodes” (перевод: «не приостанавливая текущие decode»).
- Движки дают управлять компромиссом. Руководство vLLM по настройке говорит, что chunked prefill позволяет объединять части prefill с запросами decode в один батч. Меньшее значение
max_num_batched_tokensулучшает задержку между токенами, а большее выгодно для TTFT и пропускной способности.
Статья о задержке, TTFT и пропускной способности показывает, как измерить обе фазы на стороне клиента.
В BroadNet Inference
BroadNet не публикует, как её серверы планируют prefill и decode. Видно только следствие: стримьте ответ, как в руководстве по стримингу, и записывайте время до первого фрагмента с содержимым (в основном prefill плюс ожидание в очереди) и частоту фрагментов после него (decode). У GLM 5.3, DeepSeek V4.1 Flash и Qwen3.8 27B токены рассуждений тоже генерируются на этапе decode, поэтому они откладывают видимый ответ и учитываются в max_tokens.
Частые ошибки
- Винить в медленном первом токене скорость вывода модели. Сначала проверьте длину промпта.
- Проводить бенчмарк на крошечном промпте. У реальных промптов с длинным контекстом prefill гораздо дольше.