Каждый раз, когда модель пишет токен, она оглядывается на все предыдущие токены. KV-кэш делает этот взгляд назад дешёвым.
Как это работает
Механизм внимания сравнивает запрос (query) текущего токена с ключом и значением каждого предыдущего токена. Без кэша модели пришлось бы на каждом шаге заново вычислять все прежние ключи и значения. Руководство Hugging Face по кэшированию подытоживает компромисс: с кэшем “attention cost per step is linear with sequence length” (перевод: «стоимость внимания на шаг линейно зависит от длины последовательности»), а память “grows linearly” (перевод: «растёт линейно»).
Поэтому инференс состоит из двух фаз:
- Prefill (предзаполнение). Модель читает весь промпт и заполняет кэш. На это приходится основная часть времени до первого токена.
- Decode (декодирование). Каждый новый токен добавляет по одному ключу и одному значению на слой, а затем читает весь кэш.
Размер кэша на токен примерно равен 2 × layers × KV heads × head size × bytes per number. Разработчики моделей сокращают каждый множитель. Карточка DeepSeek V4.1 Flash указывает глобальный KV-кэш в 890 байт на токен при хранении в FP4. При полном контексте в 1 048 576 токенов это 890 × 1 048 576 = 933 232 640 байт, около 890 МиБ на один запрос.
Почему это важно
- Параллельность и цена. Статья о PagedAttention говорит, что одновременное обслуживание многих запросов ограничено, потому что память KV-кэша “is huge and grows and shrinks dynamically” (перевод: «огромна и динамически растёт и сжимается»). vLLM управляет этой памятью страницами, как операционная система, и сообщает о росте пропускной способности в 2–4 раза при той же задержке.
- Длинный контекст не бесплатен. Провайдер должен держать кэш для всего вашего промпта, пока идёт генерация. Это одна из причин, почему запросы с длинным контекстом медленнее стартуют.
- Кэширование промптов строится на нём. Сохранение KV-состояния префикса после завершения запроса — это то, что провайдер тарифицирует как вход из кэша. Стабильные префиксы чаще попадают в кэш; смотрите структуру промпта для кэширования.
- Квантизация применима и здесь. Хранение ключей и значений в меньшем числе бит уменьшает кэш ценой некоторого риска для качества.
В BroadNet Inference
BroadNet не публикует, как управляет памятью KV-кэша. Её справочник API описывает видимый эффект: usage.prompt_tokens_details.cached_tokens показывает токены промпта, прочитанные из кэша и тарифицируемые по цене входа из кэша, например $0.0055 за 1 млн токенов на DeepSeek V4.1 Flash против $0.175 за новый вход. Эта модель и GLM 5.3 принимают до 1 048 576 токенов в запросе.
Частые ошибки
- Считать длину контекста только вопросом цены. Больший кэш означает и более медленный prefill.
- Менять порядок частей системного промпта на каждом ходе. Кэшированный префикс перестаёт совпадать, и провайдер вычисляет его заново.