BroadRouter
Начать

KV-кэш (KV cache)

Обновлено

KV-кэш — это память, в которой трансформерная языковая модель хранит ключи и значения внимания, вычисленные для каждого уже обработанного токена, чтобы каждый новый токен использовал их повторно, а не пересчитывал всю последовательность. Он растёт с длиной контекста и часто ограничивает число запросов, которые может обслужить GPU.

Также называют: KV-кэш, KV кэш, кэш ключей и значений, кэш внимания, key-value кэш, KV cache, key-value cache, past_key_values, attention cache, KV memory

Каждый раз, когда модель пишет токен, она оглядывается на все предыдущие токены. KV-кэш делает этот взгляд назад дешёвым.

Как это работает

Механизм внимания сравнивает запрос (query) текущего токена с ключом и значением каждого предыдущего токена. Без кэша модели пришлось бы на каждом шаге заново вычислять все прежние ключи и значения. Руководство Hugging Face по кэшированию подытоживает компромисс: с кэшем “attention cost per step is linear with sequence length” (перевод: «стоимость внимания на шаг линейно зависит от длины последовательности»), а память “grows linearly” (перевод: «растёт линейно»).

Поэтому инференс состоит из двух фаз:

  1. Prefill (предзаполнение). Модель читает весь промпт и заполняет кэш. На это приходится основная часть времени до первого токена.
  2. Decode (декодирование). Каждый новый токен добавляет по одному ключу и одному значению на слой, а затем читает весь кэш.

Размер кэша на токен примерно равен 2 × layers × KV heads × head size × bytes per number. Разработчики моделей сокращают каждый множитель. Карточка DeepSeek V4.1 Flash указывает глобальный KV-кэш в 890 байт на токен при хранении в FP4. При полном контексте в 1 048 576 токенов это 890 × 1 048 576 = 933 232 640 байт, около 890 МиБ на один запрос.

Почему это важно

  • Параллельность и цена. Статья о PagedAttention говорит, что одновременное обслуживание многих запросов ограничено, потому что память KV-кэша “is huge and grows and shrinks dynamically” (перевод: «огромна и динамически растёт и сжимается»). vLLM управляет этой памятью страницами, как операционная система, и сообщает о росте пропускной способности в 2–4 раза при той же задержке.
  • Длинный контекст не бесплатен. Провайдер должен держать кэш для всего вашего промпта, пока идёт генерация. Это одна из причин, почему запросы с длинным контекстом медленнее стартуют.
  • Кэширование промптов строится на нём. Сохранение KV-состояния префикса после завершения запроса — это то, что провайдер тарифицирует как вход из кэша. Стабильные префиксы чаще попадают в кэш; смотрите структуру промпта для кэширования.
  • Квантизация применима и здесь. Хранение ключей и значений в меньшем числе бит уменьшает кэш ценой некоторого риска для качества.

В BroadNet Inference

BroadNet не публикует, как управляет памятью KV-кэша. Её справочник API описывает видимый эффект: usage.prompt_tokens_details.cached_tokens показывает токены промпта, прочитанные из кэша и тарифицируемые по цене входа из кэша, например $0.0055 за 1 млн токенов на DeepSeek V4.1 Flash против $0.175 за новый вход. Эта модель и GLM 5.3 принимают до 1 048 576 токенов в запросе.

Частые ошибки

  • Считать длину контекста только вопросом цены. Больший кэш означает и более медленный prefill.
  • Менять порядок частей системного промпта на каждом ходе. Кэшированный префикс перестаёт совпадать, и провайдер вычисляет его заново.

Вопросы и ответы

KV-кэш — это то же самое, что кэширование промптов?

Не совсем. KV-кэш живёт внутри одного запроса, пока модель генерирует ответ. Кэширование промптов сохраняет это состояние после завершения запроса, чтобы следующий запрос с тем же префиксом мог его переиспользовать, а провайдеры тарифицируют такие токены как вход из кэша.

Почему длинный промпт занимает так много памяти GPU?

Каждый токен контекста добавляет в кэш свои ключи и значения, причём в каждом слое. Промпт на миллион токенов держит в памяти состояние внимания для миллиона токенов, пока ответ не будет закончен.

Какого размера бывает KV-кэш?

Примерно 2 × число слоёв × число KV-голов × размер головы × байт на число — для каждого токена контекста. Карточка DeepSeek указывает 890 байт на токен для DeepSeek V4.1 Flash, то есть около 890 МиБ при полном контексте в 1 048 576 токенов.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity