---
title: "Что такое KV-кэш? Как LLM переиспользуют работу внимания"
description: "KV-кэш хранит ключи и значения внимания для уже прочитанных моделью токенов, и новый токен считается дёшево. Как он работает и почему ограничивает контекст."
url: https://broadrouter.com/ru/glossary/kv-cache/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/kv-cache/) (обновлён 2026-11-14).

# KV-кэш (KV cache)

Обновлено 2026-11-14

KV-кэш — это память, в которой трансформерная языковая модель хранит ключи и значения внимания, вычисленные для каждого уже обработанного токена, чтобы каждый новый токен использовал их повторно, а не пересчитывал всю последовательность. Он растёт с длиной контекста и часто ограничивает число запросов, которые может обслужить GPU.

Также называют: KV-кэш, KV кэш, кэш ключей и значений, кэш внимания, key-value кэш, KV cache, key-value cache, past\_key\_values, attention cache, KV memory

Каждый раз, когда модель пишет токен, она оглядывается на все предыдущие токены. KV-кэш делает этот взгляд назад дешёвым.

## Как это работает

Механизм внимания сравнивает запрос (query) текущего токена с ключом и значением каждого предыдущего токена. Без кэша модели пришлось бы на каждом шаге заново вычислять все прежние ключи и значения. Руководство Hugging Face по кэшированию подытоживает компромисс: с кэшем “attention cost per step is linear with sequence length” (перевод: «стоимость внимания на шаг линейно зависит от длины последовательности»), а память “grows linearly” (перевод: «растёт линейно»).

Поэтому инференс состоит из двух фаз:

1.  **Prefill (предзаполнение).** Модель читает весь промпт и заполняет кэш. На это приходится основная часть [времени до первого токена](https://broadrouter.com/ru/glossary/time-to-first-token/).
2.  **Decode (декодирование).** Каждый новый токен добавляет по одному ключу и одному значению на слой, а затем читает весь кэш.

Размер кэша на токен примерно равен `2 × layers × KV heads × head size × bytes per number`. Разработчики моделей сокращают каждый множитель. Карточка DeepSeek V4.1 Flash указывает глобальный KV-кэш в 890 байт на токен при хранении в FP4. При полном контексте в 1 048 576 токенов это 890 × 1 048 576 = 933 232 640 байт, около 890 МиБ на один запрос.

## Почему это важно

-   **Параллельность и цена.** Статья о PagedAttention говорит, что одновременное обслуживание многих запросов ограничено, потому что память KV-кэша “is huge and grows and shrinks dynamically” (перевод: «огромна и динамически растёт и сжимается»). vLLM управляет этой памятью страницами, как операционная система, и сообщает о росте [пропускной способности](https://broadrouter.com/ru/glossary/throughput/) в 2–4 раза при той же задержке.
-   **Длинный контекст не бесплатен.** Провайдер должен держать кэш для всего вашего промпта, пока идёт генерация. Это одна из причин, почему запросы с длинным контекстом медленнее стартуют.
-   **Кэширование промптов строится на нём.** Сохранение KV-состояния префикса после завершения запроса — это то, что провайдер тарифицирует как [вход из кэша](https://broadrouter.com/ru/glossary/cached-input-tokens/). Стабильные префиксы чаще попадают в кэш; смотрите [структуру промпта для кэширования](https://broadrouter.com/ru/blog/prompt-structure-for-caching/).
-   **[Квантизация](https://broadrouter.com/ru/glossary/quantization/) применима и здесь.** Хранение ключей и значений в меньшем числе бит уменьшает кэш ценой некоторого риска для качества.

## В BroadNet Inference

BroadNet не публикует, как управляет памятью KV-кэша. Её справочник API описывает видимый эффект: `usage.prompt_tokens_details.cached_tokens` показывает токены промпта, прочитанные из кэша и тарифицируемые по цене входа из кэша, например $0.0055 за 1 млн токенов на [DeepSeek V4.1 Flash](https://broadrouter.com/ru/models/deepseek-v4.1-flash/) против $0.175 за новый вход. Эта модель и GLM 5.3 принимают до 1 048 576 токенов в запросе.

## Частые ошибки

-   Считать длину контекста только вопросом цены. Больший кэш означает и более медленный prefill.
-   Менять порядок частей системного промпта на каждом ходе. Кэшированный префикс перестаёт совпадать, и провайдер вычисляет его заново.

## Вопросы и ответы

### KV-кэш — это то же самое, что кэширование промптов?

Не совсем. KV-кэш живёт внутри одного запроса, пока модель генерирует ответ. Кэширование промптов сохраняет это состояние после завершения запроса, чтобы следующий запрос с тем же префиксом мог его переиспользовать, а провайдеры тарифицируют такие токены как вход из кэша.

### Почему длинный промпт занимает так много памяти GPU?

Каждый токен контекста добавляет в кэш свои ключи и значения, причём в каждом слое. Промпт на миллион токенов держит в памяти состояние внимания для миллиона токенов, пока ответ не будет закончен.

### Какого размера бывает KV-кэш?

Примерно 2 × число слоёв × число KV-голов × размер головы × байт на число — для каждого токена контекста. Карточка DeepSeek указывает 890 байт на токен для DeepSeek V4.1 Flash, то есть около 890 МиБ при полном контексте в 1 048 576 токенов.

## См. также

-   [Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/) (термин)
-   [Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/) (термин)
-   [Время до первого токена (TTFT)](https://broadrouter.com/ru/glossary/time-to-first-token/) (термин)
-   [Пропускная способность (throughput)](https://broadrouter.com/ru/glossary/throughput/) (термин)
-   [Квантизация (quantization)](https://broadrouter.com/ru/glossary/quantization/) (термин)
-   [Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/) (термин)
-   [Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/) (термин)
-   [vLLM](https://broadrouter.com/ru/glossary/vllm/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [Когда контекстное окно на 1 млн токенов оправдано (а когда нет)](https://broadrouter.com/ru/blog/million-token-context-window-guide/) (статья)
-   [Как структурировать промпты, чтобы префикс кэшировался](https://broadrouter.com/ru/blog/prompt-structure-for-caching/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-kv-cache&utm_content=page-cta) ·

**Источники**

-   [Kwon и др., Efficient Memory Management for LLM Serving with PagedAttention (vLLM), arXiv 2309.06180](https://arxiv.org/abs/2309.06180)
-   [Hugging Face Transformers, объяснение кэширования](https://huggingface.co/docs/transformers/en/cache_explanation)
-   [DeepSeek, карточка модели DeepSeek-V4.1-Flash (байты KV-кэша на токен)](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
