BroadRouter

Вход из кэша (cached input tokens)

Обновлено

Вход из кэша (cached input tokens) — это токены промпта, которые провайдер LLM недавно обработал и может взять из кэша, а не вычислять заново; обычно это повторяющийся префикс, например системный промпт или документ. Провайдеры тарифицируют их дешевле, чем новые входные токены.

Также называют: входные токены из кэша, кэширование промптов, кэшированные токены, попадания в кэш, кэш контекста, cached input tokens, prompt caching, cache hits, cached tokens, context caching, cache read tokens

Большая часть того, что отправляет агент, на каждом шаге одна и та же. Кэширование промптов позволяет провайдеру не вычислять эту повторяющуюся часть заново и брать за неё меньше.

Как это работает

Читая промпт, модель вычисляет внутреннее состояние для каждого токена. Провайдер может недолго хранить это состояние. Если следующий запрос начинается с тех же токенов, провайдер читает сохранённое состояние, а не вычисляет его снова. Такие токены и есть вход из кэша.

Кэш сопоставляется с начала промпта. В руководстве OpenAI сказано, что повторное использование “requires the entire rendered prefix to match” (перевод: «требует совпадения всего отрендеренного префикса»). Один изменённый символ в начале промпта превращает всё, что идёт после него, в новый вход.

В деталях провайдеры различаются:

  • OpenAI по умолчанию включает кэширование на поддерживаемых моделях и показывает попадания в блоке usage. Для новых моделей указан минимальный префикс в 1024 токена.
  • Anthropic тарифицирует чтение из кэша в 0,1 от базовой цены входа для большинства моделей, запись в кэш — с наценкой, и по умолчанию хранит записи 5 минут.

В формате Chat Completions попадания видны в usage.prompt_tokens_details.cached_tokens. Доля кэша — это число, делённое на prompt_tokens.

Почему это важно

Для длинных повторяющихся промптов доля кэша определяет счёт. Агент, который на каждом шаге заново отправляет репозиторий на 200 000 токенов, платит полную цену входа один раз, а дальше — цену входа из кэша, пока префикс не меняется. На длинных промптах кэширование также может сократить время до первого токена, потому что до начала генерации нужно сделать меньше работы.

Чтобы поднять долю попаданий, ставьте неизменное содержимое в начало (системный промпт, описания инструментов, документы), а меняющееся — в конец. Не ставьте временные метки и ID запросов в начало промпта и держите список инструментов в фиксированном порядке. Какая доля опубликованных прайс-листов провайдеров включает цену входа из кэша и какова типичная скидка, показано в индексе цен на LLM API.

В BroadNet Inference

BroadNet публикует цены входа из кэша для трёх чат-моделей, за 1 млн токенов:

Модель Новый вход Вход из кэша
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Токены из кэша автоматически оплачиваются по сниженной цене, а prompt_tokens_details.cached_tokens показывает их, если модель о них сообщает. При стриминге запросите usage через stream_options, как показано в руководстве по стримингу.

На тарифе с фиксированной ценой счётчика токенов нет, поэтому доля кэша на счёт не влияет. Полный разбор с кодом для учёта своей доли попаданий — в статье вход из кэша: как это работает.

Вопросы и ответы

Занимают ли токены из кэша место в контекстном окне?

Да. Кэширование меняет то, сколько вы платите за эти токены, а не то, учитываются ли они. В документации Anthropic это сказано прямо.

Сколько живёт кэш?

Зависит от провайдера. У Anthropic время жизни по умолчанию — 5 минут, и оно обновляется при каждом использовании кэша; можно включить время жизни в 1 час. Другие провайдеры не всегда публикуют фиксированное время, поэтому измеряйте долю попаданий.

Меняет ли кэширование ответ?

Нет. Кэш хранит результат обработки промпта, а не ответ. Модель всё равно генерирует новый ответ.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity