Большая часть того, что отправляет агент, на каждом шаге одна и та же. Кэширование промптов позволяет провайдеру не вычислять эту повторяющуюся часть заново и брать за неё меньше.
Как это работает
Читая промпт, модель вычисляет внутреннее состояние для каждого токена. Провайдер может недолго хранить это состояние. Если следующий запрос начинается с тех же токенов, провайдер читает сохранённое состояние, а не вычисляет его снова. Такие токены и есть вход из кэша.
Кэш сопоставляется с начала промпта. В руководстве OpenAI сказано, что повторное использование “requires the entire rendered prefix to match” (перевод: «требует совпадения всего отрендеренного префикса»). Один изменённый символ в начале промпта превращает всё, что идёт после него, в новый вход.
В деталях провайдеры различаются:
- OpenAI по умолчанию включает кэширование на поддерживаемых моделях и показывает попадания в блоке usage. Для новых моделей указан минимальный префикс в 1024 токена.
- Anthropic тарифицирует чтение из кэша в 0,1 от базовой цены входа для большинства моделей, запись в кэш — с наценкой, и по умолчанию хранит записи 5 минут.
В формате Chat Completions попадания видны в usage.prompt_tokens_details.cached_tokens. Доля кэша — это число, делённое на prompt_tokens.
Почему это важно
Для длинных повторяющихся промптов доля кэша определяет счёт. Агент, который на каждом шаге заново отправляет репозиторий на 200 000 токенов, платит полную цену входа один раз, а дальше — цену входа из кэша, пока префикс не меняется. На длинных промптах кэширование также может сократить время до первого токена, потому что до начала генерации нужно сделать меньше работы.
Чтобы поднять долю попаданий, ставьте неизменное содержимое в начало (системный промпт, описания инструментов, документы), а меняющееся — в конец. Не ставьте временные метки и ID запросов в начало промпта и держите список инструментов в фиксированном порядке. Какая доля опубликованных прайс-листов провайдеров включает цену входа из кэша и какова типичная скидка, показано в индексе цен на LLM API.
В BroadNet Inference
BroadNet публикует цены входа из кэша для трёх чат-моделей, за 1 млн токенов:
| Модель | Новый вход | Вход из кэша |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Токены из кэша автоматически оплачиваются по сниженной цене, а prompt_tokens_details.cached_tokens показывает их, если модель о них сообщает. При стриминге запросите usage через stream_options, как показано в руководстве по стримингу.
На тарифе с фиксированной ценой счётчика токенов нет, поэтому доля кэша на счёт не влияет. Полный разбор с кодом для учёта своей доли попаданий — в статье вход из кэша: как это работает.