BroadRouter

Кэшированные входные токены: как снизить счёт за LLM API

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Кэшированные входные токены — это токены промпта, которые провайдер уже обработал и может использовать повторно, поэтому они оплачиваются по сниженной цене. В BroadNet Inference модель DeepSeek V4.1 Flash тарифицирует вход из кэша по $0.0055 за 1 млн токенов против $0.175 за новый вход. Чтобы получить скидку, ставьте стабильную часть промпта в начало и не меняйте её между вызовами.

Большая часть того, что агент отправляет LLM, на каждом шаге одна и та же: системный промпт, описания инструментов, файлы, с которыми он работает, и весь предыдущий диалог. Новое только последнее сообщение. Благодаря кэшированию промптов провайдер не берёт за эту повторяющуюся часть полную цену.

Что такое кэшированный входной токен?

Каждый запрос состоит из входных и выходных токенов. Прежде чем ответить, модель обрабатывает весь промпт. Если предыдущий запрос начинался ровно с тех же токенов, система инференса может повторно использовать эту работу, а не выполнять её заново. Повторно использованная часть отображается как кэшированные входные токены и оплачивается по сниженной цене.

Из этого механизма следуют два вывода:

  • Кэшируется только префикс. Сопоставление идёт от первого токена вперёд и останавливается на первом различии.
  • Ответ никогда не кэшируется. Модель всё равно генерирует новый выход, и он оплачивается по полной цене выхода.

Сколько стоят токены из кэша в BroadNet Inference?

Цены за 1 млн токенов из опубликованного прайс-файла:

Модель Новый вход Вход из кэша Выход
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

У DeepSeek V4.1 Flash разница большая: сравните $0.0055 за 1 млн токенов из кэша и $0.175 за 1 млн новых. Для агента, который на каждом шаге заново отправляет репозиторий на 200 000 токенов, доля попаданий в кэш определяет большую часть счёта.

Сколько можно сэкономить на кэшировании? Пример расчёта

Агент для программирования отправляет промпт на 200 000 токенов 100 раз за рабочий день. Это 20 млн входных токенов в день.

Доля попаданий в кэш Новые входные токены Входные токены из кэша
0% 20 млн по $0.175 за 1 млн 0
50% 10 млн по $0.175 за 1 млн 10 млн по $0.0055 за 1 млн
90% 2 млн по $0.175 за 1 млн 18 млн по $0.0055 за 1 млн

Дневной счёт за вход считается по формуле new tokens (M) × input price + cached tokens (M) × cached price, то есть новые токены (в млн) × цена входа + токены из кэша (в млн) × цена входа из кэша. При 90% 18 млн из 20 млн входных токенов оплачиваются по цене кэша, а не по полной цене входа, поэтому чем больше разрыв между этими двумя ценами, тем больше вы экономите на входной части счёта. Выход не меняется. Подставьте свои цифры в калькулятор кэширования промптов.

Как увидеть токены из кэша в ответе API?

В справочнике API BroadNet сказано, что если модель сообщает такие токены, объект usage содержит prompt_tokens_details.cached_tokens: токены промпта, прочитанные из кэша и оплаченные по цене кэша. При стриминге запросите usage в последнем чанке:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Логируйте эту долю по каждому запросу в течение дня. Она показывает, сколько вы платите на самом деле, и именно её стоит подставлять в калькулятор кэширования промптов. Подробнее об usage при стриминге — в руководстве по стримингу.

Чем кэширование промптов отличается у OpenAI, Anthropic и DeepSeek?

Единого стандарта кэширования нет. Вот что говорила официальная документация, когда мы обращались к ней 14 ноября 2026 г.:

OpenAI Anthropic DeepSeek (прямой API)
Включение По умолчанию для поддерживаемых моделей По запросу, через поле cache_control (автоматически или для отдельного блока) По умолчанию для всех пользователей
Минимальный промпт 1024 токена на GPT-5.6 и новее От 512 до 4096 токенов, в зависимости от модели Минимум не указан
Время жизни кэша По умолчанию 30 минут на GPT-5.6 и новее; есть вариант на 12 часов По умолчанию 5 минут, 1 час за доплату По возможности; очищается, если не используется, “a few hours to a few days” (перевод: «от нескольких часов до нескольких дней»)
Запись 1,25× цены входа (30 минут) или 2,5× (12 часов) на GPT-5.6 и новее 1,25× цены входа на 5 минут, 2× на 1 час Плата за запись не упоминается
Чтение 0,1× цены входа на GPT-5.6 и новее (0,05× на GPT-6.1 Sol и Terra) 0,1× цены входа на большинстве моделей, на некоторых ниже Отдельная цена “cache hit” (попадание в кэш)
Поле в usage cached_tokens в деталях токенов cache_read_input_tokens prompt_cache_hit_tokens

Источники: руководство OpenAI по кэшированию промптов, документация Anthropic по кэшированию промптов и документация DeepSeek по кэшированию контекста. Там, где запись стоит дополнительно, кэш, который записан, но ни разу не прочитан, обходится дороже, чем отсутствие кэша. Кэширование окупается только на промптах, которые вы действительно повторяете. Чтобы сравнить прайсовые цены по моделям, откройте таблицу цен на LLM API.

Что снижает долю попаданий в кэш?

Кэш сопоставляет точный префикс, поэтому любое изменение в начале промпта делает всё остальное новым. Типичные причины:

  • метка времени, ID запроса или имя пользователя в начале системного промпта;
  • описания инструментов или JSON, которые при каждом вызове сериализуются с другим порядком ключей, из-за чего меняются токены;
  • агент, который переписывает или пересказывает свою историю вместо того, чтобы дописывать её;
  • долгие паузы, после которых кэш истекает.

Решение — фиксированный порядок слоёв (системный промпт, инструменты, документы, история, новое сообщение), где каждый слой побайтово совпадает между вызовами. В статье как структурировать промпты, чтобы префикс кэшировался эта схема разобрана в коде вместе с тестом, который доказывает, что префикс используется повторно.

Когда кэширование перестаёт иметь значение?

На тарифе с фиксированной ценой счёт вообще не зависит от токенов. Full Moon стоит $60 в месяц за сессию с безлимитным DeepSeek V4.1 Flash. Если ваш агент уже переходит точку безубыточности, доля попаданий в кэш перестаёт быть вопросом расходов. На длинных промптах описанные выше привычки всё равно помогают со скоростью, так что их стоит сохранить в любом случае.

Почему кэширование важнее при длинном контексте?

DeepSeek V4.1 Flash и GLM 5.3 принимают до 1 048 576 токенов на запрос. Именно кэширование делает очень длинные промпты доступными по цене на ключе с оплатой за токены, потому что большая повторяющаяся часть контекстного окна оплачивается по цене кэша. См. статью когда контекстное окно на 1 млн токенов того стоит.

Какое место здесь занимает BroadNet Inference

BroadNet публикует цену входа из кэша для каждой чат-модели, у которой она есть, и сообщает токены из кэша в usage, если их возвращает модель, так что свою долю попаданий можно измерить до того, как брать на себя обязательства. Время жизни кэша и минимальную длину промпта BroadNet не публикует, поэтому измерьте их на собственном трафике. Если ваш агент работает весь день, тариф с фиксированной ценой снимает этот вопрос полностью.

Вопросы и ответы

Нужно ли включать кэширование промптов?

Зависит от провайдера. OpenAI и DeepSeek кэшируют автоматически, а Anthropic требует поле cache_control. В BroadNet Inference смотрите блок usage: если модель сообщает токены из кэша, они появляются в prompt_tokens_details.cached_tokens и оплачиваются по цене входа из кэша.

Как проверить, работает ли кэширование промптов?

Запрашивайте usage в каждом запросе и делите cached_tokens на prompt_tokens. Если на втором вызове длинного повторяющегося промпта доля близка к нулю, значит, что-то в начале промпта меняется между вызовами.

Почему у меня низкая доля попаданий в кэш?

Обычно потому, что что-то в начале промпта меняется при каждом вызове, например метка времени, ID запроса или переставленный список инструментов. Перенесите изменчивое содержимое в конец.

Чем кэширование промптов отличается от кэширования ответов?

Кэширование промптов повторно использует работу провайдера над повторяющимся префиксом промпта, а ответ модель всё равно пишет заново. Кэширование ответов вы строите сами: сохраняете ответы целиком и возвращаете их на одинаковые вопросы, не обращаясь к модели.

Токены из кэша бесплатные?

Нет. Они оплачиваются по сниженной цене, а не по нулевой. У DeepSeek V4.1 Flash вход из кэша стоит $0.0055 за 1 млн токенов, а выход оплачивается полностью.

Важно ли кэширование на безлимитном тарифе?

Для счёта — нет, потому что у сессий тарифа нет счётчика токенов. Но во многих системах инференса кэш сокращает время до первого токена на длинных промптах, так что те же привычки всё равно полезны.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity